fenshot / Precisione
Quanto è preciso fenshot?
Lo misuriamo su immagini di scacchi di cui si conosce la risposta giusta: scacchiere disegnate direttamente da chess.com e Lichess, diagrammi dei libri composti come nei libri stampati, e screenshot reali pubblicati su Reddit. Qui sotto trovi i risultati, il metodo e ogni caso in cui fenshot sbaglia. Il test, i dati e i risultati sono open source, quindi chiunque può rifarlo.
Risultati per fonte
"Corretto" significa che tutte le 64 caselle corrispondono. Un avviso significa che fenshot ha segnalato all'utente che la lettura potrebbe essere sbagliata e gli ha proposto l'editor per correggerla. La colonna rossa, sbagliato senza avviso, è quella che conta di più.
| Fonte | Immagini | Corretto | Corretto, con avviso | Sbagliato, con avviso | Sbagliato, senza avviso | Nessuna scacchiera |
|---|---|---|---|---|---|---|
| Pagina di analisi di chess.com, desktop e smartphone | 60 | 58 | 0 | 2 | 0 | 0 |
| Pagina di analisi di Lichess, desktop e smartphone | 60 | 60 | 0 | 0 | 0 | 0 |
| Pagina di Lichess con altri set di pezzi e scacchiere | 60 | 41 | 6 | 12 | 1 | 0 |
| Immagini di scacchiere di chess.com, 14 set di pezzi e 12 scacchiere | 240 | 188 | 14 | 35 | 3 | 0 |
| Diagrammi dei libri composti con LaTeX, caselle tratteggiate | 120 | 55 | 33 | 32 | 0 | 0 |
| Screenshot di Reddit, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Grafiche dei pezzi viste in addestramento | 363 | 330 | 20 | 9 | 4 | 0 |
| Grafiche dei pezzi mai viste | 177 | 72 | 33 | 72 | 0 | 0 |
Cosa è cambiato dalla prima esecuzione
10 novembre 2026. La prima esecuzione ha mostrato che fenshot non riusciva a trovare la scacchiera nei diagrammi in stile stampa: il tratteggio dentro le caselle scure gli nascondeva la griglia della scacchiera. Sulle scacchiere marmorizzate, inoltre, la lettura poteva spostarsi di una casella. Ora fenshot dà una seconda occhiata a una copia ammorbidita dell'immagine ogni volta che la prima non è chiaramente corretta. Il lettore dei pezzi in sé è rimasto invariato.
| Letture corrette | Prima esecuzione | Ora |
|---|---|---|
| Diagrammi dei libri | 1 / 120 | 88 / 120 |
| chess.com e Lichess con altri set di pezzi e scacchiere | 211 / 300 | 249 / 300 |
| Pagine di chess.com e Lichess con l'aspetto predefinito | 118 / 120 | 118 / 120 |
| Screenshot di Reddit | 405 / 488 | 419 / 488 |
Dove fenshot fa fatica
- Orientamento della scacchiera nei finali. fenshot legge le caselle, poi ricava quale colore è in basso dalla posizione dei pedoni. Nei finali questo va storto in un numero di posizioni che va da circa 4 a 7 su 100: ogni casella è giusta, ma la scacchiera è girata al contrario, e non c'è nessun avviso. Tutte le letture sbagliate senza avviso sulle scacchiere disegnate sono di questo tipo.
- Set di pezzi 3D. I pezzi 3D wood e 3D plastic di chess.com non vengono quasi mai letti correttamente. Sono stati esclusi dall'addestramento di proposito, e fenshot avvisa invece di tirare a indovinare.
- Diagrammi piccoli dei libri. Quando le caselle di un diagramma stampato sono larghe circa 30 pixel o meno, fenshot sbaglia spesso da una a tre caselle, e avvisa.
- Set di pezzi insoliti. I pezzi horsey e monarchy di Lichess vengono letti male; monarchy non è mai stato incluso nell'addestramento.
- Screenshot reali affollati. Tra gli errori su Reddit ci sono screenshot da smartphone con elementi sovrapposti, scacchiere molto piccole e immagini con più di una scacchiera.
Quando una lettura è incerta, fenshot mostra un avviso e apre l'editor accanto all'immagine originale, così una casella sbagliata si corregge in pochi secondi. Il caso più comune, uno screenshot di chess.com o Lichess con l'aspetto predefinito, viene letto correttamente quasi sempre.
Come abbiamo misurato
- Posizioni. Posizioni reali dal database dei problemi di Lichess: lo stesso numero di posizioni di apertura, mediogioco e finale, scelte con una regola fissa, non a mano.
- Immagini non disegnate da noi. Ogni scacchiera dei siti è disegnata dal sito stesso a partire dalla posizione che gli forniamo: il servizio di immagini delle scacchiere di chess.com, screenshot delle pagine di analisi di chess.com e Lichess in formato desktop e smartphone, e Lichess con le proprie impostazioni di set di pezzi e scacchiera modificate. Prima di tenerla, ogni pagina di chess.com è stata controllata per verificare che mostrasse la posizione richiesta.
- Diagrammi dei libri. 120 diagrammi composti con LaTeX nei font scacchistici usati dai libri stampati, con le caselle scure tratteggiate: pagine intere con testo, ritagli stretti, aspetto da pagina scansionata, diagrammi piccoli e diagrammi visti dal lato del Nero. Coprono solo i diagrammi tratteggiati; i libri che stampano caselle in grigio pieno non sono ancora nell'insieme.
- Pagine senza scacchiera. Voci di enciclopedia, siti di notizie, documentazione e pagine di siti di scacchi senza scacchiera, compresi tavolieri della dama, carta millimetrata e piastrelle, per verificare che fenshot non si inventi una posizione.
- Reddit. Immagini di scacchi pubblicate su Reddit a cui ha risposto con la sua lettura anche il bot Reddit di Chessvision.ai. Quando fenshot e il bot concordano, la lettura conta come corretta; un campione casuale di questi casi è stato confrontato a occhio con l'immagine e non è emersa nessuna discrepanza. Ogni disaccordo conta contro fenshot, anche quando ad avere ragione era fenshot, quindi il dato di Reddit è un minimo. L'insieme include solo le immagini a cui il bot ha risposto, il che potrebbe escludere quelle più difficili.
- Lo stesso codice del prodotto. Il test usa esattamente lo stesso riconoscitore e modello del sito e dell'estensione, compreso il controllo di confidenza che decide quando avvisare.
- Trasparenza sull'addestramento. Il modello è stato addestrato con le grafiche di pezzi e scacchiere di chess.com e Lichess, disegnate su posizioni sintetiche. Nessuna delle posizioni, pagine o screenshot del test è stata usata in addestramento, e la tabella separa le grafiche che il modello ha già visto da quelle che non ha mai visto.
Rifallo tu
Il benchmark si trova nel repository open source, in tools/benchmark: l'elenco delle posizioni, la fonte e l'impronta di ogni immagine, i post di Reddit con entrambe le letture e i risultati qui sopra, immagine per immagine. Rigenera le immagini con npx tsx tools/benchmark/build.ts e valutale con npx tsx tools/benchmark/run.ts.