fenshot / Precizie
Cât de precis este fenshot?
O măsurăm pe imagini de șah pentru care răspunsul corect este cunoscut: table desenate chiar de chess.com și Lichess, diagrame din cărți tehnoredactate la fel ca în cărțile tipărite și capturi de ecran reale postate pe Reddit. Mai jos găsești rezultatele, metoda și fiecare situație în care fenshot greșește. Testul, datele și rezultatele sunt open source, așa că oricine le poate rula din nou.
Rezultate pe surse
„Corect” înseamnă că fiecare dintre cele 64 de câmpuri se potrivește. Un avertisment înseamnă că fenshot i-a spus utilizatorului că citirea poate fi greșită și i-a oferit editorul ca s-o corecteze. Coloana roșie, greșit fără avertisment, este cea care contează cel mai mult.
| Sursă | Imagini | Corect | Corect, dar cu avertisment | Greșit, cu avertisment | Greșit, fără avertisment | Nicio tablă găsită |
|---|---|---|---|---|---|---|
| Pagina de analiză chess.com, desktop și telefon | 60 | 58 | 0 | 2 | 0 | 0 |
| Pagina de analiză Lichess, desktop și telefon | 60 | 60 | 0 | 0 | 0 | 0 |
| Pagina Lichess cu alte seturi de piese și table | 60 | 41 | 6 | 12 | 1 | 0 |
| Imagini de table chess.com, 14 seturi de piese și 12 table | 240 | 188 | 14 | 35 | 3 | 0 |
| Diagrame din cărți tehnoredactate cu LaTeX, câmpuri hașurate | 120 | 55 | 33 | 32 | 0 | 0 |
| Capturi de pe Reddit, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Grafică de piese pe care a fost antrenat | 363 | 330 | 20 | 9 | 4 | 0 |
| Grafică de piese pe care n-a văzut-o niciodată | 177 | 72 | 33 | 72 | 0 | 0 |
Ce s-a schimbat de la prima rulare
10 noiembrie 2026. Prima rulare a arătat că fenshot nu găsea tabla în diagramele în stil tipărit: hașura din câmpurile negre îi ascundea grila tablei. Pe tablele marmorate, citirea putea și să alunece cu un câmp. Acum fenshot se uită a doua oară, la o copie estompată a imaginii, ori de câte ori prima privire nu e clar corectă. Cititorul de piese în sine a rămas neschimbat.
| Citite corect | Prima rulare | Acum |
|---|---|---|
| Diagrame din cărți | 1 / 120 | 88 / 120 |
| chess.com și Lichess cu alte seturi de piese și table | 211 / 300 | 249 / 300 |
| Pagini chess.com și Lichess în aspectul implicit | 118 / 120 | 118 / 120 |
| Capturi de pe Reddit | 405 / 488 | 419 / 488 |
Unde are fenshot dificultăți
- Orientarea tablei în finaluri. fenshot citește câmpurile, apoi deduce care parte e jos după locul în care stau pionii. În finaluri, asta iese greșit în aproximativ 4 până la 7 poziții din 100: fiecare câmp e corect, dar tabla e întoarsă, și nu apare niciun avertisment. Toate citirile greșite fără avertisment de pe tablele desenate sunt de acest fel.
- Seturi de piese 3D. Piesele 3D wood și 3D plastic de pe chess.com nu sunt citite corect aproape niciodată. Au fost lăsate intenționat în afara antrenamentului, iar fenshot avertizează în loc să ghicească.
- Diagrame mici din cărți. Când câmpurile unei diagrame tipărite au o lățime de aproximativ 30 de pixeli sau mai puțin, fenshot greșește adesea între unu și trei câmpuri și avertizează.
- Seturi de piese neobișnuite. Piesele horsey și monarchy de pe Lichess sunt citite greșit; monarchy nu a fost niciodată în antrenament.
- Capturi reale aglomerate. Ratările de pe Reddit includ capturi de pe telefon cu elemente suprapuse, table foarte mici și imagini cu mai multe table.
Când o citire e nesigură, fenshot afișează un avertisment și deschide editorul lângă imaginea originală, așa că un câmp greșit se corectează în câteva secunde. Cazul obișnuit, o captură de pe chess.com sau Lichess în aspectul implicit, este citit corect aproape de fiecare dată.
Cum am măsurat
- Poziții. Poziții reale din baza de date de probleme Lichess: număr egal de poziții din deschidere, joc de mijloc și final, alese după o regulă fixă, nu de mână.
- Imagini pe care nu le-am desenat noi. Fiecare tablă de pe site-uri este desenată chiar de site, pornind de la poziția pe care i-o dăm: serviciul de imagini de table al chess.com, capturi ale paginilor de analiză chess.com și Lichess la dimensiuni de desktop și telefon și Lichess cu setările proprii de set de piese și tablă schimbate. Fiecare pagină chess.com a fost verificată că arată poziția cerută înainte de a fi păstrată.
- Diagrame din cărți. 120 de diagrame tehnoredactate cu LaTeX în fonturile de șah folosite de cărțile tipărite, cu câmpurile negre hașurate: pagini întregi cu text, decupaje strânse, aspect de pagină scanată, diagrame mici și tabla văzută din partea negrului. Acoperă doar diagramele hașurate; cărțile care tipăresc câmpuri gri pline nu sunt încă în set.
- Pagini fără tablă. Articole de enciclopedie, site-uri de știri, documentație și pagini ale site-urilor de șah fără tablă, inclusiv table de dame, hârtie milimetrică și gresie, ca să testăm că fenshot nu inventează o poziție.
- Reddit. Imagini de șah postate pe Reddit, la care botul Reddit al Chessvision.ai a răspuns și el cu citirea lui. Unde fenshot și botul sunt de acord, citirea e considerată corectă; un eșantion aleatoriu dintre acestea a fost comparat cu imaginea cu ochiul liber și nu s-a găsit nicio nepotrivire. Fiecare dezacord contează împotriva fenshot, chiar și atunci când fenshot avea dreptate, așa că cifra pentru Reddit este o limită minimă. Setul include doar imaginile la care botul a răspuns, ceea ce poate lăsa pe dinafară cazurile cele mai grele.
- Același cod ca în produs. Testul rulează exact recunoașterea și modelul pe care le folosesc site-ul și extensia, inclusiv verificarea de încredere care decide când apare avertismentul.
- Sinceri despre antrenament. Modelul a fost antrenat pe grafica pieselor și a tablelor de pe chess.com și Lichess, desenată pe poziții sintetice. Niciuna dintre pozițiile, paginile sau capturile de test nu a fost folosită la antrenament, iar tabelul separă grafica pe care a văzut-o de cea pe care nu a văzut-o.
Rulează-l chiar tu
Benchmarkul se află în depozitul open source, în tools/benchmark: lista pozițiilor, sursa și amprenta fiecărei imagini, postările de pe Reddit cu ambele citiri și rezultatele de mai sus, imagine cu imagine. Reconstruiește imaginile cu npx tsx tools/benchmark/build.ts și evaluează-le cu npx tsx tools/benchmark/run.ts.