fenshot / Nauwkeurigheid
Hoe nauwkeurig is fenshot?
We meten het op schaakafbeeldingen waarvan het juiste antwoord bekend is: borden die chess.com en Lichess zelf tekenen, boekdiagrammen die gezet zijn zoals in gedrukte boeken, en echte screenshots van Reddit. Hieronder staan de resultaten, de methode en elke plek waar fenshot tekortschiet. De test, de data en de resultaten zijn open source, dus iedereen kan ze opnieuw draaien.
Resultaten per bron
"Goed" betekent dat alle 64 velden kloppen. Een waarschuwing betekent dat fenshot de gebruiker liet weten dat de herkenning fout kan zijn en de editor aanbood om het te verbeteren. De rode kolom, fout zonder waarschuwing, is de belangrijkste.
| Bron | Afbeeldingen | Goed | Goed, met waarschuwing | Fout, met waarschuwing | Fout, zonder waarschuwing | Geen bord gevonden |
|---|---|---|---|---|---|---|
| Analysepagina van chess.com, desktop en telefoon | 60 | 58 | 0 | 2 | 0 | 0 |
| Analysepagina van Lichess, desktop en telefoon | 60 | 60 | 0 | 0 | 0 | 0 |
| Lichess-pagina met andere stukkensets en borden | 60 | 41 | 6 | 12 | 1 | 0 |
| Bordafbeeldingen van chess.com, 14 stukkensets en 12 borden | 240 | 188 | 14 | 35 | 3 | 0 |
| Boekdiagrammen gezet met LaTeX, gearceerde velden | 120 | 55 | 33 | 32 | 0 | 0 |
| Reddit-screenshots, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Stukontwerpen waarop het getraind is | 363 | 330 | 20 | 9 | 4 | 0 |
| Stukontwerpen die het nooit gezien heeft | 177 | 72 | 33 | 72 | 0 | 0 |
Wat er veranderd is sinds de eerste run
10 november 2026. De eerste run liet zien dat fenshot het bord niet kon vinden in diagrammen in drukstijl: de arcering in de donkere velden verborg het raster van het bord. Op gemarmerde borden kon de herkenning ook één veld opschuiven. fenshot kijkt nu een tweede keer, naar een verzachte kopie van de afbeelding, telkens als de eerste blik niet duidelijk goed is. De herkenning van de stukken zelf is ongewijzigd.
| Goed gelezen | Eerste run | Nu |
|---|---|---|
| Boekdiagrammen | 1 / 120 | 88 / 120 |
| chess.com en Lichess met andere stukkensets en borden | 211 / 300 | 249 / 300 |
| Pagina's van chess.com en Lichess in de standaardweergave | 118 / 120 | 118 / 120 |
| Reddit-screenshots | 405 / 488 | 419 / 488 |
Waar fenshot moeite mee heeft
- Bordoriëntatie in eindspelen. fenshot leest de velden en leidt daarna uit de plaats van de pionnen af welke kleur onderaan staat. In eindspelen gaat dat in ongeveer 4 tot 7 van de 100 stellingen mis: elk veld klopt, maar het bord is omgedraaid, en er komt geen waarschuwing. Elke foute herkenning zonder waarschuwing op de getekende borden is van dit type.
- 3D-stukkensets. De stukken 3D wood en 3D plastic van chess.com worden bijna nooit goed gelezen. Ze zijn bewust buiten de training gelaten, en fenshot waarschuwt in plaats van te gokken.
- Kleine boekdiagrammen. Als de velden van een gedrukt diagram ongeveer 30 pixels breed of minder zijn, leest fenshot vaak één tot drie velden verkeerd, en waarschuwt het.
- Ongebruikelijke stukkensets. De stukken horsey en monarchy van Lichess worden verkeerd gelezen; monarchy zat nooit in de training.
- Drukke echte screenshots. Missers op Reddit zijn onder meer telefoonscreenshots met overlays, heel kleine borden en afbeeldingen met meer dan één bord.
Is een herkenning onzeker, dan toont fenshot een waarschuwing en opent het de editor naast de originele afbeelding, zodat je een fout veld in een paar seconden verbetert. Het gewone geval, een screenshot van chess.com of Lichess in de standaardweergave, wordt bijna altijd goed gelezen.
Hoe we gemeten hebben
- Stellingen. Echte stellingen uit de puzzeldatabase van Lichess: evenveel opening-, middenspel- en eindspelstellingen, gekozen volgens een vaste regel, niet met de hand.
- Afbeeldingen die we niet zelf tekenden. Elk bord van een site wordt door de site zelf getekend op basis van de stelling die wij opgeven: de bordafbeeldingsdienst van chess.com, screenshots van de analysepagina's van chess.com en Lichess op desktop- en telefoonformaat, en Lichess met aangepaste instellingen voor stukkenset en bord. Van elke chess.com-pagina is gecontroleerd dat ze de gevraagde stelling toonde voordat ze werd bewaard.
- Boekdiagrammen. 120 diagrammen, gezet met LaTeX in de schaaklettertypen die gedrukte boeken gebruiken, met gearceerde donkere velden: volledige pagina's met tekst, krappe uitsneden, pagina's met een gescand uiterlijk, kleine diagrammen en het bord vanuit zwart gezien. Ze dekken alleen gearceerde diagrammen; boeken die effen grijze velden drukken, zitten nog niet in de set.
- Pagina's zonder bord. Encyclopedieartikelen, nieuwssites, documentatie en pagina's van schaaksites zonder bord, waaronder dambordpatronen, ruitjespapier en tegels, om te testen dat fenshot geen stelling verzint.
- Reddit. Schaakafbeeldingen op Reddit waarop ook de Reddit-bot van Chessvision.ai met zijn herkenning reageerde. Als fenshot en de bot het eens zijn, telt de herkenning als goed; een willekeurige steekproef daarvan is met het oog vergeleken met de afbeelding en er werd geen verschil gevonden. Elk verschil telt tegen fenshot, ook als fenshot gelijk had, dus het Reddit-cijfer is een ondergrens. De set bevat alleen afbeeldingen waarop de bot reageerde, waardoor de moeilijkste mogelijk ontbreken.
- Dezelfde code als het product. De test draait precies de herkenner en het model die de website en de extensie gebruiken, inclusief de betrouwbaarheidscontrole die bepaalt wanneer er gewaarschuwd wordt.
- Eerlijk over de training. Het model is getraind op stuk- en bordontwerpen van chess.com en Lichess, getekend op synthetische stellingen. Geen van de teststellingen, pagina's of screenshots is in de training gebruikt, en de tabel scheidt ontwerpen die het kent van ontwerpen die het niet kent.
Draai het zelf opnieuw
De benchmark staat in de open source repository onder tools/benchmark: de lijst met stellingen, de bron en vingerafdruk van elke afbeelding, de Reddit-posts met beide herkenningen en de resultaten hierboven, afbeelding voor afbeelding. Bouw de afbeeldingen opnieuw met npx tsx tools/benchmark/build.ts en beoordeel ze met npx tsx tools/benchmark/run.ts.