fenshot / Genauigkeit
Wie genau ist fenshot?
Wir messen es an Schachbildern, bei denen die richtige Antwort bekannt ist: Bretter, die chess.com und Lichess selbst gezeichnet haben, Buchdiagramme, gesetzt wie in gedruckten Büchern, und echte Screenshots von Reddit. Unten findest du die Ergebnisse, die Methode und jede Stelle, an der fenshot scheitert. Test, Daten und Ergebnisse sind Open Source, jeder kann sie also selbst nachprüfen.
Ergebnisse nach Quelle
„Richtig“ heißt: Alle 64 Felder stimmen. Eine Warnung heißt: fenshot hat angezeigt, dass die Erkennung falsch sein könnte, und den Editor zum Korrigieren angeboten. Die rote Spalte, falsch ohne Warnung, ist die wichtigste.
| Quelle | Bilder | Richtig | Richtig, mit Warnung | Falsch, mit Warnung | Falsch, ohne Warnung | Kein Brett gefunden |
|---|---|---|---|---|---|---|
| chess.com-Analyseseite, Desktop und Handy | 60 | 58 | 0 | 2 | 0 | 0 |
| Lichess-Analyseseite, Desktop und Handy | 60 | 60 | 0 | 0 | 0 | 0 |
| Lichess-Seite mit anderen Figurensätzen und Brettern | 60 | 41 | 6 | 12 | 1 | 0 |
| chess.com-Brettbilder, 14 Figurensätze und 12 Bretter | 240 | 188 | 14 | 35 | 3 | 0 |
| Buchdiagramme, mit LaTeX gesetzt, schraffierte Felder | 120 | 55 | 33 | 32 | 0 | 0 |
| Reddit-Screenshots, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Figurendesigns, mit denen es trainiert wurde | 363 | 330 | 20 | 9 | 4 | 0 |
| Figurendesigns, die es nie gesehen hat | 177 | 72 | 33 | 72 | 0 | 0 |
Was sich seit dem ersten Lauf geändert hat
10. November 2026. Der erste Lauf zeigte, dass fenshot das Brett in Diagrammen im Druckstil nicht finden konnte: Die Schraffur in den dunklen Feldern verdeckte ihm das Raster des Bretts. Auf marmorierten Brettern konnte die Erkennung außerdem um ein Feld verrutschen. fenshot wirft jetzt einen zweiten Blick auf eine weichgezeichnete Kopie des Bildes, wann immer der erste Blick nicht eindeutig richtig ist. Die Figurenerkennung selbst ist unverändert.
| Richtig gelesen | Erster Lauf | Jetzt |
|---|---|---|
| Buchdiagramme | 1 / 120 | 88 / 120 |
| chess.com und Lichess mit anderen Figurensätzen und Brettern | 211 / 300 | 249 / 300 |
| chess.com- und Lichess-Seiten im Standarddesign | 118 / 120 | 118 / 120 |
| Reddit-Screenshots | 405 / 488 | 419 / 488 |
Wo fenshot Probleme hat
- Brettausrichtung in Endspielen. fenshot liest die Felder und leitet dann aus der Stellung der Bauern ab, welche Seite unten ist. In Endspielen geht das bei etwa 4 bis 7 von 100 Stellungen schief: Jedes Feld stimmt, aber das Brett ist umgedreht, und es gibt keine Warnung. Jeder Fehler ohne Warnung auf den gezeichneten Brettern ist von dieser Art.
- 3D-Figurensätze. Die Figuren 3D wood und 3D plastic von chess.com werden fast nie richtig gelesen. Sie wurden absichtlich nicht trainiert, und fenshot warnt, statt zu raten.
- Kleine Buchdiagramme. Sind die Felder eines gedruckten Diagramms etwa 30 Pixel breit oder schmaler, liest fenshot oft ein bis drei Felder falsch und warnt.
- Ungewöhnliche Figurensätze. Die Figuren horsey und monarchy von Lichess werden falsch gelesen; monarchy war nie im Training.
- Unruhige echte Screenshots. Zu den Fehlern auf Reddit gehören Handy-Screenshots mit Overlays, sehr kleine Bretter und Bilder mit mehr als einem Brett.
Ist eine Erkennung unsicher, zeigt fenshot eine Warnung und öffnet den Editor neben dem Originalbild, so ist ein falsches Feld in Sekunden korrigiert. Der häufigste Fall, ein Screenshot von chess.com oder Lichess im Standarddesign, wird fast immer richtig gelesen.
So haben wir gemessen
- Stellungen. Echte Stellungen aus der Lichess-Puzzle-Datenbank: gleich viele Eröffnungs-, Mittelspiel- und Endspielstellungen, ausgewählt nach einer festen Regel, nicht von Hand.
- Bilder, die wir nicht gezeichnet haben. Jedes Brett einer Schachseite zeichnet die Seite selbst aus der Stellung, die wir ihr geben: der Brettbild-Dienst von chess.com, Screenshots der Analyseseiten von chess.com und Lichess in Desktop- und Handygröße sowie Lichess mit geänderten Einstellungen für Figurensatz und Brett. Bei jeder chess.com-Seite wurde vor der Aufnahme geprüft, dass sie die angefragte Stellung zeigt.
- Buchdiagramme. 120 Diagramme, mit LaTeX in den Schachschriftarten gedruckter Bücher gesetzt, mit schraffierten dunklen Feldern: ganze Seiten mit Text, enge Ausschnitte, Seiten im Scan-Look, kleine Diagramme und die Sicht von Schwarz. Sie decken nur schraffierte Diagramme ab; Bücher, die einfarbig graue Felder drucken, sind noch nicht in der Auswahl.
- Seiten ohne Brett. Lexikonartikel, Nachrichtenseiten, Dokumentation und Seiten von Schachseiten ohne Brett, darunter Damebretter, Millimeterpapier und Fliesen, um zu testen, dass fenshot keine Stellung erfindet.
- Reddit. Auf Reddit gepostete Schachbilder, auf die auch der Reddit-Bot von Chessvision.ai mit seiner Erkennung geantwortet hat. Wenn fenshot und der Bot übereinstimmen, gilt die Erkennung als richtig; eine Zufallsstichprobe davon wurde mit bloßem Auge mit dem Bild verglichen, ohne Abweichung. Jede Abweichung zählt gegen fenshot, auch wenn fenshot recht hatte, der Reddit-Wert ist also eine Untergrenze. Die Auswahl enthält nur Bilder, auf die der Bot geantwortet hat, und lässt daher möglicherweise die schwierigsten weg.
- Derselbe Code wie im Produkt. Der Test nutzt genau die Erkennung und das Modell, die auch Website und Erweiterung verwenden, einschließlich der Konfidenzprüfung, die entscheidet, wann gewarnt wird.
- Ehrlich beim Training. Das Modell wurde mit Figuren- und Brettdesigns von chess.com und Lichess trainiert, gezeichnet auf synthetischen Stellungen. Keine der Teststellungen, Seiten oder Screenshots wurde im Training verwendet, und die Tabelle trennt Designs, die es kennt, von solchen, die es nicht kennt.
Selbst nachprüfen
Der Benchmark liegt im Open-Source-Repository unter tools/benchmark: die Liste der Stellungen, Quelle und Fingerabdruck jedes Bildes, die Reddit-Posts mit beiden Erkennungen und die obigen Ergebnisse, Bild für Bild. Erzeuge die Bilder neu mit npx tsx tools/benchmark/build.ts und bewerte sie mit npx tsx tools/benchmark/run.ts.