fenshot / Précision
Quelle est la précision de fenshot ?
Nous la mesurons sur des images d'échecs dont la bonne réponse est connue : des échiquiers dessinés par chess.com et Lichess eux-mêmes, des diagrammes de livre composés comme dans les livres imprimés, et de vraies captures d'écran publiées sur Reddit. Voici les résultats, la méthode et tous les cas où fenshot se trompe. Le test, les données et les résultats sont open source : chacun peut les relancer.
Résultats par source
« Juste » signifie que les 64 cases correspondent toutes. Un avertissement signifie que fenshot a prévenu l'utilisateur que la lecture pouvait être fausse et lui a proposé l'éditeur pour la corriger. La colonne rouge, fausse sans avertissement, est celle qui compte le plus.
| Source | Images | Juste | Juste, mais signalé | Faux, signalé | Faux, non signalé | Aucun échiquier |
|---|---|---|---|---|---|---|
| Page d'analyse chess.com, ordinateur et mobile | 60 | 58 | 0 | 2 | 0 | 0 |
| Page d'analyse Lichess, ordinateur et mobile | 60 | 60 | 0 | 0 | 0 | 0 |
| Page Lichess avec d'autres jeux de pièces et échiquiers | 60 | 41 | 6 | 12 | 1 | 0 |
| Images d'échiquier chess.com, 14 jeux de pièces et 12 échiquiers | 240 | 188 | 14 | 35 | 3 | 0 |
| Diagrammes de livre composés avec LaTeX, cases hachurées | 120 | 55 | 33 | 32 | 0 | 0 |
| Captures Reddit : r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Dessins de pièces vus à l'entraînement | 363 | 330 | 20 | 9 | 4 | 0 |
| Dessins de pièces jamais vus | 177 | 72 | 33 | 72 | 0 | 0 |
Ce qui a changé depuis le premier passage
10 novembre 2026. Le premier passage a montré que fenshot ne trouvait pas l'échiquier dans les diagrammes de style imprimé : les hachures à l'intérieur des cases noires lui masquaient la grille de l'échiquier. Sur les échiquiers marbrés, la lecture pouvait aussi se décaler d'une case. Désormais, fenshot regarde une seconde fois, sur une copie adoucie de l'image, chaque fois que le premier regard n'est pas clairement juste. Le lecteur de pièces lui-même n'a pas changé.
| Lectures justes | Premier passage | Maintenant |
|---|---|---|
| Diagrammes de livre | 1 / 120 | 88 / 120 |
| chess.com et Lichess avec d'autres jeux de pièces et échiquiers | 211 / 300 | 249 / 300 |
| Pages chess.com et Lichess dans leur apparence par défaut | 118 / 120 | 118 / 120 |
| Captures Reddit | 405 / 488 | 419 / 488 |
Là où fenshot a du mal
- Sens de l'échiquier en finale. fenshot lit les cases, puis déduit quel camp est en bas d'après la place des pions. En finale, il se trompe dans environ 4 à 7 positions sur 100 : toutes les cases sont justes, mais l'échiquier est retourné, et il n'y a aucun avertissement. Toutes les lectures fausses sans avertissement sur les échiquiers dessinés sont de ce type.
- Jeux de pièces 3D. Les pièces 3D wood et 3D plastic de chess.com ne sont presque jamais lues correctement. Elles ont été exclues de l'entraînement volontairement, et fenshot avertit au lieu de deviner.
- Petits diagrammes de livre. Quand les cases d'un diagramme imprimé font environ 30 pixels de large ou moins, fenshot se trompe souvent sur une à trois cases, et avertit.
- Jeux de pièces inhabituels. Les pièces horsey et monarchy de Lichess sont mal lues ; monarchy n'a jamais fait partie de l'entraînement.
- Vraies captures chargées. Les ratés sur Reddit incluent des captures de téléphone avec des éléments superposés, des échiquiers très petits et des images contenant plusieurs échiquiers.
Quand une lecture est incertaine, fenshot affiche un avertissement et ouvre l'éditeur à côté de l'image d'origine : une case fausse se corrige en quelques secondes. Le cas courant, une capture chess.com ou Lichess dans l'apparence par défaut, est lu correctement presque à chaque fois.
Notre méthode
- Positions. De vraies positions tirées de la base de problèmes Lichess : autant d'ouvertures que de milieux de partie et de finales, choisies selon une règle fixe, pas à la main.
- Des images que nous n'avons pas dessinées. Chaque échiquier de site est dessiné par le site lui-même à partir de la position fournie : le service d'images d'échiquier de chess.com, des captures des pages d'analyse de chess.com et de Lichess aux formats ordinateur et mobile, et Lichess avec ses réglages de jeu de pièces et d'échiquier modifiés. Chaque page chess.com a été vérifiée avant d'être retenue, pour s'assurer qu'elle affichait bien la position demandée.
- Diagrammes de livre. 120 diagrammes composés avec LaTeX dans les polices d'échecs des livres imprimés, avec des cases noires hachurées : pages entières avec du texte, cadrages serrés, aspect de page scannée, petits diagrammes, et vue du côté des Noirs. Ils ne couvrent que les diagrammes hachurés ; les livres qui impriment des cases grises unies ne figurent pas encore dans l'ensemble.
- Pages sans échiquier. Articles d'encyclopédie, sites d'actualité, documentation et pages de sites d'échecs sans échiquier, y compris des damiers, du papier millimétré et du carrelage, pour vérifier que fenshot n'invente pas de position.
- Reddit. Des images d'échecs publiées sur Reddit, auxquelles le bot Reddit de Chessvision.ai a aussi répondu avec sa lecture. Quand fenshot et le bot sont d'accord, la lecture compte comme juste ; un échantillon aléatoire de ces cas a été comparé à l'image à l'œil nu, sans aucune divergence. Chaque désaccord compte contre fenshot, même quand c'est fenshot qui avait raison : le chiffre Reddit est donc un plancher. L'ensemble ne contient que les images auxquelles le bot a répondu, ce qui peut écarter les plus difficiles.
- Le même code que le produit. Le test exécute exactement le même moteur de reconnaissance et le même modèle que le site et l'extension, y compris le contrôle de confiance qui décide quand avertir.
- Transparence sur l'entraînement. Le modèle a été entraîné sur les dessins de pièces et d'échiquiers de chess.com et Lichess, placés dans des positions synthétiques. Aucune position, page ou capture du test n'a servi à l'entraînement, et le tableau sépare les dessins déjà vus de ceux jamais vus.
Relancez-le vous-même
Le benchmark se trouve dans le dépôt open source, sous tools/benchmark : la liste des positions, la source et l'empreinte de chaque image, les posts Reddit avec les deux lectures, et les résultats ci-dessus, image par image. Régénérez les images avec npx tsx tools/benchmark/build.ts et évaluez-les avec npx tsx tools/benchmark/run.ts.