fenshot / Precisión
¿Qué precisión tiene fenshot?
La medimos con imágenes de ajedrez cuya respuesta correcta se conoce: tableros dibujados por los propios chess.com y Lichess, diagramas de libros compuestos igual que en los libros impresos, y capturas reales publicadas en Reddit. Abajo están los resultados, el método y todos los casos en los que fenshot falla. La prueba, los datos y los resultados son de código abierto, así que cualquiera puede repetirla.
Resultados por origen
"Correcto" significa que coinciden las 64 casillas. Un aviso significa que fenshot avisó al usuario de que la lectura podía estar mal y le ofreció el editor para corregirla. La columna roja, incorrecto sin aviso, es la que más importa.
| Origen | Imágenes | Correcto | Correcto, con aviso | Incorrecto, con aviso | Incorrecto, sin aviso | Sin tablero |
|---|---|---|---|---|---|---|
| Página de análisis de chess.com, ordenador y móvil | 60 | 58 | 0 | 2 | 0 | 0 |
| Página de análisis de Lichess, ordenador y móvil | 60 | 60 | 0 | 0 | 0 | 0 |
| Página de Lichess con otros juegos de piezas y tableros | 60 | 41 | 6 | 12 | 1 | 0 |
| Imágenes de tablero de chess.com, 14 juegos de piezas y 12 tableros | 240 | 188 | 14 | 35 | 3 | 0 |
| Diagramas de libros compuestos con LaTeX, casillas rayadas | 120 | 55 | 33 | 32 | 0 | 0 |
| Capturas de Reddit, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Diseños de piezas con los que se entrenó | 363 | 330 | 20 | 9 | 4 | 0 |
| Diseños de piezas que nunca ha visto | 177 | 72 | 33 | 72 | 0 | 0 |
Qué ha cambiado desde la primera ejecución
10 de noviembre de 2026. La primera ejecución mostró que fenshot no encontraba el tablero en los diagramas de estilo impreso: el rayado de las casillas oscuras le ocultaba la cuadrícula del tablero. En los tableros con textura de mármol, la lectura también podía desplazarse una casilla. Ahora fenshot echa un segundo vistazo a una copia suavizada de la imagen siempre que el primero no es claramente correcto. El lector de piezas en sí no ha cambiado.
| Lecturas correctas | Primera ejecución | Ahora |
|---|---|---|
| Diagramas de libros | 1 / 120 | 88 / 120 |
| chess.com y Lichess con otros juegos de piezas y tableros | 211 / 300 | 249 / 300 |
| Páginas de chess.com y Lichess con su aspecto por defecto | 118 / 120 | 118 / 120 |
| Capturas de Reddit | 405 / 488 | 419 / 488 |
Dónde le cuesta a fenshot
- Orientación del tablero en los finales. fenshot lee las casillas y luego deduce qué bando está abajo según dónde están los peones. En los finales eso falla en unas 4 a 7 posiciones de cada 100: todas las casillas están bien, pero el tablero queda al revés, y no hay ningún aviso. Todas las lecturas erróneas sin aviso en los tableros dibujados son de este tipo.
- Juegos de piezas 3D. Las piezas 3D wood y 3D plastic de chess.com casi nunca se leen bien. Se dejaron fuera del entrenamiento a propósito, y fenshot avisa en lugar de adivinar.
- Diagramas pequeños de libros. Cuando las casillas de un diagrama impreso miden unos 30 píxeles de ancho o menos, fenshot a menudo se equivoca en una a tres casillas, y avisa.
- Juegos de piezas poco habituales. Las piezas horsey y monarchy de Lichess se leen mal; monarchy nunca estuvo en el entrenamiento.
- Capturas reales recargadas. Entre los fallos en Reddit hay capturas de móvil con elementos superpuestos, tableros muy pequeños e imágenes con más de un tablero.
Cuando una lectura es dudosa, fenshot muestra un aviso y abre el editor junto a la imagen original, así que corregir una casilla errónea lleva segundos. El caso habitual, una captura de chess.com o Lichess con el aspecto por defecto, se lee bien casi siempre.
Cómo lo medimos
- Posiciones. Posiciones reales de la base de datos de problemas de Lichess: el mismo número de posiciones de apertura, medio juego y final, elegidas con una regla fija, no a mano.
- Imágenes que no dibujamos nosotros. Cada tablero de las webs lo dibuja la propia web a partir de la posición que le damos: el servicio de imágenes de tablero de chess.com, capturas de las páginas de análisis de chess.com y Lichess en tamaño de ordenador y de móvil, y Lichess con sus propios ajustes de juego de piezas y tablero cambiados. Antes de conservar cada página de chess.com se comprobó que mostraba la posición pedida.
- Diagramas de libros. 120 diagramas compuestos con LaTeX en las fuentes de ajedrez que usan los libros impresos, con las casillas oscuras rayadas: páginas completas con texto, recortes ajustados, aspecto de página escaneada, diagramas pequeños y diagramas vistos desde el lado de las negras. Solo cubren diagramas rayados; los libros que imprimen casillas de gris liso todavía no están en el conjunto.
- Páginas sin tablero. Artículos de enciclopedia, webs de noticias, documentación y páginas de webs de ajedrez sin tablero, incluidos tableros de damas, papel cuadriculado y azulejos, para comprobar que fenshot no se inventa una posición.
- Reddit. Imágenes de ajedrez publicadas en Reddit a las que el bot de Chessvision.ai en Reddit también respondió con su lectura. Cuando fenshot y el bot coinciden, la lectura cuenta como correcta; una muestra aleatoria de estos casos se comparó a ojo con la imagen y no se encontró ninguna discrepancia. Cada desacuerdo cuenta en contra de fenshot, incluso cuando el que acertó fue fenshot, así que la cifra de Reddit es un mínimo. El conjunto solo incluye imágenes que el bot respondió, lo que puede dejar fuera las más difíciles.
- El mismo código que el producto. La prueba ejecuta exactamente el mismo reconocedor y modelo que usan la web y la extensión, incluida la comprobación de confianza que decide cuándo avisar.
- Transparencia sobre el entrenamiento. El modelo se entrenó con diseños de piezas y tableros de chess.com y Lichess, dibujados sobre posiciones sintéticas. Ninguna de las posiciones, páginas o capturas de la prueba se usó en el entrenamiento, y la tabla separa los diseños que ha visto de los que no.
Repítelo tú mismo
El benchmark está en el repositorio de código abierto, en tools/benchmark: la lista de posiciones, el origen y la huella de cada imagen, las publicaciones de Reddit con ambas lecturas y los resultados de arriba, imagen por imagen. Regenera las imágenes con npx tsx tools/benchmark/build.ts y puntúalas con npx tsx tools/benchmark/run.ts.