fenshot / Precisão
Qual é a precisão do fenshot?
Medimos em imagens de xadrez cuja resposta certa é conhecida: tabuleiros desenhados pelo próprio chess.com e pelo próprio Lichess, diagramas de livro compostos do mesmo jeito que nos livros impressos, e prints reais postados no Reddit. Abaixo estão os resultados, o método e todos os casos em que o fenshot falha. O teste, os dados e os resultados são de código aberto, então qualquer pessoa pode rodar tudo de novo.
Resultados por fonte
"Certo" significa que as 64 casas batem. Um aviso significa que o fenshot avisou o usuário de que a leitura podia estar errada e ofereceu o editor para corrigir. A coluna vermelha, errado sem aviso, é a que mais importa.
| Fonte | Imagens | Certo | Certo, com aviso | Errado, com aviso | Errado, sem aviso | Sem tabuleiro |
|---|---|---|---|---|---|---|
| Página de análise do chess.com, desktop e celular | 60 | 58 | 0 | 2 | 0 | 0 |
| Página de análise do Lichess, desktop e celular | 60 | 60 | 0 | 0 | 0 | 0 |
| Página do Lichess com outros conjuntos de peças e tabuleiros | 60 | 41 | 6 | 12 | 1 | 0 |
| Imagens de tabuleiro do chess.com, 14 conjuntos de peças e 12 tabuleiros | 240 | 188 | 14 | 35 | 3 | 0 |
| Diagramas de livro compostos com LaTeX, casas hachuradas | 120 | 55 | 33 | 32 | 0 | 0 |
| Prints do Reddit, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Desenhos de peças usados no treino | 363 | 330 | 20 | 9 | 4 | 0 |
| Desenhos de peças que ele nunca viu | 177 | 72 | 33 | 72 | 0 | 0 |
O que mudou desde a primeira execução
10 de novembro de 2026. A primeira execução mostrou que o fenshot não conseguia encontrar o tabuleiro em diagramas com estilo de impresso: a hachura dentro das casas escuras escondia dele a grade do tabuleiro. Em tabuleiros marmorizados, a leitura também podia se deslocar em uma casa. Agora o fenshot dá uma segunda olhada em uma cópia suavizada da imagem sempre que a primeira não está claramente certa. O leitor de peças em si não mudou.
| Leituras certas | Primeira execução | Agora |
|---|---|---|
| Diagramas de livro | 1 / 120 | 88 / 120 |
| chess.com e Lichess com outros conjuntos de peças e tabuleiros | 211 / 300 | 249 / 300 |
| Páginas do chess.com e do Lichess no visual padrão | 118 / 120 | 118 / 120 |
| Prints do Reddit | 405 / 488 | 419 / 488 |
Onde o fenshot tem dificuldade
- Orientação do tabuleiro nos finais. O fenshot lê as casas e depois deduz qual lado está embaixo pela posição dos peões. Nos finais isso dá errado em cerca de 4 a 7 posições a cada 100: todas as casas estão certas, mas o tabuleiro fica virado ao contrário, e não há aviso. Toda leitura errada sem aviso nos tabuleiros desenhados é desse tipo.
- Conjuntos de peças 3D. As peças 3D wood e 3D plastic do chess.com quase nunca são lidas certo. Elas ficaram de fora do treino de propósito, e o fenshot avisa em vez de chutar.
- Diagramas de livro pequenos. Quando as casas de um diagrama impresso têm cerca de 30 pixels de largura ou menos, o fenshot muitas vezes erra de uma a três casas, e avisa.
- Conjuntos de peças incomuns. As peças horsey e monarchy do Lichess são lidas errado; monarchy nunca fez parte do treino.
- Prints reais poluídos. Os erros no Reddit incluem prints de celular com sobreposições, tabuleiros muito pequenos e imagens com mais de um tabuleiro.
Quando uma leitura é incerta, o fenshot mostra um aviso e abre o editor ao lado da imagem original, então corrigir uma casa errada leva segundos. O caso comum, um print do chess.com ou do Lichess no visual padrão, é lido certo quase sempre.
Como medimos
- Posições. Posições reais do banco de problemas do Lichess: a mesma quantidade de posições de abertura, meio-jogo e final, escolhidas por uma regra fixa, não à mão.
- Imagens que não fomos nós que desenhamos. Cada tabuleiro de site é desenhado pelo próprio site a partir da posição que passamos: o serviço de imagens de tabuleiro do chess.com, prints das páginas de análise do chess.com e do Lichess em tamanho de desktop e de celular, e o Lichess com as próprias configurações de conjunto de peças e tabuleiro alteradas. Cada página do chess.com foi conferida para garantir que mostrava a posição pedida antes de ser mantida.
- Diagramas de livro. 120 diagramas compostos com LaTeX nas fontes de xadrez que os livros impressos usam, com as casas escuras hachuradas: páginas inteiras com texto, recortes justos, visual de página escaneada, diagramas pequenos e diagramas vistos do lado das pretas. Eles cobrem só diagramas hachurados; livros que imprimem casas em cinza sólido ainda não estão no conjunto.
- Páginas sem tabuleiro. Artigos de enciclopédia, sites de notícias, documentação e páginas de sites de xadrez sem tabuleiro, incluindo tabuleiros de damas, papel quadriculado e azulejos, para testar se o fenshot não inventa uma posição.
- Reddit. Imagens de xadrez postadas no Reddit às quais o bot do Chessvision.ai no Reddit também respondeu com a leitura dele. Quando o fenshot e o bot concordam, a leitura conta como certa; uma amostra aleatória desses casos foi comparada com a imagem a olho e nenhuma divergência foi encontrada. Toda discordância conta contra o fenshot, mesmo quando quem acertou foi o fenshot, então o número do Reddit é um piso. O conjunto só inclui imagens que o bot respondeu, o que pode deixar de fora as mais difíceis.
- O mesmo código do produto. O teste roda exatamente o mesmo reconhecedor e modelo que o site e a extensão usam, incluindo a checagem de confiança que decide quando avisar.
- Transparência sobre o treino. O modelo foi treinado com desenhos de peças e tabuleiros do chess.com e do Lichess, aplicados a posições sintéticas. Nenhuma das posições, páginas ou prints do teste foi usada no treino, e a tabela separa os desenhos que ele já viu dos que não viu.
Rode você mesmo
O benchmark fica no repositório de código aberto, em tools/benchmark: a lista de posições, a fonte e a impressão digital de cada imagem, os posts do Reddit com as duas leituras e os resultados acima, imagem por imagem. Gere as imagens de novo com npx tsx tools/benchmark/build.ts e avalie com npx tsx tools/benchmark/run.ts.