fenshot / Точность
Насколько точен fenshot?
Мы проверяем его на шахматных изображениях, для которых верный ответ известен: доски, нарисованные самими chess.com и Lichess, книжные диаграммы, свёрстанные так же, как в печатных книгах, и реальные скриншоты с Reddit. Ниже результаты, методика и все случаи, где fenshot ошибается. Тест, данные и результаты открыты, так что любой может повторить проверку.
Результаты по источникам
«Верно» значит, что совпали все 64 поля. Предупреждение значит, что fenshot сообщил пользователю о возможной ошибке и предложил исправить позицию в редакторе. Важнее всего красный столбец: ошибки без предупреждения.
| Источник | Изображений | Верно | Верно, но с предупреждением | Ошибка, с предупреждением | Ошибка, без предупреждения | Доска не найдена |
|---|---|---|---|---|---|---|
| Страница анализа chess.com, компьютер и телефон | 60 | 58 | 0 | 2 | 0 | 0 |
| Страница анализа Lichess, компьютер и телефон | 60 | 60 | 0 | 0 | 0 | 0 |
| Страница Lichess с другими комплектами фигур и досками | 60 | 41 | 6 | 12 | 1 | 0 |
| Изображения досок chess.com, 14 комплектов фигур и 12 досок | 240 | 188 | 14 | 35 | 3 | 0 |
| Книжные диаграммы, свёрстанные в LaTeX, заштрихованные поля | 120 | 55 | 33 | 32 | 0 | 0 |
| Скриншоты с Reddit: r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Рисунки фигур, на которых модель обучалась | 363 | 330 | 20 | 9 | 4 | 0 |
| Рисунки фигур, которых модель не видела | 177 | 72 | 33 | 72 | 0 | 0 |
Что изменилось с первого запуска
10 ноября 2026 года. Первый запуск показал, что fenshot не находил доску на диаграммах в печатном стиле: штриховка внутри тёмных полей скрывала от него сетку доски. На мраморных досках распознавание к тому же могло сдвигаться на одно поле. Теперь, если первый проход не дал явно верного результата, fenshot делает второй проход по смягчённой копии изображения. Сам распознаватель фигур не менялся.
| Распознано верно | Первый запуск | Сейчас |
|---|---|---|
| Книжные диаграммы | 1 / 120 | 88 / 120 |
| chess.com и Lichess с другими комплектами фигур и досками | 211 / 300 | 249 / 300 |
| Страницы chess.com и Lichess в стандартном оформлении | 118 / 120 | 118 / 120 |
| Скриншоты с Reddit | 405 / 488 | 419 / 488 |
Где fenshot ошибается
- Ориентация доски в эндшпилях. fenshot распознаёт поля, а затем по расположению пешек определяет, какая сторона внизу. В эндшпилях этот способ даёт сбой примерно от 4 до 7 раз на 100 позиций: все поля верны, но доска перевёрнута, а предупреждения нет. Все ошибки без предупреждения на нарисованных досках именно такого рода.
- Объёмные комплекты фигур. Фигуры 3D wood и 3D plastic с chess.com почти никогда не распознаются верно. Их намеренно исключили из обучения, и fenshot предупреждает, а не гадает.
- Мелкие книжные диаграммы. Если поля печатной диаграммы шириной около 30 пикселей или меньше, fenshot часто распознаёт неверно от одного до трёх полей и предупреждает об этом.
- Необычные комплекты фигур. Фигуры horsey и monarchy на Lichess распознаются неверно; monarchy в обучении не было вовсе.
- Перегруженные реальные скриншоты. Среди промахов на Reddit: скриншоты с телефона с наложенными элементами, очень маленькие доски и изображения с несколькими досками.
Если распознавание неуверенное, fenshot показывает предупреждение и открывает редактор рядом с исходной картинкой, так что неверное поле исправляется за секунды. Самый частый случай, скриншот chess.com или Lichess в стандартном оформлении, распознаётся верно почти всегда.
Как мы измеряли
- Позиции. Реальные позиции из базы задач Lichess: поровну дебютных, миттельшпильных и эндшпильных, отобранных по фиксированному правилу, а не вручную.
- Изображения рисовали не мы. Каждую доску с сайта рисует сам сайт по заданной нами позиции: сервис изображений досок chess.com, скриншоты страниц анализа chess.com и Lichess в размерах для компьютера и телефона, а также Lichess с изменёнными настройками комплекта фигур и доски. Каждую страницу chess.com перед включением в набор проверяли: показывает ли она именно запрошенную позицию.
- Книжные диаграммы. 120 диаграмм, свёрстанных в LaTeX шахматными шрифтами, которые используют в печатных книгах, с заштрихованными тёмными полями: целые страницы с текстом, плотная обрезка, вид отсканированной страницы, мелкие диаграммы и вид со стороны чёрных. Набор охватывает только заштрихованные диаграммы; книг, где поля печатают сплошным серым, в нём пока нет.
- Страницы без доски. Статьи энциклопедий, новостные сайты, документация и страницы шахматных сайтов без доски, в том числе с шашечными досками, миллиметровкой и плиткой: проверка того, что fenshot не выдумывает позицию.
- Reddit. Шахматные изображения с Reddit, на которые бот Chessvision.ai тоже ответил своим распознаванием. Если fenshot и бот совпадают, распознавание считается верным; случайную выборку таких случаев сверили с изображением на глаз и расхождений не нашли. Каждое расхождение засчитывается против fenshot, даже если прав был fenshot, поэтому цифра для Reddit это нижняя граница. В набор входят только изображения, на которые ответил бот, а значит, самые сложные могли в него не попасть.
- Тот же код, что и в продукте. Тест запускает тот же распознаватель и ту же модель, что сайт и расширение, включая проверку уверенности, которая решает, когда предупреждать.
- Честно об обучении. Модель обучена на рисунках фигур и досок chess.com и Lichess, расставленных в синтетические позиции. Ни одна тестовая позиция, страница или скриншот в обучении не использовались, а в таблице отдельно показаны рисунки, которые модель видела, и те, которых не видела.
Повторите проверку сами
Тест лежит в открытом репозитории в папке tools/benchmark: список позиций, источник и отпечаток каждого изображения, посты с Reddit с обоими распознаваниями и все результаты выше, по каждому изображению. Пересоберите изображения командой npx tsx tools/benchmark/build.ts и оцените их командой npx tsx tools/benchmark/run.ts.