fenshot / 准确率
fenshot 有多准?
我们在已知正确答案的国际象棋图片上进行测量:由 chess.com 和 Lichess 自己绘制的棋盘,按印刷书籍的方式排版的书中棋局图,以及发布在 Reddit 上的真实截图。下面是结果、方法,以及 fenshot 出错的每一种情况。测试、数据和结果都是开源的,任何人都可以重新运行。
98.3%
118 / 120
默认外观的 chess.com 和 Lichess 页面完全读对
85.8%
419 / 488
真实 Reddit 截图读对(至少)
95.2%
81 / 85
绘制的棋盘和书中棋局图上,识别错误时附带了提醒检查的警告
100%
40 / 40
没有棋盘的页面中,fenshot 没有凭空编出棋盘
按来源划分的结果
“正确”指 64 个格子全部一致。“有警告”指 fenshot 已提醒用户识别结果可能有误,并打开编辑器供修正。红色那一列,即识别错误且没有警告,是最关键的一列。
| 来源 | 图片数 | 正确 | 正确,但有警告 | 错误,有警告 | 错误,无警告 | 未找到棋盘 |
|---|---|---|---|---|---|---|
| chess.com 分析页面,桌面端和手机端 | 60 | 58 | 0 | 2 | 0 | 0 |
| Lichess 分析页面,桌面端和手机端 | 60 | 60 | 0 | 0 | 0 | 0 |
| 更换了棋子样式和棋盘的 Lichess 页面 | 60 | 41 | 6 | 12 | 1 | 0 |
| chess.com 棋盘图片,14 种棋子样式和 12 种棋盘 | 240 | 188 | 14 | 35 | 3 | 0 |
| 用 LaTeX 排版的书中棋局图,斜线阴影格 | 120 | 55 | 33 | 32 | 0 | 0 |
| Reddit 截图,来自 r/chess、r/chessbeginners、r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| 训练中见过的棋子造型 | 363 | 330 | 20 | 9 | 4 | 0 |
| 从未见过的棋子造型 | 177 | 72 | 33 | 72 | 0 | 0 |
自首次运行以来的变化
2026 年 11 月 10 日。首次运行表明,fenshot 在印刷风格的棋局图中找不到棋盘:深色格内的斜线阴影让它看不出棋盘的网格。在大理石纹棋盘上,识别结果还可能错位一格。现在,只要第一遍看的结果不是明显正确,fenshot 就会对图片的柔化副本再看一遍。棋子识别器本身没有变化。
| 读对 | 首次运行 | 现在 |
|---|---|---|
| 书中棋局图 | 1 / 120 | 88 / 120 |
| 更换了棋子样式和棋盘的 chess.com 和 Lichess | 211 / 300 | 249 / 300 |
| 默认外观的 chess.com 和 Lichess 页面 | 118 / 120 | 118 / 120 |
| Reddit 截图 | 405 / 488 | 419 / 488 |
fenshot 的薄弱之处
- 残局中的棋盘方向。fenshot 先读出各个格子,再根据兵所在的位置判断哪一方在棋盘下方。在残局中,每 100 个局面里大约有 4 到 7 个会判断错:每个格子都读对了,但棋盘被读反了,而且没有警告。在绘制的棋盘上,所有无警告的错误识别都属于这一类。
- 3D 棋子样式。chess.com 的 3D wood 和 3D plastic 棋子几乎从未被读对。它们是有意排除在训练之外的,fenshot 遇到时会发出警告,而不是瞎猜。
- 小尺寸的书中棋局图。当印刷棋局图的格子宽度约为 30 像素或更小时,fenshot 经常读错一到三个格子,并会发出警告。
- 少见的棋子样式。Lichess 的 horsey 和 monarchy 棋子会被读错;monarchy 从未出现在训练中。
- 杂乱的真实截图。Reddit 上的失误包括带叠加层的手机截图、非常小的棋盘,以及包含多个棋盘的图片。
识别结果不确定时,fenshot 会显示警告,并在原图旁打开编辑器,改正一个错格只需几秒。最常见的情况,即默认外观的 chess.com 或 Lichess 截图,几乎每次都能读对。
我们如何测量
- 局面。来自 Lichess 谜题数据库的真实局面:开局、中局和残局局面数量相等,按固定规则选取,而非人工挑选。
- 不是我们画的图片。每个网站棋盘都由网站本身根据我们提供的局面绘制:chess.com 的棋盘图片服务,chess.com 和 Lichess 分析页面在桌面和手机尺寸下的截图,以及更改了棋子样式和棋盘设置的 Lichess。每个 chess.com 页面都先确认显示的是我们要求的局面,才予以保留。
- 书中棋局图。120 张用 LaTeX 排版的棋局图,使用印刷书籍所用的国际象棋字体,深色格为斜线阴影:带文字的整页、紧贴棋盘的裁剪、扫描页面的效果、小尺寸棋局图,以及黑方视角。它们只涵盖斜线阴影的棋局图;用纯灰色格子印刷的书籍尚未纳入数据集。
- 没有棋盘的页面。百科文章、新闻网站、技术文档和没有棋盘的国际象棋网站页面,其中包括棋盘格图案、方格纸和瓷砖,用来检验 fenshot 不会凭空编出局面。
- Reddit。发布在 Reddit 上、且 Chessvision.ai 的 Reddit 机器人也回复了识别结果的国际象棋图片。fenshot 与机器人一致时,识别计为正确;我们从中随机抽样,与原图逐一目视比对,没有发现不符。每一处分歧都算作 fenshot 出错,即使对的其实是 fenshot,所以 Reddit 的数字是一个下限。数据集只包含机器人回复过的图片,可能遗漏了最难的那些。
- 与产品相同的代码。测试运行的正是网站和扩展所用的识别器和模型,包括决定何时发出警告的置信度检查。
- 如实说明训练情况。模型用 chess.com 和 Lichess 的棋子与棋盘造型训练,绘制在合成局面上。测试用的局面、页面和截图都没有用于训练,表格也把见过的造型和没见过的造型分开列出。
自己重新运行
基准测试位于开源仓库的 tools/benchmark 目录下:局面列表、每张图片的来源和指纹、附带两种识别结果的 Reddit 帖子,以及上面逐张图片的结果。用 npx tsx tools/benchmark/build.ts 重新生成图片,用 npx tsx tools/benchmark/run.ts 进行评分。