fenshot / Độ chính xác
fenshot chính xác đến đâu?
Chúng tôi đo trên những ảnh cờ vua đã biết đáp án đúng: bàn cờ do chính chess.com và Lichess vẽ, sơ đồ sách được sắp chữ theo đúng cách của sách in, và ảnh chụp màn hình thật đăng trên Reddit. Dưới đây là kết quả, phương pháp và mọi trường hợp fenshot thất bại. Bài kiểm thử, dữ liệu và kết quả đều là mã nguồn mở, nên ai cũng có thể chạy lại.
Kết quả theo nguồn
“Đúng” nghĩa là cả 64 ô đều khớp. Có cảnh báo nghĩa là fenshot đã báo cho người dùng rằng kết quả có thể sai và mở trình chỉnh sửa để sửa. Cột màu đỏ, sai mà không có cảnh báo, là cột quan trọng nhất.
| Nguồn | Số ảnh | Đúng | Đúng, có cảnh báo | Sai, có cảnh báo | Sai, không cảnh báo | Không thấy bàn cờ |
|---|---|---|---|---|---|---|
| Trang phân tích chess.com, máy tính và điện thoại | 60 | 58 | 0 | 2 | 0 | 0 |
| Trang phân tích Lichess, máy tính và điện thoại | 60 | 60 | 0 | 0 | 0 | 0 |
| Trang Lichess với bộ quân và bàn cờ khác | 60 | 41 | 6 | 12 | 1 | 0 |
| Ảnh bàn cờ chess.com, 14 bộ quân và 12 bàn cờ | 240 | 188 | 14 | 35 | 3 | 0 |
| Sơ đồ sách sắp chữ bằng LaTeX, ô gạch chéo | 120 | 55 | 33 | 32 | 0 | 0 |
| Ảnh chụp màn hình Reddit, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Kiểu quân đã có trong dữ liệu huấn luyện | 363 | 330 | 20 | 9 | 4 | 0 |
| Kiểu quân chưa từng thấy | 177 | 72 | 33 | 72 | 0 | 0 |
Những gì đã thay đổi từ lần chạy đầu tiên
Ngày 10 tháng 11 năm 2026. Lần chạy đầu tiên cho thấy fenshot không tìm được bàn cờ trong các sơ đồ kiểu in ấn: các nét gạch chéo bên trong ô tối màu che mất lưới bàn cờ. Trên bàn cờ vân cẩm thạch, kết quả đọc cũng có thể lệch đi một ô. Giờ đây fenshot nhìn lại lần thứ hai trên một bản sao đã làm mịn của ảnh mỗi khi lần nhìn đầu chưa rõ ràng là đúng. Bản thân bộ đọc quân cờ không thay đổi.
| Đọc đúng | Lần chạy đầu | Hiện tại |
|---|---|---|
| Sơ đồ sách | 1 / 120 | 88 / 120 |
| chess.com và Lichess với bộ quân và bàn cờ khác | 211 / 300 | 249 / 300 |
| Trang chess.com và Lichess ở giao diện mặc định | 118 / 120 | 118 / 120 |
| Ảnh chụp màn hình Reddit | 405 / 488 | 419 / 488 |
Những chỗ fenshot gặp khó
- Hướng bàn cờ trong tàn cuộc. fenshot đọc các ô, rồi dựa vào vị trí các quân tốt để suy ra bên nào nằm ở phía dưới. Trong tàn cuộc, việc này sai ở khoảng 4 đến 7 thế cờ trên 100: mọi ô đều đúng, nhưng bàn cờ bị xoay ngược, và không có cảnh báo. Mọi lần đọc sai mà không cảnh báo trên các bàn cờ được vẽ đều thuộc loại này.
- Bộ quân 3D. Quân 3D wood và 3D plastic của chess.com gần như không bao giờ được đọc đúng. Chúng được cố ý loại khỏi dữ liệu huấn luyện, và fenshot sẽ cảnh báo thay vì đoán mò.
- Sơ đồ sách cỡ nhỏ. Khi các ô của một sơ đồ in rộng khoảng 30 pixel trở xuống, fenshot thường đọc sai từ một đến ba ô, và có cảnh báo.
- Bộ quân lạ. Quân horsey và monarchy của Lichess bị đọc sai; monarchy chưa bao giờ có trong dữ liệu huấn luyện.
- Ảnh chụp thật rối mắt. Các lần đọc trượt trên Reddit gồm ảnh chụp màn hình điện thoại có lớp phủ, bàn cờ rất nhỏ và ảnh có nhiều hơn một bàn cờ.
Khi không chắc chắn, fenshot hiển thị cảnh báo và mở trình chỉnh sửa cạnh ảnh gốc, nên sửa một ô sai chỉ mất vài giây. Trường hợp phổ biến, ảnh chụp màn hình chess.com hoặc Lichess ở giao diện mặc định, gần như lần nào cũng được đọc đúng.
Chúng tôi đo như thế nào
- Thế cờ. Thế cờ thật từ cơ sở dữ liệu câu đố của Lichess: số thế cờ khai cuộc, trung cuộc và tàn cuộc bằng nhau, được chọn theo một quy tắc cố định, không chọn tay.
- Ảnh không do chúng tôi vẽ. Mọi bàn cờ của trang web đều do chính trang web vẽ từ thế cờ chúng tôi đưa vào: dịch vụ ảnh bàn cờ của chess.com, ảnh chụp trang phân tích của chess.com và Lichess ở kích thước máy tính và điện thoại, và Lichess sau khi đổi cài đặt bộ quân và bàn cờ. Mỗi trang chess.com đều được kiểm tra xem có hiển thị đúng thế cờ đã yêu cầu hay không trước khi giữ lại.
- Sơ đồ sách. 120 sơ đồ sắp chữ bằng LaTeX với các phông chữ cờ vua mà sách in dùng, ô tối màu được gạch chéo: trang đầy đủ có chữ, ảnh cắt sát, kiểu trang quét, sơ đồ nhỏ, và góc nhìn từ phía quân Đen. Chúng chỉ bao gồm sơ đồ gạch chéo; những cuốn sách in ô xám đặc chưa có trong bộ dữ liệu.
- Trang không có bàn cờ. Bài bách khoa, trang tin tức, tài liệu kỹ thuật và các trang cờ vua không có bàn cờ, kể cả họa tiết ô vuông xen kẽ, giấy kẻ ô và gạch lát, để kiểm tra rằng fenshot không tự bịa ra thế cờ.
- Reddit. Ảnh cờ vua đăng trên Reddit mà bot Reddit của Chessvision.ai cũng đã trả lời bằng kết quả đọc của nó. Khi fenshot và bot khớp nhau, kết quả được tính là đúng; một mẫu ngẫu nhiên trong số này đã được so bằng mắt với ảnh và không thấy sai lệch nào. Mọi điểm bất đồng đều tính là lỗi của fenshot, kể cả khi fenshot mới là bên đúng, nên con số Reddit là mức sàn. Bộ dữ liệu chỉ gồm những ảnh bot đã trả lời, nên có thể bỏ sót những ảnh khó nhất.
- Cùng mã với sản phẩm. Bài kiểm thử chạy đúng bộ nhận diện và mô hình mà trang web và tiện ích dùng, kể cả bước kiểm tra độ tin cậy quyết định khi nào cảnh báo.
- Minh bạch về huấn luyện. Mô hình được huấn luyện trên hình vẽ quân và bàn cờ của chess.com và Lichess, đặt trên các thế cờ tổng hợp. Không thế cờ, trang hay ảnh chụp màn hình kiểm thử nào được dùng để huấn luyện, và bảng tách riêng kiểu quân đã thấy với kiểu quân chưa thấy.
Tự chạy lại
Bộ đánh giá nằm trong kho mã nguồn mở tại tools/benchmark: danh sách thế cờ, nguồn và dấu vân tay của từng ảnh, các bài đăng Reddit kèm cả hai kết quả đọc, và kết quả ở trên cho từng ảnh. Tạo lại ảnh bằng npx tsx tools/benchmark/build.ts và chấm điểm bằng npx tsx tools/benchmark/run.ts.