fenshot / Dokładność
Jak dokładny jest fenshot?
Mierzymy to na obrazach szachowych, dla których znamy poprawną odpowiedź: szachownicach narysowanych przez same chess.com i Lichess, diagramach książkowych złożonych tak jak w drukowanych książkach oraz prawdziwych zrzutach ekranu z Reddita. Poniżej znajdziesz wyniki, metodę i każde miejsce, w którym fenshot zawodzi. Test, dane i wyniki są open source, więc każdy może je powtórzyć.
Wyniki według źródła
„Poprawnie” oznacza, że zgadzają się wszystkie 64 pola. Ostrzeżenie oznacza, że fenshot poinformował użytkownika, że odczyt może być błędny, i zaproponował edytor do poprawek. Najważniejsza jest czerwona kolumna: błąd bez ostrzeżenia.
| Źródło | Obrazy | Poprawnie | Poprawnie, z ostrzeżeniem | Błąd, z ostrzeżeniem | Błąd, bez ostrzeżenia | Brak szachownicy |
|---|---|---|---|---|---|---|
| Strona analizy chess.com, komputer i telefon | 60 | 58 | 0 | 2 | 0 | 0 |
| Strona analizy Lichess, komputer i telefon | 60 | 60 | 0 | 0 | 0 | 0 |
| Strona Lichess z innymi zestawami bierek i szachownicami | 60 | 41 | 6 | 12 | 1 | 0 |
| Obrazy szachownic chess.com, 14 zestawów bierek i 12 szachownic | 240 | 188 | 14 | 35 | 3 | 0 |
| Diagramy książkowe złożone w systemie LaTeX, kreskowane pola | 120 | 55 | 33 | 32 | 0 | 0 |
| Zrzuty ekranu z Reddita, r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Wzory bierek, na których był uczony | 363 | 330 | 20 | 9 | 4 | 0 |
| Wzory bierek, których nigdy nie widział | 177 | 72 | 33 | 72 | 0 | 0 |
Co się zmieniło od pierwszego uruchomienia
10 listopada 2026. Pierwsze uruchomienie pokazało, że fenshot nie potrafił znaleźć szachownicy na diagramach w stylu druku: kreskowanie wewnątrz ciemnych pól zasłaniało mu siatkę szachownicy. Na marmurkowych szachownicach odczyt mógł się też przesunąć o jedno pole. Teraz fenshot patrzy po raz drugi, na wygładzoną kopię obrazu, zawsze gdy pierwsze spojrzenie nie jest wyraźnie poprawne. Sam odczyt bierek się nie zmienił.
| Odczytane poprawnie | Pierwsze uruchomienie | Teraz |
|---|---|---|
| Diagramy książkowe | 1 / 120 | 88 / 120 |
| chess.com i Lichess z innymi zestawami bierek i szachownicami | 211 / 300 | 249 / 300 |
| Strony chess.com i Lichess w domyślnym wyglądzie | 118 / 120 | 118 / 120 |
| Zrzuty ekranu z Reddita | 405 / 488 | 419 / 488 |
Gdzie fenshot ma trudności
- Orientacja szachownicy w końcówkach. fenshot odczytuje pola, a potem z ustawienia pionów ustala, która strona jest na dole. W końcówkach zawodzi to w około 4 do 7 pozycjach na 100: każde pole się zgadza, ale szachownica jest odwrócona, i nie ma ostrzeżenia. Każdy błędny odczyt bez ostrzeżenia na rysowanych szachownicach jest tego rodzaju.
- Zestawy bierek 3D. Bierki 3D wood i 3D plastic z chess.com prawie nigdy nie są odczytywane poprawnie. Celowo pominięto je w treningu, a fenshot ostrzega, zamiast zgadywać.
- Małe diagramy książkowe. Gdy pola drukowanego diagramu mają około 30 pikseli szerokości lub mniej, fenshot często źle odczytuje od jednego do trzech pól i ostrzega.
- Nietypowe zestawy bierek. Bierki horsey i monarchy z Lichess są źle odczytywane; monarchy nigdy nie było w treningu.
- Zatłoczone prawdziwe zrzuty ekranu. Pomyłki na Reddicie to m.in. zrzuty ekranu z telefonu z nakładkami, bardzo małe szachownice i obrazy z więcej niż jedną szachownicą.
Gdy odczyt jest niepewny, fenshot pokazuje ostrzeżenie i otwiera edytor obok oryginalnego obrazu, więc błędne pole poprawisz w kilka sekund. Najczęstszy przypadek, zrzut ekranu z chess.com lub Lichess w domyślnym wyglądzie, jest odczytywany poprawnie niemal za każdym razem.
Jak mierzyliśmy
- Pozycje. Prawdziwe pozycje z bazy zadań Lichess: tyle samo pozycji z debiutu, gry środkowej i końcówki, wybranych według stałej reguły, a nie ręcznie.
- Obrazy, których nie rysowaliśmy. Każdą szachownicę z serwisu rysuje sam serwis na podstawie podanej przez nas pozycji: usługa obrazów szachownic chess.com, zrzuty ekranu stron analizy chess.com i Lichess w rozmiarze komputerowym i telefonicznym oraz Lichess ze zmienionymi ustawieniami zestawu bierek i szachownicy. Każdą stronę chess.com sprawdzono przed zachowaniem, czy pokazuje zamówioną pozycję.
- Diagramy książkowe. 120 diagramów złożonych w systemie LaTeX czcionkami szachowymi używanymi w drukowanych książkach, z kreskowanymi ciemnymi polami: całe strony z tekstem, ciasne kadry, wygląd zeskanowanej strony, małe diagramy i widok od strony czarnych. Obejmują tylko diagramy kreskowane; książek, które drukują jednolicie szare pola, nie ma jeszcze w zbiorze.
- Strony bez szachownicy. Artykuły z encyklopedii, serwisy informacyjne, dokumentacja i strony serwisów szachowych bez szachownicy, w tym plansze do warcabów, papier milimetrowy i płytki, by sprawdzić, że fenshot nie wymyśla pozycji.
- Reddit. Obrazy szachowe opublikowane na Reddicie, na które odpowiedział też bot Chessvision.ai ze swoim odczytem. Gdy fenshot i bot się zgadzają, odczyt liczy się jako poprawny; losową próbkę takich przypadków porównano z obrazem na oko i nie znaleziono rozbieżności. Każda niezgodność liczy się na niekorzyść fenshot, nawet gdy to fenshot miał rację, więc wynik z Reddita to dolna granica. Zbiór obejmuje tylko obrazy, na które bot odpowiedział, więc może pomijać te najtrudniejsze.
- Ten sam kod co w produkcie. Test uruchamia dokładnie ten sam mechanizm rozpoznawania i model, których używają strona i rozszerzenie, łącznie z oceną pewności, która decyduje, kiedy ostrzec.
- Uczciwie o treningu. Model uczono na wzorach bierek i szachownic z chess.com i Lichess, rysowanych na syntetycznych pozycjach. Żadna z testowych pozycji, stron ani zrzutów ekranu nie była użyta w treningu, a tabela oddziela wzory, które model zna, od tych, których nie zna.
Powtórz to sam
Benchmark znajduje się w repozytorium open source w tools/benchmark: lista pozycji, źródło i odcisk każdego obrazu, posty z Reddita z oboma odczytami oraz powyższe wyniki, obraz po obrazie. Odtwórz obrazy poleceniem npx tsx tools/benchmark/build.ts i oceń je poleceniem npx tsx tools/benchmark/run.ts.