fenshot / Doğruluk
fenshot ne kadar doğru?
Doğru cevabı bilinen satranç görselleriyle ölçüyoruz: chess.com ve Lichess'in kendi çizdiği tahtalar, basılı kitaplardaki gibi dizilmiş kitap diyagramları ve Reddit'te paylaşılmış gerçek ekran görüntüleri. Aşağıda sonuçlar, yöntem ve fenshot'ın yanıldığı her durum var. Test, veriler ve sonuçlar açık kaynak; isteyen herkes yeniden çalıştırabilir.
Kaynağa göre sonuçlar
"Doğru", 64 karenin hepsinin eşleştiği anlamına gelir. Uyarı, fenshot'ın kullanıcıya okumanın yanlış olabileceğini söyleyip düzeltmesi için editörü önerdiği anlamına gelir. En önemli sütun kırmızı olanıdır: uyarısız yanlışlar.
| Kaynak | Görsel | Doğru | Doğru, uyarılı | Yanlış, uyarılı | Yanlış, uyarısız | Tahta bulunamadı |
|---|---|---|---|---|---|---|
| chess.com analiz sayfası, masaüstü ve telefon | 60 | 58 | 0 | 2 | 0 | 0 |
| Lichess analiz sayfası, masaüstü ve telefon | 60 | 60 | 0 | 0 | 0 | 0 |
| Farklı taş setleri ve tahtalarla Lichess sayfası | 60 | 41 | 6 | 12 | 1 | 0 |
| chess.com tahta görselleri, 14 taş seti ve 12 tahta | 240 | 188 | 14 | 35 | 3 | 0 |
| LaTeX ile dizilmiş kitap diyagramları, çizgi taramalı kareler | 120 | 55 | 33 | 32 | 0 | 0 |
| Reddit ekran görüntüleri: r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| Eğitimde görülen taş çizimleri | 363 | 330 | 20 | 9 | 4 | 0 |
| Hiç görülmemiş taş çizimleri | 177 | 72 | 33 | 72 | 0 | 0 |
İlk çalıştırmadan bu yana ne değişti
10 Kasım 2026. İlk çalıştırma, fenshot'ın baskı stili diyagramlarda tahtayı bulamadığını gösterdi: koyu karelerin içindeki çizgi taraması tahtanın ızgarasını ondan gizliyordu. Mermer desenli tahtalarda okuma ayrıca bir kare kayabiliyordu. fenshot artık ilk bakışın sonucu açıkça doğru görünmediğinde görselin yumuşatılmış bir kopyasına ikinci kez bakıyor. Taş okuyucunun kendisi değişmedi.
| Doğru okuma | İlk çalıştırma | Şimdi |
|---|---|---|
| Kitap diyagramları | 1 / 120 | 88 / 120 |
| Farklı taş setleri ve tahtalarla chess.com ve Lichess | 211 / 300 | 249 / 300 |
| Varsayılan görünümdeki chess.com ve Lichess sayfaları | 118 / 120 | 118 / 120 |
| Reddit ekran görüntüleri | 405 / 488 | 419 / 488 |
fenshot'ın zorlandığı yerler
- Oyunsonlarında tahta yönü. fenshot önce kareleri okur, sonra piyonların durduğu yerlere bakarak hangi tarafın altta olduğunu çıkarır. Oyunsonlarında bu, 100 pozisyonun yaklaşık 4 ila 7'sinde yanlış sonuç verir: her kare doğrudur ama tahta ters dönmüştür ve uyarı yoktur. Çizilmiş tahtalardaki uyarısız yanlış okumaların hepsi bu türdendir.
- 3D taş setleri. chess.com'un 3D wood ve 3D plastic taşları neredeyse hiç doğru okunmaz. Bunlar eğitimden bilerek çıkarıldı; fenshot tahmin etmek yerine uyarır.
- Küçük kitap diyagramları. Basılı bir diyagramın kareleri yaklaşık 30 piksel genişliğinde ya da daha dar olduğunda fenshot sık sık bir ila üç kareyi yanlış okur ve uyarır.
- Alışılmadık taş setleri. Lichess'in horsey ve monarchy taşları yanlış okunur; monarchy eğitimde hiç yer almadı.
- Kalabalık gerçek ekran görüntüleri. Reddit'teki ıskalar arasında üzerinde arayüz öğeleri olan telefon ekran görüntüleri, çok küçük tahtalar ve birden fazla tahta içeren görseller var.
Okuma belirsiz olduğunda fenshot bir uyarı gösterir ve editörü orijinal görselin yanında açar; yanlış bir kare saniyeler içinde düzelir. En yaygın durum, varsayılan görünümde bir chess.com ya da Lichess ekran görüntüsü, neredeyse her seferinde doğru okunur.
Nasıl ölçtük
- Pozisyonlar. Lichess bulmaca veritabanından gerçek pozisyonlar: eşit sayıda açılış, oyunortası ve oyunsonu pozisyonu, elle değil sabit bir kuralla seçildi.
- Bizim çizmediğimiz görseller. Her site tahtasını, verdiğimiz pozisyondan sitenin kendisi çizer: chess.com'un tahta görseli servisi, chess.com ve Lichess analiz sayfalarının masaüstü ve telefon boyutlarında ekran görüntüleri, taş seti ve tahta ayarları değiştirilmiş Lichess. Her chess.com sayfası, sete alınmadan önce istediğimiz pozisyonu gösterip göstermediği kontrol edildi.
- Kitap diyagramları. Basılı kitapların kullandığı satranç yazı tipleriyle LaTeX'te dizilmiş, koyu kareleri çizgi taramalı 120 diyagram: metinli tam sayfalar, dar kırpımlar, taranmış sayfa görünümü, küçük diyagramlar ve siyahın tarafından görünüm. Yalnızca çizgi taramalı diyagramları kapsar; kareleri düz gri basan kitaplar henüz sette yok.
- Tahtasız sayfalar. Ansiklopedi makaleleri, haber siteleri, dokümantasyon ve tahta içermeyen satranç sitesi sayfaları; dama tahtaları, kareli kâğıt ve fayanslar da dahil. Amaç, fenshot'ın pozisyon uydurmadığını test etmek.
- Reddit. Reddit'te paylaşılan ve Chessvision.ai Reddit botunun da kendi okumasıyla yanıtladığı satranç görselleri. fenshot ile bot aynı sonucu verdiğinde okuma doğru sayılır; bunlardan rastgele bir örneklem görselle gözle karşılaştırıldı ve hiç uyuşmazlık bulunmadı. Her anlaşmazlık, doğru olan fenshot olsa bile fenshot'ın aleyhine sayılır; bu yüzden Reddit rakamı bir alt sınırdır. Set yalnızca botun yanıtladığı görselleri içerir, bu da en zorlarını dışarıda bırakmış olabilir.
- Üründekiyle aynı kod. Test, web sitesinin ve eklentinin kullandığı tanıyıcıyı ve modeli birebir çalıştırır; ne zaman uyarılacağına karar veren güven kontrolü de buna dahil.
- Eğitim konusunda dürüstlük. Model, chess.com ve Lichess'in taş ve tahta çizimleriyle, sentetik pozisyonlar üzerinde eğitildi. Test pozisyonlarının, sayfalarının ve ekran görüntülerinin hiçbiri eğitimde kullanılmadı; tablo da modelin gördüğü çizimleri görmediklerinden ayrı gösterir.
Kendiniz çalıştırın
Test, açık kaynak depoda tools/benchmark altında duruyor: pozisyon listesi, her görselin kaynağı ve parmak izi, iki okumayı da içeren Reddit gönderileri ve yukarıdaki sonuçlar, görsel görsel. Görselleri npx tsx tools/benchmark/build.ts ile yeniden oluşturun, npx tsx tools/benchmark/run.ts ile puanlayın.