fenshot / דיוק
עד כמה fenshot מדויק?
אנחנו מודדים אותו על תמונות שחמט שהתשובה הנכונה עבורן ידועה: לוחות שצוירו על ידי chess.com ו-Lichess עצמם, דיאגרמות מספרים בסדר דפוס כמו בספרים מודפסים, וצילומי מסך אמיתיים שפורסמו ב-Reddit. למטה תמצאו את התוצאות, את השיטה ואת כל המקרים שבהם fenshot נכשל. המבחן, הנתונים והתוצאות זמינים בקוד פתוח, כך שכל אחד יכול להריץ אותם מחדש.
תוצאות לפי מקור
"נכון" פירושו שכל 64 המשבצות תואמות. אזהרה פירושה ש-fenshot הודיע למשתמש שהקריאה עלולה להיות שגויה והציע את העורך כדי לתקן אותה. העמודה האדומה, שגוי ללא אזהרה, היא החשובה מכולן.
| מקור | תמונות | נכון | נכון, עם אזהרה | שגוי, עם אזהרה | שגוי, ללא אזהרה | לא נמצא לוח |
|---|---|---|---|---|---|---|
| דף הניתוח של chess.com, במחשב ובטלפון | 60 | 58 | 0 | 2 | 0 | 0 |
| דף הניתוח של Lichess, במחשב ובטלפון | 60 | 60 | 0 | 0 | 0 | 0 |
| דף Lichess עם סטי כלים ולוחות אחרים | 60 | 41 | 6 | 12 | 1 | 0 |
| תמונות לוח של chess.com, 14 סטי כלים ו-12 לוחות | 240 | 188 | 14 | 35 | 3 | 0 |
| דיאגרמות מספרים בסדר דפוס של LaTeX, משבצות מקווקוות | 120 | 55 | 33 | 32 | 0 | 0 |
| צילומי מסך מ-Reddit: r/chess, r/chessbeginners, r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| עיצובי כלים שהמודל אומן עליהם | 363 | 330 | 20 | 9 | 4 | 0 |
| עיצובי כלים שהמודל לא ראה מעולם | 177 | 72 | 33 | 72 | 0 | 0 |
מה השתנה מאז ההרצה הראשונה
10 בנובמבר 2026. ההרצה הראשונה הראתה ש-fenshot לא הצליח למצוא את הלוח בדיאגרמות בסגנון דפוס: הקווקוו בתוך המשבצות הכהות הסתיר ממנו את רשת הלוח. בלוחות בדוגמת שיש הקריאה גם עלולה הייתה לזוז במשבצת אחת. עכשיו fenshot מסתכל פעם שנייה, על עותק מרוכך של התמונה, בכל פעם שהמבט הראשון אינו נכון בבירור. קורא הכלים עצמו לא השתנה.
| נקראו נכון | הרצה ראשונה | עכשיו |
|---|---|---|
| דיאגרמות מספרים | 1 / 120 | 88 / 120 |
| chess.com ו-Lichess עם סטי כלים ולוחות אחרים | 211 / 300 | 249 / 300 |
| דפי chess.com ו-Lichess בעיצוב ברירת המחדל | 118 / 120 | 118 / 120 |
| צילומי מסך מ-Reddit | 405 / 488 | 419 / 488 |
איפה fenshot מתקשה
- כיוון הלוח בסיומים. fenshot קורא את המשבצות, ואז מסיק איזה צד נמצא למטה לפי מיקום הרגלים. בסיומים זה משתבש בערך ב-4 עד 7 עמדות מתוך 100: כל משבצת נכונה, אבל הלוח הפוך, ואין אזהרה. כל קריאה שגויה ללא אזהרה בלוחות המצוירים היא מהסוג הזה.
- סטי כלים תלת־ממדיים. הכלים 3D wood ו-3D plastic של chess.com כמעט אף פעם לא נקראים נכון. הם הושארו מחוץ לאימון בכוונה, ו-fenshot מזהיר במקום לנחש.
- דיאגרמות קטנות מספרים. כשרוחב המשבצות בדיאגרמה מודפסת הוא כ-30 פיקסלים או פחות, fenshot טועה לעיתים קרובות במשבצת אחת עד שלוש, ומזהיר.
- סטי כלים לא שגרתיים. הכלים horsey ו-monarchy של Lichess נקראים באופן שגוי; monarchy מעולם לא היה בנתוני האימון.
- צילומי מסך אמיתיים עמוסים. הפספוסים ב-Reddit כוללים צילומי מסך מטלפון עם שכבות־על, לוחות קטנים מאוד ותמונות עם יותר מלוח אחד.
כשהקריאה לא ודאית, fenshot מציג אזהרה ופותח את העורך לצד התמונה המקורית, כך שתיקון משבצת שגויה לוקח שניות. במקרה הנפוץ, צילום מסך מ-chess.com או מ-Lichess בעיצוב ברירת המחדל, הקריאה נכונה כמעט בכל פעם.
איך מדדנו
- עמדות. עמדות אמיתיות ממאגר החידות של Lichess: מספר שווה של עמדות פתיחה, משחק אמצע וסיום, שנבחרו לפי כלל קבוע ולא ידנית.
- תמונות שלא אנחנו ציירנו. כל לוח של אתר מצויר על ידי האתר עצמו מתוך העמדה שאנחנו מוסרים לו: שירות תמונות הלוח של chess.com, צילומי מסך של דפי הניתוח של chess.com ו-Lichess בגדלים של מחשב ושל טלפון, ו-Lichess עם הגדרות סט כלים ולוח משלו ששונו. כל דף של chess.com נבדק כדי לוודא שהוא מציג את העמדה שביקשנו לפני שנשמר.
- דיאגרמות מספרים. 120 דיאגרמות בסדר דפוס של LaTeX, בגופני השחמט שבהם משתמשים ספרים מודפסים, עם משבצות כהות מקווקוות: עמודים מלאים עם טקסט, חיתוכים צמודים, מראה של עמוד סרוק, דיאגרמות קטנות, ומבט מהצד של השחור. הן מכסות דיאגרמות מקווקוות בלבד; ספרים שמדפיסים משבצות באפור מלא עדיין אינם בסט.
- דפים ללא לוח. ערכים באנציקלופדיה, אתרי חדשות, תיעוד ודפים באתרי שחמט ללא לוח, כולל לוחות דמקה, נייר מילימטרי ואריחים, כדי לבדוק ש-fenshot לא ממציא עמדה.
- Reddit. תמונות שחמט שפורסמו ב-Reddit, שבהן גם הבוט של Chessvision.ai ב-Reddit הגיב עם הקריאה שלו. כש-fenshot והבוט מסכימים, הקריאה נחשבת נכונה; מדגם אקראי מתוכן הושווה לתמונה בעין ולא נמצאה אי־התאמה. כל מחלוקת נספרת לחובת fenshot, גם כש-fenshot הוא שצדק, ולכן הנתון של Reddit הוא רף תחתון. הסט כולל רק תמונות שהבוט ענה עליהן, ולכן ייתכן שהקשות ביותר לא נכללו בו.
- אותו קוד כמו במוצר. המבחן מריץ בדיוק את מנגנון הזיהוי ואת המודל שבהם משתמשים האתר והתוסף, כולל בדיקת הביטחון שמחליטה מתי להזהיר.
- שקיפות לגבי האימון. המודל אומן על עיצובי כלים ולוחות של chess.com ו-Lichess, שצוירו על עמדות סינתטיות. אף אחת מעמדות המבחן, מהדפים או מצילומי המסך לא שימשה לאימון, והטבלה מפרידה בין עיצובים שהמודל ראה לבין עיצובים שלא ראה.
הריצו את זה בעצמכם
מבחן הביצועים נמצא במאגר הקוד הפתוח תחת tools/benchmark: רשימת העמדות, המקור וטביעת האצבע של כל תמונה, הפוסטים מ-Reddit עם שתי הקריאות, והתוצאות שלמעלה, תמונה אחר תמונה. בנו מחדש את התמונות עם npx tsx tools/benchmark/build.ts ודרגו אותן עם npx tsx tools/benchmark/run.ts.