fenshot / دقت
fenshot چقدر دقیق است؟
ما دقت را روی تصاویر شطرنجی میسنجیم که پاسخ درستشان معلوم است: صفحههایی که خود chess.com و Lichess رسم کردهاند، دیاگرامهای کتاب که به شیوه کتابهای چاپی حروفچینی شدهاند، و اسکرینشاتهای واقعی منتشرشده در Reddit. در ادامه نتایج، روش و همه جاهایی که fenshot شکست میخورد آمده است. آزمون، دادهها و نتایج متنباز هستند، پس هر کسی میتواند آنها را دوباره اجرا کند.
نتایج بر اساس منبع
«درست» یعنی هر 64 خانه مطابقت دارند. هشدار یعنی fenshot به کاربر گفته که خواندن ممکن است اشتباه باشد و ویرایشگر را برای اصلاح پیشنهاد کرده است. ستون قرمز، یعنی اشتباه بدون هشدار، مهمترین ستون است.
| منبع | تصاویر | درست | درست، با هشدار | اشتباه، با هشدار | اشتباه، بدون هشدار | صفحه شطرنج پیدا نشد |
|---|---|---|---|---|---|---|
| صفحه تحلیل chess.com، دسکتاپ و گوشی | 60 | 58 | 0 | 2 | 0 | 0 |
| صفحه تحلیل Lichess، دسکتاپ و گوشی | 60 | 60 | 0 | 0 | 0 | 0 |
| Lichess با مجموعه مهرهها و طرحهای صفحه دیگر | 60 | 41 | 6 | 12 | 1 | 0 |
| تصاویر صفحه chess.com، 14 مجموعه مهره و 12 طرح صفحه | 240 | 188 | 14 | 35 | 3 | 0 |
| دیاگرامهای کتاب حروفچینیشده با LaTeX، خانههای هاشورخورده | 120 | 55 | 33 | 32 | 0 | 0 |
| اسکرینشاتهای Reddit، r/chess، r/chessbeginners، r/TournamentChess | 488 | 390 | 29 | 45 | 19 | 5 |
| طرح مهرههایی که مدل با آنها آموزش دیده | 363 | 330 | 20 | 9 | 4 | 0 |
| طرح مهرههایی که مدل هرگز ندیده | 177 | 72 | 33 | 72 | 0 | 0 |
از اجرای اول تاکنون چه تغییر کرده است
10 نوامبر 2026. اجرای اول نشان داد که fenshot نمیتوانست صفحه را در دیاگرامهای به سبک چاپی پیدا کند: هاشور درون خانههای تیره شبکه صفحه را از دید آن پنهان میکرد. روی صفحههای مرمری هم ممکن بود خواندن به اندازه یک خانه جابهجا شود. اکنون هر وقت نگاه اول بهروشنی درست نباشد، fenshot نگاه دومی به نسخهای نرمشده از تصویر میاندازد. خود بخش خواندن مهرهها تغییری نکرده است.
| درست خوانده شده | اجرای اول | اکنون |
|---|---|---|
| دیاگرامهای کتاب | 1 / 120 | 88 / 120 |
| chess.com و Lichess با مجموعه مهرهها و طرحهای صفحه دیگر | 211 / 300 | 249 / 300 |
| صفحههای chess.com و Lichess با ظاهر پیشفرض | 118 / 120 | 118 / 120 |
| اسکرینشاتهای Reddit | 405 / 488 | 419 / 488 |
جاهایی که fenshot مشکل دارد
- جهت صفحه در آخر بازی. fenshot خانهها را میخواند، سپس از روی جای پیادهها تشخیص میدهد کدام طرف در پایین صفحه است. در آخر بازی این کار در حدود 4 تا 7 پوزیشن از هر 100 پوزیشن اشتباه از آب درمیآید: همه خانهها درستاند، اما صفحه برعکس شده است، و هیچ هشداری هم وجود ندارد. همه خواندنهای اشتباه بدون هشدار روی صفحههای رسمشده از همین نوعاند.
- مجموعه مهرههای سهبعدی. مهرههای 3D wood و 3D plastic در chess.com تقریباً هیچوقت درست خوانده نمیشوند. اینها عمداً از آموزش کنار گذاشته شدند و fenshot بهجای حدس زدن هشدار میدهد.
- دیاگرامهای کوچک کتاب. وقتی عرض خانههای یک دیاگرام چاپی حدود 30 پیکسل یا کمتر باشد، fenshot اغلب یک تا سه خانه را اشتباه میخواند، و هشدار میدهد.
- مجموعه مهرههای غیرمعمول. مهرههای horsey و monarchy در Lichess اشتباه خوانده میشوند؛ monarchy هرگز در دادههای آموزش نبوده است.
- اسکرینشاتهای واقعی شلوغ. خطاها در Reddit شامل اسکرینشاتهای گوشی با لایههای روی تصویر، صفحههای خیلی کوچک و تصاویری با بیش از یک صفحه است.
وقتی خواندن قطعی نیست، fenshot هشدار نشان میدهد و ویرایشگر را کنار تصویر اصلی باز میکند، پس اصلاح یک خانه اشتباه چند ثانیه طول میکشد. حالت رایج، یعنی اسکرینشات chess.com یا Lichess با ظاهر پیشفرض، تقریباً هر بار درست خوانده میشود.
چطور سنجیدیم
- پوزیشنها. پوزیشنهای واقعی از پایگاه داده معماهای Lichess: تعداد برابر از پوزیشنهای شروع بازی، وسط بازی و آخر بازی، انتخابشده با یک قاعده ثابت، نه دستی.
- تصاویری که ما رسم نکردیم. هر صفحه شطرنج سایتها را خود سایت از روی پوزیشنی که به آن دادیم رسم کرده است: سرویس تصویر صفحه chess.com، اسکرینشات صفحههای تحلیل chess.com و Lichess در اندازه دسکتاپ و گوشی، و Lichess با تنظیمات تغییریافته مجموعه مهره و صفحه. پیش از نگه داشتن هر صفحه chess.com بررسی شد که همان پوزیشن درخواستی را نشان میدهد.
- دیاگرامهای کتاب. 120 دیاگرام حروفچینیشده با LaTeX، با همان فونتهای شطرنجی که کتابهای چاپی به کار میبرند و با خانههای تیره هاشورخورده: صفحههای کامل کتاب همراه با متن، برشهای چسبیده به دیاگرام، ظاهر صفحه اسکنشده، دیاگرامهای کوچک، و نما از سمت سیاه. اینها فقط دیاگرامهای هاشورخورده را پوشش میدهند؛ کتابهایی که خانهها را خاکستری یکدست چاپ میکنند هنوز در این مجموعه نیستند.
- صفحههای وب بدون صفحه شطرنج. مقالههای دانشنامه، سایتهای خبری، مستندات و صفحههایی از سایتهای شطرنج بدون صفحه شطرنج، از جمله الگوهای شطرنجی، کاغذ میلیمتری و کاشی، برای آزمودن اینکه fenshot پوزیشنی از خودش نمیسازد.
- Reddit. تصاویر شطرنج منتشرشده در Reddit که ربات Reddit سایت Chessvision.ai هم با خوانش خودش به آنها پاسخ داده است. هر جا fenshot و ربات همنظر باشند، خواندن درست حساب میشود؛ نمونهای تصادفی از این موارد با چشم با تصویر مقایسه شد و هیچ ناهمخوانی پیدا نشد. هر اختلاف به ضرر fenshot حساب میشود، حتی وقتی حق با fenshot بوده، پس عدد Reddit یک حد پایین است. این مجموعه فقط تصاویری را دارد که ربات به آنها پاسخ داده، و ممکن است سختترینها را کنار گذاشته باشد.
- همان کد محصول. آزمون دقیقاً همان تشخیصدهنده و مدلی را اجرا میکند که وبسایت و افزونه استفاده میکنند، از جمله بررسی اطمینان که تعیین میکند چه وقت هشدار داده شود.
- صادق درباره آموزش. مدل با طرح مهرهها و صفحههای chess.com و Lichess آموزش دیده که روی پوزیشنهای مصنوعی رسم شدهاند. هیچکدام از پوزیشنها، صفحهها یا اسکرینشاتهای آزمون در آموزش استفاده نشدهاند، و جدول طرحهایی را که مدل دیده از طرحهایی که ندیده جدا میکند.
خودتان دوباره اجرا کنید
بنچمارک در مخزن متنباز، در tools/benchmark قرار دارد: فهرست پوزیشنها، منبع و اثر انگشت هر تصویر، پستهای Reddit با هر دو خوانش، و نتایج بالا، تصویر به تصویر. تصاویر را با npx tsx tools/benchmark/build.ts دوباره بسازید و با npx tsx tools/benchmark/run.ts امتیازدهی کنید.