۲۴ تیر ۲۵۸۵ · 18 دقیقه مطالعه
مدل Sonnet 5 اومد. پرسیدم چی عوض شده. این چیزیه که واقعاً یاد گرفتم.
مدل Sonnet 5 روز ۳۰ ژوئن ۲۰۲۶ منتشر شد. من هم همون سؤالی رو داشتم که بیشتر آدمها داشتن: زیر کاپوت واقعاً چی عوض شده؟ این یه مدل جدیده، یه دور جدید پسآموزش، یا یه معماری متفاوت؟ شرکت Anthropic هم، طبق انتظار، تقریباً هیچی نگفت.
رفتم دنبالش. چیزی که پیدا کردم یه سیستم کارت ۱۴۶ صفحهای بود بدون هیچ جزئیاتی از معماری، یه پست وبلاگ برای معرفی که پر از جدول بنچمارک بود، و یه لحظه که فهمیدم در واقع نمیدونم هیچکدوم از اون بنچمارکها چه معنایی دارن.
این پست نتیجهی همون لحظهست. داستان پرسیدن یه سؤاله، خوردن به دیوار، و تغییر مسیر به سمت چیزی که بهدردبخورتره.
سؤالی که واقعاً پرسیدم
شروعش ساده بود. یه مقایسه میخواستم: Sonnet 5 در برابر Sonnet 4.x، چی عوض شده؟ نه فهرست نکتههای باب میل بازاریابی؛ تفاوت فنی واقعی.
جواب صادقانهی اول این بود که نمیدونستم، و از بیرون هم راهی برای فهمیدنش نبود: Anthropic برای هیچ مدل Claude جزئیات معماری منتشر نمیکنه. نه تعداد پارامتر، نه تعداد لایه، نه سازوکار attention، نه توان محاسباتی آموزش. سیستم کارت ۱۴۶ صفحهای معتبرترین منبعه، و کل چیزی که دربارهی نحوهی ساخت مدل میگه یه پاراگراف توی مقدمهست.
اون پاراگراف ارزش داره که کامل نقلش کنم:
مدل Claude Sonnet 5 روی ترکیبی اختصاصی از اطلاعات عمومی موجود در اینترنت، مجموعهدادههای عمومی و خصوصی، و دادههای مصنوعی تولیدشده توسط مدلهای دیگر آموزش دیده است. پس از فرایند پیشآموزش، Sonnet 5 تحت پسآموزش و فاینتیونینگ سختگیرانه قرار گرفت…
همین. پیشآموزش، بعد پسآموزش، بعد فاینتیونینگ. همون شکلی که Anthropic برای همهی نسلهای Claude از سری ۳ به این طرف توصیف کرده. اگه پشت Sonnet 5 داستان معماری جالبتری هست، توی هیچ سند عمومیای نیومده.
دو تا راه داشتم. میتونستم حدس و گمان بزنم. میتونستم تعداد پارامتر از خودم دربیارم، ساختار لایهها رو اختراع کنم، و حدسهایی رو که منطقی به نظر میرسن بهعنوان واقعیت جا بزنم. این کار رو نمیکنم، نه بهخاطر تو و نه بهخاطر خودم. پس به جای اینکه دربارهی چیزی بگم که نمیتونم بدونم، رفتم چیزی رو خوندم که میتونم.
سیستم کارت واقعاً چی داره
سیستم کارتهای Anthropic شکل ثابتی دارن. ۱۰ صفحهی اول خلاصهی مدیریتی و فرایند آموزشه. حدود ۸۰ صفحهی بعدی ارزیابیهای ایمنیان: همسویی (alignment)، سوءاستفادهی ایجنتی، تزریق پرامپت، ممیزی رفتاری، رفاه مدل. ۵۰ صفحهی آخر دربارهی تواناییهاست، به تفکیک بنچمارک، با یه جدول خلاصه نزدیک ابتدای این بخش.
برای Sonnet 5، جدول خلاصهی صفحهی ۱۱۵ همون چیزیه که بیشتر آدمها ازش اسکرینشات میگیرن. ستونهایی برای Sonnet 5، Sonnet 4.6، GPT-5.5 و Gemini 3.5 Flash داره، با ردیفهایی برای SWE-bench Pro، Terminal-Bench، BrowseComp، HLE، OSWorld، GDPval و چند تای دیگه. عددها داستان روشنی میگن: Sonnet 5 روی همهی تواناییها بیقیدوشرط از Sonnet 4.6 بهتره، و با یکسوم قیمت، بیشترِ فاصلهش با Opus 4.8 رو پر میکنه.
ولی چیزی که بار دوم متوجهش شدم این بود: برچسب ستونها برای هر کسی که پژوهشگر پیشرفتهترین مدلهای هوش مصنوعی نیست، بیشترشون نامفهومن. SWE-bench Pro، Terminal-Bench، BrowseComp، GDPval-AA، HLE، OSWorld، ProgramBench، FrontierCode، CursorBench، AutomationBench، HealthBench Professional، Legal Agent Benchmark. اسمها به موضوع اشاره میکنن. بهت نمیگن چی داره سنجیده میشه، چرا امتیاز مهمه، یا وقتی این بنچمارکها بالا میرن، دلت میخواد چه جور مدلی باشی.
این همون شکافیه که این پست میخواد پرش کنه. هر کدوم رو به زبون ساده توضیح میدم، به همون ترتیبی که توی سیستم کارت اومدن، با این هدف که تا آخرش بتونی هر انتشار مدلی رو در آینده بخونی و دقیقاً بدونی عددها چی میگن.
توضیح بنچمارکها
اول چند تا چارچوب بهدردبخور.
کلمهی ایجنتی مهمه. یه بنچمارک ایجنتی به مدل یه محیط واقعی میده (یه ترمینال، یه مرورگر، یه IDE، یه ماشین مجازی) و انتظار داره مدل از ابزارها استفاده کنه، دستور اجرا کنه، و یه تسک چندمرحلهای رو خودش تموم کنه. مدل فقط به یه سؤال جواب نمیده. داره کار انجام میده.
کلمهی استدلال هم مهمه، و توی این زمینه معنای مشخصی داره. یه بنچمارک استدلال طوری ساخته میشه که جوابش رو نشه حفظ کرد. مدل باید برنامهریزی کنه، قدمها رو به هم زنجیر کنه، یا چیزی رو از اصول پایه ثابت کنه.
آخر اینکه نحوهی نمرهدادن یه بنچمارک به اندازهی خودِ امتیاز مهمه. بعضی بنچمارکها قبول یا رد سختگیرانه در برابر تستهای واحد مخفی دارن. بعضیها از یه داور انسانی یا یه داور LLM استفاده میکنن که یه روبریک رو اعمال میکنه. عدد بالاتر توی این سبکها معناهای خیلی متفاوتی داره، و من میگم کدوم کدومه.
خانوادهی SWE-bench (Verified، Pro، Multilingual، Multimodal)
مجموعهای از ایشوهای واقعی GitHub از ریپوهای متنباز واقعی. مدل یه ریپوی کد و توضیح یه ایشو رو میگیره و باید یه پچ بسازه که ایشو رو ببنده. پچها با اجرای تستهای واحد مخفیِ خودِ پروژه نمره میگیرن.
اینطوری بهش فکر کن: این یه گزارش باگ واقعیه که یه مهندس ارشد ثبت کرده. درستش کن.
چهار نسخهش از نظر سختی و دامنه فرق دارن:
- Verified: شامل ۵۰۰ مسئله، که حلپذیر بودن هر کدوم رو یه آدم چک کرده. نسخهی آسونتر.
- Pro: از ریپوهایی که فعالانه نگهداری میشن برداشته شده، با تغییرهای بزرگتر و چندفایلی و نشت کمتر جوابهای درست به اینترنت. خیلی سختتر.
- Multilingual: شامل ۳۰۰ مسئله در نُه زبان برنامهنویسی، نه فقط Python.
- Multimodal: ایشو کنار متن، اسکرینشات یا ماکاپ طراحی هم داره.
چرا مهمه: این نزدیکترین معیار عمومی برای این سؤاله که «این مدل میتونه کار روزانهی من بهعنوان مهندس نرمافزار رو انجام بده؟» امتیازش با اینکه یه مدل توی یه IDE یا یه ایجنت کدنویسی چقدر به درد میخوره همبستگی داره. امتیاز ۸۵٫۲٪ مدل Sonnet 5 روی Verified یعنی روی باگهای واقعی از ریپوهای واقعی که آدمها بررسیشون کردن، تقریباً از هر شش بار، پنج بار یه پچ میسازه که تستها رو پاس میکنه. برای مقایسه، بهترین امتیاز همین موقع پارسال حدود ۶۵٪ بود.
بنچمارک Terminal-Bench 2.1
هشتاد و نه تسک که برای انجامشون باید از یه ترمینال واقعی لینوکس یا Unix استفاده کرد. مدل یه شل میگیره، دستور اجرا میکنه، و وضعیت نهایی ماشین نمره میگیره.
چند نمونه از شکل تسکها: راهاندازی یه سرویس، دیباگ یه دیمن که بد تنظیم شده، پردازش یه عالمه فایل، نجات دادن یه نصب خراب، دیباگ یه فایل کانفیگ که کاربر به زور میتونه توصیفش کنه. هارنسش mini-SWE-agent هست، یه حلقهی ایجنتی واقعی که زمان رو در نظر میگیره، نه یه محیط تست مصنوعی.
چرا مهمه: کار مهندسی واقعی توی ترمینال اتفاق میاد. دیپلوی، دیباگ، اسکریپتنویسی، مدیریت سیستم. بنچمارک Terminal-Bench مشخصاً میسنجه که مدل میتونه یه کامپیوتر رو از طریق شل بچرخونه یا نه، شامل دستورها، پایپها، مدیریت خطا و تصمیمگیری دربارهی اینکه قدم بعدی چی رو امتحان کنه.
امتیاز ۸۰٫۴٪ مدل Sonnet 5 (با سطح تلاش xhigh) یعنی از هر پنج تسک واقعی شل، چهار تا از اول تا آخر انجام شده.
بنچمارک BrowseComp
یه بنچمارک ایجنتی برای جستوجوی وب. از مدل سؤالی پرسیده میشه که جوابش توی اینترنت عمومی پیدا میشه ولی واضح نیست. هدف دونستن واقعیتها نیست (ممکنه یه LLM از قبل اونها رو بدونه). هدف اینه که بسنجه مدل میتونه خوب توی وب بگرده یا نه، یعنی کوئریهای خوب انتخاب کنه، اسپمهای SEO رو نادیده بگیره، سرنخهای امیدوارکننده رو دنبال کنه، و اطلاعات رو بین منبعهای مختلف تطبیق بده.
دو حالت داره: تکایجنتی (یه نمونه از مدل که تنها کار میکنه) و چندایجنتی (چند نمونه که با هم همکاری میکنن، مثلاً یکی جستوجو میکنه و یکی نقد). مدل Sonnet 5 با سقف ۱۰ میلیون توکن، در حالت تکایجنتی ۸۴٫۷٪ و در حالت چندایجنتی ۸۶٫۶٪ گرفت، و فشردهسازی کانتکست از ۲۰۰ هزار توکن شروع میشد.
چرا مهمه: از ایجنتهای هوش مصنوعی امروزی بیشتر و بیشتر انتظار میره که تحقیق کنن، مستندات رو پیدا کنن، اخبار رو دنبال کنن و ادعاها رو راستیآزمایی کنن. بنچمارک BrowseComp همین حلقه رو میسنجه.
بنچمارک Humanity’s Last Exam (HLE)
یه بنچمارک ۲٬۵۰۰ سؤالی که صدها متخصص موضوعی نوشتنش و طوری طراحی شده که در مرز دانش بشری باشه. ریاضی، علوم، فلسفه، حقوق و رشتههای دیگه رو پوشش میده، و سؤالها طوری ساخته شدن که نشه گوگلشون کرد یا با تشخیص الگو جوابشون رو پیدا کرد.
دو حالت داره: بدون ابزار (استدلال خالص از دانش آموزشی) و با ابزار (جستوجوی وب، اجرای کد، فراخوانی برنامهنویسیشدهی ابزارها). مدل Sonnet 5 بدون ابزار ۴۳٫۲٪ و با ابزار ۵۷٫۴٪ گرفت.
چرا مهمه: بنچمارک HLE دقیقاً به این دلیل طراحی شد که بنچمارکهای قدیمیتر مثل MMLU اشباع شدن. پیشرفتهترین مدلها الان روی اونها اونقدر امتیاز بالا میگیرن که امتیازها دیگه مدلها رو از هم جدا نمیکنن. بنچمارک HLE الان همون آزمونِ «هنوز داری باهوشتر میشی؟» حساب میشه. امتیاز ۴۳٫۲٪ مدل Sonnet 5 توی حالت بدون ابزار بالاست. این مطالب واقعاً سخته.
بنچمارک OSWorld-Verified
یه دسکتاپ شبیهسازیشدهی Ubuntu توی یه ماشین مجازی. به مدل تسکهایی داده میشه مثل «این سند LibreOffice رو باز کن، همهی موارد X رو با Y عوض کن، بهصورت PDF ذخیره کن» یا «این تنظیم GNOME رو انجام بده». مدل دسکتاپ واقعی رو با حرکتهای ماوس و کیبورد کنترل میکنه و اسکرینشات هم میگیره.
چرا مهمه: این آزمونِ ایجنتهای کار با کامپیوتره، از همون جنس چیزی که پشت قابلیتهایی مثل computer use خودِ Anthropic هست. هدف بلندمدت نرمافزارهای واقعی کار روزانهست (Google Docs، Photoshop، محیطهای IDE). امتیاز ۸۱٫۲٪ مدل Sonnet 5 (نرخ موفقیت در تلاش اول، میانگین پنج اجرا) یعنی مدل میتونه بیشتر کارهای روزمرهی دسکتاپ رو انجام بده. دو سال پیش بهترین امتیاز زیر ۳۰٪ بود.
یه جزئیات که ارزش گفتن داره: Anthropic مجبور شد Sonnet 4.6 رو روی OSWorld دوباره ارزیابی کنه، بعد از اینکه یه باگ توی ابزار زومش برای کارهای دستهای رو درست کرد و سقف توکن هر نوبت رو از ۱۶ هزار به ۱۲۸ هزار برد. معلوم شد عملکرد Sonnet 4.6 روی OSWorld رو کمتر از واقعیت گزارش میکرده. یه یادآوری کوچیک که عدد بنچمارک عکسی از یه مدل و یه هارنسه، نه فقط یه مدل.
بنچمارک FrontierCode v1
مجموعهای از ۱۵۰ تسک کدنویسی ایجنتی که Cognition (سازندهی Devin) ساخته و از پولریکوئستهای واقعی توی ریپوهای متنباز برداشته شدن. هر تسک یه ریپوی چکاوتشده و یه ایشوی تکی به ایجنت میده، و ایجنت باید توی یه محیط کانتینری، خودش و بدون هیچ دخالت انسانی و بدون هیچ اطلاعاتی دربارهی مهلت زمانی، یه پچ نهایی بسازه.
تسکها با معیارهای کارکردیِ تعیینکننده (تستهای واحدی که کنار گذاشته شدن) بهاضافهی معیارهای وزندار روبریک نمره میگیرن، که شامل چکهایی با نمرهدهی مدل برای پوشش تستِ لازم و الگوهای پیادهسازی ممنوعه. تسکها رو نگهدارندههای همون ریپوها نوشتن و پژوهشگرهای Cognition تکتک بررسیشون کردن.
چرا مهمه: این از SWE-bench Verified سختتره، چون ایشوها از پروژههای واقعیای میان که فعالانه نگهداری میشن، و هیچ آدمی توی حلقه نیست. امتیاز ۳۸٫۸٪ مدل Sonnet 5 خیلی پایینتر از امتیازهاش توی SWE-bench قرار میگیره، و نکته همین فاصلهست. بنچمارک FrontierCode جاییه که هنوز جای واقعی برای پیشرفت هست. امتیاز ۱۵٫۱٪ مدل Sonnet 4.6 نشون میده این جهش چقدر بزرگه.
بنچمارک CursorBench
یه بنچمارک کدنویسی ایجنتی که Cursor (شرکت سازندهی ادیتور کد هوش مصنوعی) ساخته و توی هارنس پروداکشن خودش اجراش میکنه، همون هارنسی که کاربرهای واقعی توی محصول Cursor باهاش سروکار دارن. تسکها از کار کدنویسی واقعی و ترافیک بیرونی برداشته شدن.
چرا مهمه: این یکی از معدود مواردیه که یه طرف سوم حاضره مقایسهی بین مدلها رو منتشر کنه. عددها رو Cursor مستقل گزارش میکنه: Sonnet 5 با ۶۱٫۲٪، Sonnet 4.6 با ۴۹٪، Opus 4.8 با ۶۳٫۸٪. این یه بنچمارک مصنوعی نیست. داره میسنجه مدل توی یه IDE واقعی، روی تسکهایی که کاربرهای واقعی Cursor باهاشون روبهرو میشن، چقدر خوب کار میکنه.
المپیاد USAMO 2026
المپیاد ریاضی آمریکا. شش مسئلهی اثباتی، در دو روز، برای بهترین دانشآموزهای دبیرستانی. جوابها عدد نیستن. اثباتهای نوشتهشدهان. نمرهدهی با روش MathArena انجام میشه: یه مدل بیطرف هر اثبات رو بازنویسی میکنه، بعد یه هیئت از سه مدل پیشرفته با روبریک بهش نمره میدن. امتیاز نهایی کمترین نمره بین داورهاست، که خیلی سختگیرانهست.
چرا مهمه: بیشتر بنچمارکهای ریاضی هوش مصنوعی از مدل یه جواب عددی میخوان که تایپ کنه. ولی USAMO مدل رو مجبور میکنه واقعاً یه استدلال ریاضی بسازه و بنویسه، که برای استدلال سطح خیلی بالاتریه. جهش از ۵۵٪ (Sonnet 4.6) به ۷۹٫۵٪ (Sonnet 5) چشمگیره. مدل Sonnet 5 حالا مسئلههای اثباتی المپیاد رو بیشتر از سه بار از هر چهار بار حل میکنه.
برای مقایسه، Opus 4.8 روی همین ارزیابی به ۹۶٫۷٪ رسید و Mythos 5 به ۹۹٫۸٪. روایت Anthropic که میگه «نزدیک به Opus با قیمت Sonnet» برای بیشتر تسکها تقریباً درسته، ولی صدر جدول هنوز دست مدلهای گرونتره.
بنچمارک ArxivMath
مسئلههای ریاضی در سطح پژوهش که هر ماه از چکیدهی مقالههای تازهی arXiv برداشته میشن و طوری فیلتر میشن که خودبسنده، غیربدیهی و قابلراستیآزمایی باشن. از مسابقهها به ریاضیات پژوهشی واقعی نزدیکتره.
دو حالت داره: بدون ابزار (استدلال خالص) و با ابزار (میتونه محاسبه اجرا کنه و جستوجو کنه). مدل Sonnet 5 بدون ابزار ۶۵٫۷٪ و با ابزار ۷۲٫۲٪ گرفت.
چرا مهمه: USAMO مهارت مسابقهای رو میسنجه. ولی ArxivMath میسنجه که مدل میتونه با ریاضیات پژوهشیِ واقعی و بهروز درگیر بشه یا نه. امتیاز ۶۵ تا ۷۲ درصدی نشونهایه که مدل بهطور معقول میتونه به یه ریاضیدان شاغل کمک کنه، نه فقط به یه مربی المپیاد.
بنچمارک ProgramBench
یه بنچمارک کدنویسی با کانتکست طولانی. به مدل فقط یه باینری (یه برنامهی کامپایلشده) و مستندات پروژه داده میشه، و باید سورسکد رو از صفر دوباره بسازه، بدون دسترسی به اینترنت یا ابزارهای دیکامپایل. تسکها از ابزارهای کوچیک (jq، ripgrep) تا سیستمهای بزرگ (FFmpeg، SQLite، مفسر PHP) رو شامل میشن.
خروجیها با تستهای رفتاری مبتنی بر اجرا نمره میگیرن. توی کل بنچمارک بیشتر از ۲۴۷٬۰۰۰ تست هست که با فازینگِ ایجنتمحور تولید شدن.
چرا مهمه: این یکی از معدود بنچمارکهاییه که مشخصاً ادعای پنجرهی کانتکست ۱ میلیون توکنی رو میسنجه. مدل باید یه کدبیس بزرگ رو کامل توی کانتکست نگه داره و روی کلش استدلال کنه. مدل Sonnet 5 بین اپیزودهای مختلف ۷۶ تا ۸۶٪ گرفت، در مقایسه با ۵۲ تا ۷۴٪ برای Sonnet 4.6. این یه داستان واقعی دربارهی کانتکست طولانیه، نه فقط دربارهی کدنویسی.
بنچمارکهای چندوجهی (GDP.pdf، ChartMuseum، CharXiv، BenchCAD)
دستهای از بنچمارکها که میسنجن مدل میتونه ورودیهای غیرمتنی رو بخونه، تجزیه کنه و دربارهشون استدلال کنه یا نه.
- GDP.pdf: شامل ۱۰۰ پرامپت و فایل PDF که از گردشکارهای حرفهای واقعی در ده حوزه (مالی، سلامت، حقوقی، مهندسی، بیمه) برداشته شدن. میسنجه مدل میتونه اطلاعات رو توی سندهای طولانی و پیچیده پیدا کنه، به هم ارجاع بده و جمعبندی کنه یا نه. مدل Sonnet 5 بدون ابزار ۶۷٫۵٪ و با ابزار ۸۱٫۶٪.
- ChartMuseum و CharXiv Reasoning: فهم نمودارهای علمی. یه نمودار و یه سؤال داده میشه؛ عدد درست رو دربیار. برای هر گردشکار تحلیل داده مهمه. شرکت Anthropic برای ChartMuseum بهبودی برابر ۱۰٫۸ واحد درصد نسبت به Sonnet 4.6 گزارش کرده، که بزرگترین پیشرفت چندوجهیه.
- BenchCAD: تولید CAD با برنامهنویسی. یه مشخصات داده میشه؛ کدی بنویس که یه قطعهی سهبعدی بسازه. تخصصیه، ولی آزمون واقعیِ ریاضی بهاضافهی کد بهاضافهی استدلال فضاییه.
تسکهای حرفهای دنیای واقعی (OfficeQA، Real-World Finance V2، Legal Agent Benchmark، GDPval-AA v2، Toolathlon، AutomationBench، AA-Briefcase)
گروهی از بنچمارکها که مدل رو روی همون جنس کاری میسنجن که یه کارمند دانشی با حقوق انجام میده. برجستهترینشون GDPval-AA v2 هست، که به مدلها روی تسکهای واقعی و باارزش اقتصادی، برداشتهشده از شغلهای واقعی، نمره میده. تسکها از حوزههایی مثل مالی، حقوق، سلامت و مهندسی میان. آدمها خروجی مدل رو با خروجی متخصص انسانی مقایسه میکنن و نمره میدن، و نتیجه به شکل امتیاز Elo گزارش میشه (همون سیستم امتیازدهی شطرنج، که توش اختلاف ۱۰۰ امتیاز Elo تقریباً یعنی ۶۴٪ احتمال برد).
امتیاز ۱۶۱۸ Elo برای Sonnet 5، در مقایسه با ۱۳۹۵ برای Sonnet 4.6، با معیار Elo عظیمه. برای مقایسه، فاصلهی بین دو استادبزرگ شطرنج اغلب به ۱۰۰ امتیاز Elo هم نمیرسه.
بقیهی این دسته جنبههای مشخصی از کار حرفهای رو میسنجن: بررسی قرارداد، ارجاع حقوقی، گردشکارهای مالی، پرسشوپاسخ روی اسناد اداری، هماهنگ کردن ابزارها، اسکریپتهای خودکارسازی. بسته به بنچمارک، یا آدمها نمره میدن، یا داورهای LLM، یا اجرا در برابر تستهای مخفی.
بنچمارک AutomationBench همونیه که هر کسی امیدواره هوش مصنوعی کارهای پشتیبانی اداری رو به عهده بگیره باید حواسش بهش باشه. امتیاز ۱۳٫۵٪ مدل Sonnet 5 (در مقایسه با ۵٫۳٪ برای Sonnet 4.6) از نظر مطلق جهش بزرگیه، ولی امتیاز هنوز پایینه. خودکارسازی در این سطح واقعاً حلنشدهست، و Sonnet 5 به زور به عدد دورقمی رسیده.
سلامت (HealthBench، HealthBench Professional)
بنچمارکهای پزشکی که از سناریوهای بالینی واقعی ساخته شدن و پزشکها بهشون نمره میدن. نسخهی «Professional» سختتره و هدفش اینه که بسنجه مدل میتونه از استدلال بالینی واقعی پشتیبانی کنه یا نه، نه فقط جواب دادن به سؤالهای اطلاعات عمومی.
چرا مهمه: هزینهی خطا توی هوش مصنوعی پزشکی خیلی بیشتر از بیشتر حوزههاست. جهش از ۴۴٫۲٪ به ۵۷٫۸٪ معناداره. این همون بنچمارکیه که برای هر محصول دستیار پزشکِ هوش مصنوعی اهمیت داره.
چندزبانه (GMMLU، MILU، INCLUDE)
بنچمارکهای استدلال مخصوص هر زبان، برای زبانهای دنیا (کرهای، بنگالی و بقیه). هدف اینه که چک کنن پیشرفتها فقط مخصوص انگلیسی نیستن. شرکت Anthropic موقع انتشار اینها رو برجسته نکرد، که یه نشونهی کوچیکه: یا تفاوت چشمگیری نشون نمیدادن، یا اونقدر خوب نبودن که بشه باهاشون شروع کرد.
چطور کل جدول رو بخونیم
سه تا الگو ارزش داره توی ذهنت بمونه.
اول، اتفاق اصلی توی عددهای ایجنتیه. SWE-bench Pro، Terminal-Bench، FrontierCode، OSWorld، ProgramBench. اینها میسنجن مدل توی محیطهای واقعی کار انجام میده، نه فقط اینکه به سؤالها جواب بده. بزرگترین پیشرفتهای Sonnet 5 همینجاست، و بیشترِ چیزی هم که باعث میشه در عمل متفاوت به نظر بیاد.
دوم، جاهایی که Sonnet 5 هنوز از Opus و Mythos عقبه، فاصله داره سریع کم میشه. روی USAMO 2026، مدل Sonnet 5 به ۷۹٫۵٪ رسید، در برابر ۹۶٫۷٪ برای Opus 4.8 و ۹۹٫۸٪ برای Mythos 5. یعنی Opus 4.8 هنوز حدود ۱۷ امتیاز جلوئه، ولی فاصلهش با Sonnet 4.6 حدود ۴۲ امتیاز بود.
سوم، امتیازهایی که زیاد تکون نخوردن همونهاییان که از قبل اشباع شده بودن. بنچمارک GDP.pdf از ۶۶٫۹٪ به ۶۷٫۵٪ رسید، چون Sonnet 4.6 از قبل نزدیک سقفِ چیزی بود که این بنچمارک میتونه تشخیص بده. بنچمارکهایی که Sonnet 5 توشون جهشهای بزرگ داشت (FrontierCode با ۲۳٫۷ واحد درصد، USAMO با ۲۴٫۵ واحد درصد) همونهاییان که هنوز جای پیشرفت واقعی دارن. این یه اصل کلی بهدردبخوره: وقتی امتیاز یه مدل به زور تغییر میکنه، بپرس که آیا آزمون هنوز میتونه تفاوت رو تشخیص بده یا نه.
چیزهایی که سیستم کارت نمیگه
چند چیز بهطور چشمگیری از همهی اینها غایبه، و خودِ این غیبتها اطلاعات میدن.
هیچ جزئیاتی از معماری نیست. نه تعداد پارامتر، نه تعداد لایه، نه سازوکار attention، نه اینکه مدل از نوع MoE هست یا متراکم، نه توان محاسباتی آموزش. شرکت Anthropic از سری ۳ تا حالا روی همین موضع مونده. اگه یه طرف سوم (SemiAnalysis، The Information، یه مقالهی arXiv) جزئیاتی رو با مهندسی معکوس درآورده باشه، قبل از اینکه بهش استناد کنم میخوام اون مقاله رو ببینم. استنتاج یه مدله، نه یه واقعیت.
دربارهی ترکیب دادههای آموزشی چیزی فراتر از «اطلاعات عمومی موجود، مجموعهدادههای عمومی و خصوصی، و دادههای مصنوعی» نیست. نه تعداد توکن. نه درصد ترکیب دادهها. نه هیچ اطلاعاتی دربارهی اینکه چی فیلتر شده، چرا، یا چطور.
هیچ مقایسهای با Sonnet 4.5 نیست. همهی مقایسههای عمومی Sonnet 5 در برابر Sonnet 4.6 انجام شده. اینکه Anthropic از ارجاع به Sonnet 4.5 گذشته، نشون میده Sonnet 4.6 رو نسخهی قبلیِ مستقیم میدونه، و Sonnet 4.5 داره بیسروصدا از بحث کنار گذاشته میشه.
داستان قیمت، به یه معنا، همون داستان معماریه. مدل Sonnet 5 با قیمت ۳ دلار برای هر میلیون توکن ورودی و ۱۵ دلار برای هر میلیون توکن خروجی عرضه میشه (با نرخ معرفیِ ۲ و ۱۰ دلار تا ۳۱ اوت ۲۰۲۶). این همون قیمت Sonnet 4.6 هست. سطح محصول هم همونه: کانتکست ۲۰۰ هزار توکنی بهصورت استاندارد، ۱ میلیون در بتا، ۱۰ میلیون با فشردهسازی کانتکست، خروجی فقط متنی، ورودی چندوجهی. قرارداد API عملاً با Sonnet 4.6 یکیه، پس برای بیشتر کاربرها مهاجرت یعنی فقط عوض کردن اسم مدل. بهبود توی رفتار پسآموزش و استنتاجه، نه توی هیچکدوم از اهرمهایی که توسعهدهندهها دستشونه.
چیزی که از این ماجرا برداشتم
رفتم که بفهمم چی عوض شده. با دو چیز برگشتم.
اولی یه رابطهی صادقانهتر با اطلاعیههای انتشار مدله. پست وبلاگ Anthropic توی همهی ادعاهاش درسته، ولی کل داستان رو نمیگه. بخش جالب توی متن پست نیست. توی سیستم کارته، و سیستم کارت طوری چیده شده که بخش جالبش توی یه بخش ۵۰ صفحهایه که بیشتر خوانندهها بهش نمیرسن. با دونستن این، میدونم دفعهی بعد باید سیستم کارت رو بخونم، و وقتی میخونم بدونم دارم به چی نگاه میکنم.
دومی فهم خیلی بهتری از خودِ بنچمارکهاست. سالهاست دربارهی هوش مصنوعی مینویسم و باز هم مجبور شدم بگردم ببینم FrontierCode دقیقاً چی رو نمره میده، یا فرق واقعی ProgramBench و SWE-bench Multilingual چیه. اسم بردن از چیزها با شناختنشون یکی نیست. اسم بنچمارکها انگار عمداً طوری انتخاب شدن که مبهم باشن: کوتاه، فنی، و پر از پیشفرض. من و تیم Anthropic از کلمههای یکسان استفاده میکنیم ولی منظورمون چیزهای خیلی متفاوتیه.
اگه تا اینجا خوندی، حالا برای همهی بنچمارکهای سیستم کارت Sonnet 5 یه واژگان کاربردی داری. دفعهی بعد که یه مدل منتشر شد، میتونی از بازاریابی بگذری و مستقیم سیستم کارت رو بخونی. میدونی ردیفها چه معنایی دارن، نمرهدهی چطور کار میکنه، و چرا جهش ۱۰ امتیازی روی یه ردیف خبر بزرگتری از جهش ۱۰ امتیازی روی یه ردیف دیگهست.
این چیزی بود که میخواستم یاد بگیرم. این چیزیه که دارم به اشتراک میذارم.
منابع: Introducing Claude Sonnet 5 (Anthropic، ۳۰ ژوئن ۲۰۲۶)، Claude Sonnet 5 System Card (Anthropic، ۳۰ ژوئن ۲۰۲۶، ۱۴۶ صفحه).