Sonnet 5 اومد. من پرسیدم چی عوض شده. این چیزیه که فهمیدم.

Sonnet 5 سی‌ام ژوئن ۲۰۲۶ عرضه شد. من هم مثل بقیه یه سوال داشتم: زیر کاپوت واقعاً چی عوض شده؟ مدل جدیده؟ یه دور post-training تازه‌ست؟ معماریش عوض شده؟ Anthropic هم، قابل پیش‌بینی، تقریباً هیچی نگفت.

من رفتم دنبالش. چیزی که پیدا کردم یه system card صد و چهل و شش صفحه‌ای بود بدون هیچ جزئیات معماری، یه پست بلاگ انتشار پر از جدول benchmark، و یه لحظه که فهمیدم اصلاً نمی‌دونم این benchmarkها معنیشون چیه.

این پست نتیجه اون لحظه‌ست. یه داستان درباره یه سوال، یه دیوار، و یه چرخش به سمت چیزی که به درد می‌خوره.

سوالی که واقعاً پرسیدم

از یه جای ساده شروع شد. می‌خواستم یه مقایسه داشته باشم: Sonnet 5 در مقابل Sonnet 4.x، چی عوض شده؟ نه bullet pointهای مارکتینگی، تفاوت فنی واقعی.

صادقانه‌ترین جواب اول این بود که نمی‌دونستم. داده آموزش من یه cutoff داره، و شش ماه قبل از Sonnet 5 تموم میشه. بدتر اینکه حتی اگه تموم نمی‌شد، Anthropic جزئیات معماری هیچ مدل Claude رو منتشر نمی‌کنه. نه تعداد پارامتر، نه تعداد لایه، نه مکانیزم attention، نه محاسبه آموزش. اون system card صد و چهل و شش صفحه‌ای معتبرترین منبعه، و تمام چیزی که درباره ساخت مدل میگه یه پاراگراف تو مقدمه‌ست.

اون پاراگراف ارزش نقل کامل رو داره:

Claude Sonnet 5 was trained on a proprietary mix of publicly available information from the internet, public and private datasets, and synthetic data generated by other models. After the pretraining process, Sonnet 5 underwent rigorous post-training and fine-tuning…

همینه. pretraining، بعد post-training، بعد fine-tuning. همون شکلی که Anthropic برای همه نسل‌های Claude از سری ۳ توصیف کرده. اگه داستان معماری جالب‌تری پشت Sonnet 5 هست، تو رکورد عمومی نیست.

دو تا راه داشتم. می‌تونستم حدس بزنم. می‌تونستم تعداد پارامتر اختراع کنم، ساختار لایه از خودم بسازم، حدس‌های به‌نظر-قابل‌قبول رو به اسم فاکت قالب کنم. این کار رو نمی‌کنم، نه برای تو نه برای خودم. پس به جای اینکه بگم چی رو نمی‌دونم، رفتم چیزی که می‌دونم رو خوندم.

system card واقعاً چی داره

system cardهای Anthropic یه شکل ثابت دارن. ده صفحه اول خلاصه اجرایی و فرایند آموزشه. هشتاد صفحه بعدی ارزیابی‌های ایمنیه: alignment، سوءاستفاده agentic، prompt injection، ممیزی‌های رفتاری، welfare مدل. پنجاه صفحه آخر قابلیت‌ها، شکسته به ازای هر benchmark، با یه جدول خلاصه نزدیک اول.

برای Sonnet 5 اون جدول خلاصه تو صفحه ۱۱۵ همون چیزیه که اکثر مردم اسکرین‌شات می‌گیرن. ستون‌ها برای Sonnet 5، Sonnet 4.6، GPT-5.5 و Gemini 3.5 Flash داره، و ردیف‌ها برای SWE-bench Pro، Terminal-Bench، BrowseComp، HLE، OSWorld، GDPval و چند تای دیگه. عددها یه داستان واضح میگن: Sonnet 5 تو هر قابلیت بهبود محکمی نسبت به ۴.۶ هست، و بیشتر فاصله با Opus 4.8 رو با یه‌سوم قیمت پر می‌کنه.

ولی چیزی که من تو دور دوم متوجه شدم: برچسب ستون‌ها برای هر کسی که محقق AI مرزی نیست تقریباً مبهمه. SWE-bench Pro، Terminal-Bench، BrowseComp، GDPval-AA، HLE، OSWorld، ProgramBench، FrontierCode، CursorBench، AutomationBench، HealthBench Professional، Legal Agent Benchmark. اسم‌ها به موضوع اشاره می‌کنن. ولی نمیگن چی اندازه‌گیری میشه، چرا امتیاز مهمه، یا چه نوع مدلی می‌خوای باشی وقتی این benchmarkها بالا میرن.

این شکافیه که این پست سعی داره پر کنه. می‌خوام هر کدوم رو به زبان ساده توضیح بدم، به ترتیبی که تو system card میان، با این هدف که آخرش بتونی هر انتشار مدل بعدی رو بخونی و دقیقاً بفهمی عددها چی میگن.

benchmarkها، توضیح‌داده‌شده

اول چند تا قاب‌بندی به‌درد‌بخور.

کلمه agentic مهمه. یه benchmark agentic به مدل یه محیط واقعی میده (یه terminal، یه مرورگر، یه IDE، یه ماشین مجازی) و انتظار داره مدل از ابزارها استفاده کنه، command اجرا کنه، و خودش یه وظیفه چندمرحله‌ای رو تموم کنه. مدل فقط داره به یه سوال جواب نمیده. داره کار می‌کنه.

کلمه reasoning هم مهمه، و تو این زمینه معنی مشخصی داره. یه benchmark reasoning طوری ساخته شده که جوابش رو نمیشه حفظ کرد. مدل باید برنامه‌ریزی کنه، مراحل رو زنجیر کنه، یا از اصول اول یه چیزی رو ثابت کنه.

بالاخره، اینکه یه benchmark چطور نمره‌دهی میشه به اندازه خود نمره مهمه. بعضی‌ها pass/fail سخت در مقابل unit testهای مخفی دارن. بعضی‌ها از یه داور انسانی یا داور LLM با یه rubric استفاده می‌کنن. عدد بالاتر بین این سبک‌ها معنی‌های خیلی متفاوت میده، و من مشخص می‌کنم کدوم کدومه.

خانواده SWE-bench (Verified, Pro, Multilingual, Multimodal)

یه مجموعه از issueهای واقعی GitHub از repositoryهای واقعی open-source. مدل یه code repository و یه توضیح issue می‌گیره، و باید یه patch تولید کنه که issue رو ببنده. patchها با اجرای unit testهای مخفی خود پروژه نمره‌دهی میشن.

فکر کن به این صورت: این یه bug report واقعیه که یه senior engineer ثبت کرده. درستش کن.

چهار variant از نظر سختی و دامنه فرق دارن:

Verified: ۵۰۰ تا مسئله، هر کدوم به صورت انسانی بررسی شده که قابل حله. نسخه راحت‌تر.
Pro: از repositoryهای فعال نگهداری‌شده، با تغییرات چندفایلی بزرگ‌تر و نشت ground-truth عمومی کمتر. خیلی سخت‌تر.
Multilingual: ۳۰۰ تا مسئله در نه زبان برنامه‌نویسی، نه فقط Python.
Multimodal: issue کنار متن screenshot یا mockup طراحی هم داره.

چرا مهمه: این نزدیک‌ترین proxy عمومیه به “آیا این مدل می‌تونه کار روزانه من رو به‌عنوان یه مهندس نرم‌افزار انجام بده؟” امتیاز با اینکه یه مدل تو IDE یا coding agent چقدر به‌درد‌بخوره همبستگی داره. Sonnet 5 با ۸۵.۲٪ روی Verified یعنی روی bugهای واقعی و انسانی‌بررسی‌شده از repoهای واقعی، تقریباً پنج بار از شش بار یه patch passing تولید می‌کنه. برای مقایسه، بهترین امتیاز سال قبل حدود ۶۵٪ بود.

Terminal-Bench 2.1

هشتاد و نه وظیفه که نیاز به استفاده از یه terminal واقعی Linux یا Unix دارن. مدل یه shell می‌گیره، command اجرا می‌کنه، و state نهایی ماشین نمره‌دهی میشه.

نمونه‌های شکل وظایف: یه service راه‌اندازی کن، یه daemon با‌تنظیم‌اشتباه رو debug کن، یه پشته فایل رو پردازش کن، از یه نصب خراب recover کن، یه فایل config رو debug کن که کاربر به‌سختی می‌تونه توصیفش کنه. harness همون mini-SWE-agent هست، یه حلقه agent واقعی و time-aware، نه یه محیط تست سنتتیک.

چرا مهمه: کار مهندسی واقعی تو terminal اتفاق می‌افته. deploy، debug، scripting، system administration. Terminal-Bench مشخصاً اندازه می‌گیره که آیا مدل می‌تونه از طریق shell یه کامپیوتر رو کنترل کنه، شامل command، pipe، error handling، و قضاوت درباره اینکه بعدی چی رو امتحان کنه.

Sonnet 5 با ۸۰.۴٪ (تو effort سطح xhigh) یعنی چهار از پنج وظیفه shell واقعی end to end کامل شدن.

BrowseComp

یه benchmark agentic جستجوی وب. به مدل یه سوال پرسیده میشه که جوابش تو اینترنت عمومی پیدا میشه ولی واضح نیست. نکته دانستن فاکت‌ها نیست (یه LLM شاید از قبل داشته باشه). نکته اینه که تست کنه آیا مدل می‌تونه خوب وب رو browse کنه، یعنی queryهای خوب انتخاب کنه، SEO spam رو نادیده بگیره، سرنخ‌های امیدوارکننده رو دنبال کنه، و بین منابع مثلث‌بندی کنه.

دو configuration: single-agent (یه instance مدل تنها کار می‌کنه) و multi-agent (چند instance همکاری می‌کنن، مثلاً یکی جستجو می‌کنه و یکی critique می‌کنه). Sonnet 5 زد ۸۴.۷٪ single-agent و ۸۶.۶٪ multi-agent روی سقف ۱۰ میلیون token، با context compaction که از ۲۰۰ هزار token فعال میشه.

چرا مهمه: از agentهای AI مدرن بیشتر و بیشتر انتظار میره تحقیق کنن، documentation رو نگاه کنن، اخبار رو monitor کنن، و ادعاها رو verify کنن. BrowseComp اون حلقه رو اندازه می‌گیره.

Humanity’s Last Exam (HLE)

یه benchmark ۲۵۰۰ سوالی که توسط صدها متخصص نوشته شده، طراحی‌شده برای اینکه تو مرز دانش انسانی باشه. ریاضی، علوم، فلسفه، حقوق و حوزه‌های دیگه رو پوشش میده، و سوال‌ها طوری ساخته شدن که نمیشه Googleشون کرد یا pattern-match زد.

دو configuration: بدون ابزار (reasoning خالص از دانش آموزش) و با ابزار (جستجوی وب، اجرای کد، tool call برنامه‌ای). Sonnet 5 زد ۴۳.۲٪ بدون ابزار و ۵۷.۴٪ با ابزار.

چرا مهمه: HLE دقیقاً به این خاطر طراحی شد که benchmarkهای قدیمی‌تر مثل MMLU اشباع شدن. مدل‌های مرزی حالا اونقدر بالا می‌زنن که امتیازهاشون تمایزدهنده نیست. HLE الان benchmark “هنوز داری باهوش‌تر میشی؟” هست. ۴۳.۲٪ Sonnet 5 تو variant بدون ابزار بالاست. این ماده واقعاً سخته.

OSWorld-Verified

یه desktop Ubuntu شبیه‌سازی‌شده تو یه ماشین مجازی. به مدل وظایفی مثل “این سند LibreOffice رو باز کن، همه نمونه‌های X رو با Y عوض کن، به‌صورت PDF ذخیره کن” یا “این تنظیم GNOME رو پیکربندی کن” داده میشه. desktop واقعی رو از طریق کلیک ماوس و کیبورد کنترل می‌کنه، با screenshot.

چرا مهمه: این تست computer-use agentهاست، همون چیزی که قابلیت‌هایی مثل computer use خود Anthropic رو تغذیه می‌کنه. نرم‌افزار productivity واقعی (Google Docs، Photoshop، IDEها) هدف بلندمدته. Sonnet 5 با ۸۱.۲٪ (نرخ موفقیت اولین تلاش، میانگین پنج run) یعنی مدل می‌تونه بیشتر workflowهای desktop روزمره رو کامل کنه. دو سال پیش بهترین امتیاز زیر ۳۰٪ بود.

یه جزئیات که ارزش اشاره داره: Anthropic مجبور شد Sonnet 4.6 رو روی OSWorld دوباره ارزیابی کنه بعد از اینکه یه باگ تو ابزار zoom برای actionهای batch شده رو fix کرد و سقف token هر turn رو از ۱۶K به ۱۲۸K رسوند. فهمیدن داشتن performance OSWorld 4.6 رو کمتر گزارش می‌کردن. یه یادآوری کوچیک که عدد benchmark یه snapshot از مدل به‌علاوه harness هست، نه فقط مدل.

FrontierCode v1

۱۵۰ وظیفه coding agentic که توسط Cognition (سازنده Devin) ساخته شده، از pull requestهای واقعی تو repositoryهای open-source. هر وظیفه به agent یه repository checkout‌شده و یه issue میده، و agent باید تو یه environment containerized، بدون دخالت انسان و بدون اطلاعات timeout، یه patch نهایی تولید کنه.

وظایف در مقابل blocking functional criteria (unit testهای held-out) به‌علاوه weighted rubric criteria نمره‌دهی میشن، شامل model-graded check برای پوشش تست لازم و الگوهای implementation ممنوعه. وظایف توسط maintainerهای repositoryهای زیربنایی نوشته شدن و به‌صورت جداگانه توسط محقق‌های Cognition review شدن.

چرا مهمه: این از SWE-bench Verified سخت‌تره چون issueها از پروژه‌های واقعی و فعال‌نگهداری‌شده میان، و هیچ انسانی تو حلقه نیست. Sonnet 5 با ۳۸.۸٪ خیلی پایین‌تر از عددهای SWE-benchش هست، و اون فاصله نکته‌ست. FrontierCode benchmarkایه که هنوز headroom واقعی برای بهبود داره. Sonnet 4.6 با ۱۵.۱٪ بزرگی جهش رو نشون میده.

CursorBench

یه benchmark coding agentic که توسط Cursor (شرکت ویرایشگر کد AI) تو harness تولیدشون ساخته و اجرا میشه، همون harnessی که کاربرهای واقعی تو محصول Cursor باهاش برخورد می‌کنن. وظایف از کار coding واقعی و ترافیک خارجی گرفته شدن.

چرا مهمه: این یکی از معدود مواردیه که یه شخص ثالث حاضره یه مقایسه cross-model منتشر کنه. عددها به‌طور مستقل توسط Cursor گزارش شدن: Sonnet 5 با ۶۱.۲٪، Sonnet 4.6 با ۴۹٪، Opus 4.8 با ۶۳.۸٪. این یه benchmark سنتتیک نیست. داره اندازه می‌گیره مدل تو یه IDE واقعی، در مقابل وظایفی که کاربرهای واقعی Cursor باهاشون برخورد می‌کنن، چقدر خوب عمل می‌کنه.

USAMO 2026

المپیاد ریاضی آمریکا. شش مسئله proof، دو روز، برای دانش‌آموزهای دبیرستانی برتر. جواب‌ها عدد نیستن. proof نوشته‌شده هستن. نمره‌دهی از روش MathArena استفاده می‌کنه: یه مدل خنثی هر proof رو بازنویسی می‌کنه، بعد یه پنل از سه مدل مرزی در مقابل rubric نمره میدن. امتیاز نهایی minimum بین داورها هست، که خیلی سخته.

چرا مهمه: اکثر benchmarkهای ریاضی AI به مدل یه جواب عددی میدن که تایپ کنه. USAMO مدل رو مجبور می‌کنه واقعاً یه argument ریاضی بسازه و بنویسه، که یه سطح خیلی بالاتر برای reasoning هست. جهش از ۵۵٪ (Sonnet 4.6) به ۷۹.۵٪ (Sonnet 5) چشمگیره. Sonnet 5 الان بیشتر از سه بار از چهار بار مسئله‌های المپیاد proof-based رو حل می‌کنه.

برای مرجع، Opus 4.8 زد ۹۶.۷٪ و Mythos 5 زد ۹۹.۸٪ رو همون ارزیابی. قاب‌بندی Anthropic از “نزدیک به Opus با قیمت Sonnet” برای اکثر وظایف تقریباً درسته، ولی سقف مطلق هنوز دست مدل‌های گرون‌تره.

ArxivMath

مسئله‌های ریاضی سطح تحقیقاتی که ماهانه از abstract مقاله‌های اخیر arXiv کشیده میشن، فیلتر شده برای اینکه self-contained، non-trivial و verifiable باشن. به ریاضیات تحقیقاتی واقعی نزدیک‌تر از مسابقه.

دو configuration: بدون ابزار (reasoning خالص) و با ابزار (می‌تونه محاسبه اجرا کنه، جستجو کنه). Sonnet 5 زد ۶۵.۷٪ بدون ابزار و ۷۲.۲٪ با ابزار.

چرا مهمه: USAMO مهارت مسابقه رو تست می‌کنه. ArxivMath تست می‌کنه آیا مدل می‌تونه با ریاضیات تحقیقاتی واقعی و جاری درگیر بشه. امتیاز ۶۵ تا ۷۲٪ نشونه اینه که مدل می‌تونه به‌طور plausibly به یه ریاضیدان شاغل کمک کنه، نه فقط یه مربی المپیاد.

ProgramBench

یه benchmark coding با context طولانی. به مدل فقط یه binary (یه برنامه کامپایل‌شده) و documentation پروژه داده میشه، و باید source code رو از صفر بازسازی کنه، بدون دسترسی اینترنت و بدون ابزار decompilation. وظایف از utilityهای کوچیک (jq، ripgrep) تا سیستم‌های بزرگ (FFmpeg، SQLite، مفسر PHP) متغیرن.

submissionها با execution-based behavioral test نمره‌دهی میشن. بیشتر از ۲۴۷۰۰۰ تست تو benchmark وجود داره، که از طریق agent-driven fuzzing تولید شدن.

چرا مهمه: این یکی از معدود benchmarkهاییه که مشخصاً ادعای context window یک‌میلیون‌tokenی رو تست می‌کنه. مدل باید یه codebase بزرگ کامل رو تو context نگه داره و بینش reason کنه. Sonnet 5 تو episodeهای مختلف زد ۷۶ تا ۸۶٪، در مقایسه با ۵۲ تا ۷۴٪ برای Sonnet 4.6. این یه داستان long-context واقعیه، نه فقط یه داستان coding.

benchmarkهای Multimodal (GDP.pdf, ChartMuseum, CharXiv, BenchCAD)

یه cluster از benchmarkها که تست می‌کنن آیا مدل می‌تونه ورودی‌های غیرمتنی رو بخونه، parse کنه و درباره‌شون reason کنه.

GDP.pdf: ۱۰۰ prompt و PDF از workflowهای حرفه‌ای واقعی در ده حوزه (مالی، سلامت، حقوق، مهندسی، بیمه). تست می‌کنه آیا مدل می‌تونه اطلاعات رو بین اسناد بلند و پیچیده پیدا، cross-reference و ترکیب کنه. Sonnet 5 با ۶۷.۵٪ بدون ابزار، ۸۱.۶٪ با ابزار.
ChartMuseum و CharXiv Reasoning: فهم chart علمی. یه chart و یه سوال داده میشه، عدد درست رو استخراج کن. برای هر workflow تحلیل داده مهمه. Anthropic گزارش میده ChartMuseum +۱۰.۸ امتیاز درصد نسبت به Sonnet 4.6، بزرگ‌ترین gain multimodal.
BenchCAD: تولید CAD برنامه‌ای. یه spec داده میشه، کدی بنویس که یه قطعه سه‌بعدی تولید کنه. تخصصی ولی یه تست واقعی از ریاضی به‌علاوه کد به‌علاوه reasoning فضایی.

وظایف حرفه‌ای دنیای واقعی (OfficeQA, Real-World Finance V2, Legal Agent Benchmark, GDPval-AA v2, Toolathlon, AutomationBench, AA-Briefcase)

یه گروه از benchmarkها که مدل رو روی کاری تست می‌کنن که یه knowledge worker حقوق‌بگیر انجام میده. ستاره‌اش GDPval-AA v2 هست، که مدل‌ها رو روی وظایف واقعی و از نظر اقتصادی باارزش از occupationهای واقعی نمره‌دهی می‌کنه. وظایف از حوزه‌هایی مثل مالی، حقوق، سلامت، مهندسی میان. نمره‌دهی توسط انسان‌هایی که خروجی مدل رو با خروجی انسان متخصص مقایسه می‌کنن، به‌صورت Elo score گزارش میشه (همون سیستم امتیازدهی که تو شطرنج استفاده میشه، که ۱۰۰ Elo تفاوت تقریباً ۶۴٪ احتمال برده).

Sonnet 5 با ۱۶۱۸ Elo، بالا از ۱۳۹۵ برای Sonnet 4.6، از نظر Elo عظیمه. برای مقایسه، فاصله بین دو استاد بزرگ شطرنج انسانی اغلب کمتر از ۱۰۰ Elo هست.

بقیه تو این cluster سطوح حرفه‌ای خاص رو تست می‌کنن: review قرارداد، citation حقوقی، workflowهای مالی، QA اسناد office، orchestration ابزار، scriptهای automation. بسته به benchmark، توسط انسان، داور LLM، یا execution در مقابل تست‌های مخفی نمره‌دهی میشن.

AutomationBench همونیه که باید دنبالش باشی اگه امیدوار بودی AI می‌تونه back-office رو بگیره. Sonnet 5 با ۱۳.۵٪ (بالا از ۵.۳٪ برای ۴.۶) یه جهش بزرگ به‌صورت مطلقه ولی امتیاز هنوز پایینه. automation تو این سطح واقعاً unsolved هست، و Sonnet 5 به‌سختی double digit رو شکست.

سلامت (HealthBench, HealthBench Professional)

benchmarkهای پزشکی ساخته‌شده از سناریوهای بالینی واقعی، نمره‌دهی توسط پزشک. variant “Professional” سخت‌تره، هدفش اینه که تست کنه آیا مدل می‌تونه reasoning بالینی واقعی رو پشتیبانی کنه، نه فقط به تریویا جواب بده.

چرا مهمه: AI پزشکی هزینه خطای خیلی بالاتری نسبت به اکثر حوزه‌ها داره. جهش از ۴۴.۲٪ به ۵۷.۸٪ معناداره. این اون benchmarkه که برای هر محصول دستیار دکتر AI مهمه.

Multilingual (GMMLU, MILU, INCLUDE)

benchmarkهای reasoning مخصوص زبان برای زبان‌های جهانی (کره‌ای، بنگالی، و بقیه). نکته اینه که چک کنه gains فقط انگلیسی نیستن. Anthropic اینا رو تو release برجسته نکرد، که یه سرنخ کوچیکه: یا متمایزکننده نبودن یا به‌اندازه کافی flattering نبودن که باهاشون lead کنن.

چطور کل جدول رو بخونی

سه الگو ارزش نگه‌داشتن تو ذهن رو دارن.

اول، عددهای agentic جاییه که action هست. SWE-bench Pro، Terminal-Bench، FrontierCode، OSWorld، ProgramBench. اینا اندازه می‌گیرن مدل داره تو environmentهای واقعی کار می‌کنه، نه فقط به سوال جواب میده. بزرگ‌ترین gainهای Sonnet 5 اینجاست، و هم بیشتر چیزی که باعث میشه تو عمل متفاوت حس بشه.

دوم، جایی که Sonnet 5 هنوز از Opus و Mythos عقب‌تره، فاصله داره سریع تنگ میشه. تو USAMO 2026، Sonnet 5 زد ۷۹.۵٪. Opus 4.8 زد ۹۶.۷٪. Mythos 5 زد ۹۹.۸٪. قاب‌بندی Anthropic از “نزدیک به Opus با قیمت Sonnet” برای اکثر وظایف تقریباً درسته، ولی سقف مطلق هنوز دست مدل‌های گرون‌تره.

سوم، امتیازهایی که زیاد جابه‌جا نشدن اون‌هایی هستن که از قبل اشباع شده بودن. GDP.pdf رفت از ۶۶.۹٪ به ۶۷.۵٪ چون ۴.۶ از قبل نزدیک سقف چیزی بود که اون benchmark می‌تونست تمایز بده. benchmarkهایی که Sonnet 5 جهش بزرگ توشون کرد (FrontierCode +۲۳.۷ امتیاز درصد، USAMO +۲۴.۵ امتیاز درصد) اون‌هایی هستن که هنوز headroom برای بهبود واقعی دارن. این یه اصل کلی به‌درد‌بخوره: وقتی امتیاز یه مدل تقریباً عوض نمیشه، بپرس آیا تست هنوز می‌تونه فرق رو تشخیص بده.

system card چی رو نمیگه

چند تا چیز به‌طور مشکوکی از همه این غایبن، و خود غیبت‌ها informative هستن.

هیچ جزئیات معماری. نه تعداد پارامتر، نه تعداد لایه، نه مکانیزم attention، نه بیانیه MoE در مقابل dense، نه محاسبه آموزش. Anthropic این خط رو از سری ۳ حفظ کرده. اگه یه شخص ثالث (SemiAnalysis، The Information، یه مقاله arXiv) جزئیاتی رو reverse-engineer کرده، من می‌خوام قبل از cite کردن اون مقاله رو ببینم. inference یه مدله، نه فاکت.

هیچ composition داده آموزش فراتر از “اطلاعات عمومی در دسترس، datasetهای عمومی و خصوصی، و داده سنتتیک.” نه تعداد token. نه درصد mix داده. نه اطلاعات درباره چی فیلتر شد، چرا، یا چطور.

هیچ مقایسه با ۴.۵. هر مقایسه عمومی Sonnet 5 در مقابل Sonnet 4.6 هست. این واقعیت که Anthropic یه مرجع ۴.۵ رو skip کرد نشون میده ۴.۶ نسخه‌ایه که به‌عنوان immediate predecessor در نظر می‌گیرن، و ۴.۵ داره بی‌سروصدا از گفتگو بیرون میره.

داستان قیمت‌گذاری، به یه معنا، داستان معماریه. Sonnet 5 با ۳ دلار به‌ازای هر میلیون token ورودی و ۱۵ دلار به‌ازای هر میلیون خروجی لانچ شد (با نرخ معرفی ۲ دلار / ۱۰ دلار تا ۳۱ آگوست ۲۰۲۶). همون Sonnet 4.6 هست. سطح محصول هم همونه: ۲۰۰K context استاندارد، ۱M beta، ۱۰M با context compaction، خروجی text-only، ورودی multimodal. قرارداد API اساساً یکسان با ۴.۶ هست، پس migration برای اکثر کاربرها یه swap نام مدله. بهبود تو post-training و رفتار inference هست، نه تو هیچ‌یک از اهرم‌هایی که developer می‌کشه.

من از این چی برداشتم

من با این سوال رفتم تو که چی عوض شده. با دو تا چیز در اومدم.

اولی یه رابطه صادقانه‌تر با اعلامیه‌های انتشار مدل. پست بلاگ Anthropic تو هر ادعایی درسته، ولی داره داستان کامل رو نمیگه. بخش جالب تو prose نیست. تو system card هست، و system card طوری ساختار یافته که بخش جالب تو یه بخش پنجاه‌صفحه‌ایه که اکثر خواننده‌ها بهش نمی‌رسن. دونستن این یعنی دفعه بعد می‌دونم system card رو بخونم، و می‌دونم وقتی می‌خونم دنبال چی هستم.

دومی فهمش خیلی بهتر از خود benchmarkها. من سال‌هاست درباره AI می‌نویسم و هنوز باید نگاه می‌کردم FrontierCode واقعاً چی رو نمره میده، یا فرق واقعی بین ProgramBench و SWE-bench Multilingual چیه. اسم‌گذاری چیزها با شناختنشون فرق داره. اسم‌های benchmark تقریباً عمدی مبهم طراحی شدن: کوتاه، فنی، و پر از فرض. تیم Anthropic و من از کلمات یکسان برای معنی‌های خیلی متفاوت استفاده می‌کنیم.

اگه تا اینجا خوندی، الان یه vocabulary کارا برای همه benchmarkهای system card Sonnet 5 داری. دفعه بعد که یه انتشار مدل نشست، می‌تونی marketing رو skip کنی و مستقیم system card رو بخونی. می‌دونی ردیف‌ها معنیشون چیه، نمره‌دهی چطور کار می‌کنه، و چرا یه جهش ۱۰ امتیازی رو یه ردیف خبر بزرگ‌تری از جهش ۱۰ امتیازی رو یه ردیف دیگه‌ست.

این همون چیزی بود که می‌خواستم یاد بگیرم. این همون چیزیه که دارم share می‌کنم.

منابع: Introducing Claude Sonnet 5 (Anthropic, ۳۰ ژوئن ۲۰۲۶)، Claude Sonnet 5 System Card (Anthropic، ۳۰ ژوئن ۲۰۲۶، ۱۴۶ صفحه).