مدل Opus 5.5 با ۴۰٪ قیمت Fable 5.1 ازش جلو می‌زنه. جدول بنچمارک رو دو بار بخون.

ai llm anthropic claude opus benchmarks

شرکت Anthropic امروز، ۲۲ سپتامبر ۲۰۲۶، مدل Opus 5.5 رو منتشر کرد. دو ماه پیش نوشتم که داستان اصلی Opus 5 تغییرات API بود، نه بنچمارک‌ها. این بار بنچمارک‌ها ارزش یه نگاه دقیق‌تر رو دارن، یه بخشش چون عددها بزرگن و یه بخشش چون اولین اجرای مستقل همین حالا با یکی‌شون جور درنمیاد.

اول یه نکته، چون خودم دنبالش گشتم: هنوز خبری از Sonnet 5.5 نیست. اعلامیه می‌گه Sonnet 5.5 و Haiku 5.5 «طی هفته‌های آینده» با بهبودهای مشابه میان. پس این پست فقط درباره‌ی Opus 5.5 هست، و نسخه‌ی فعلی این خانواده هنوز همون Sonnet 5 هست.

انتخاب سریع

اگه…انتخابچرا
سشن‌های طولانی کدنویسی ایجنتی اجرا می‌کنیOpus 5.5توی جدول خود Anthropic در Terminal-Bench 4.0 و FrontierCode اوله، توی اجرای مستقل هم در Terminal-Bench با GPT-6 Astra برابره، با قیمت کمتر
برای کارهای کدنویسی قیمت Fable 5.1 رو می‌دیOpus 5.5امتیاز بالاتر با ۴/۲۰ دلار، در مقابل ۱۰/۵۰ دلاری که برای Fable می‌دی
روی علم ایجنتی یا خودکارسازی گردش‌کارهای SaaS کار می‌کنیGPT-6 Astra رو هم تست کناین مدل در Terminal-Bench-Science و AutomationBench جلوتره
به thinking: disabled یا استفاده‌ی اجباری از ابزار وابسته‌ایتا وقتی مهاجرت نکردی، روی Opus 5 بمونهر دو حالا خطای ۴۰۰ برمی‌گردونن
منتظر یه ارتقای ارزون‌تر در رده‌ی میانی هستیفعلاً Sonnet 5مدل Sonnet 5.5 اعلام شده، ولی منتشر نشده

جدول خود Anthropic

این مقایسه‌ی کامل از صفحه‌ی معرفی هست:

بنچمارکOpus 5.5Fable 5.1Opus 5GPT-6 AstraGPT-5.6 Sol
Terminal-Bench 4.0۶۶٫۴٪۵۵٫۸٪۵۲٫۳٪۵۷٫۹٪۳۷٫۳٪
FrontierCode v1.1 (اصلی)۵۴٫۴٪۵۰٫۳٪۴۸٫۰٪۵۳٫۳٪۴۷٫۵٪
CursorBench 4.0۵۷٫۸٪۵۱٫۸٪۴۶٫۶٪ندارد۴۱٫۷٪
GDPval-AA v2.1 (Elo)۱۸۴۶۱۷۳۵۱۷۰۸۱۵۴۲۱۵۸۸
AutomationBench۴۰٫۰٪۳۱٫۴٪۲۶٫۹٪۴۱٫۴٪۲۸٫۸٪
Humanity’s Last Exam (با ابزار)۶۷٫۷٪۶۵٫۶٪۶۳٫۶٪۵۷٫۲٪ندارد
Terminal-Bench-Science 0.1۵۸٫۷٪۵۲٫۶٪۲۹٫۰٪۶۴٫۶٪۲۲٫۴٪
OSWorld 2.0 (جزئی)۸۱٫۸٪۸۰٫۷٪۷۴٫۰٪نداردندارد
Chartography (با ابزار)۸۹٫۰٪۸۸٫۴٪۸۳٫۴٪نداردندارد

تیتر اصلی ردیف اوله. بنچمارک Terminal-Bench ایجنتی رو می‌سنجه که توی یه شل واقعی روی تسک‌های چندمرحله‌ای کار می‌کنه، و این نزدیک‌ترین بنچمارک عمومی به کاریه که من واقعاً کل روز با این مدل‌ها انجام می‌دم. پرش از ۵۲٫۳٪ به ۶۶٫۴٪ توی دو ماه، و ۱۰ امتیاز جلو افتادن از Fable 5.1، بزرگ‌ترین جهشی می‌شد که تا حالا از یه نسخه‌ی تکی روی این بنچمارک دیدم.

بنچمارک بزرگ دیگه GDPval-AA هست. این بنچمارک خروجی‌های حرفه‌ای (گزارش، اسپردشیت، تحلیل) رو رودررو امتیاز می‌ده و یه رتبه‌ی Elo گزارش می‌کنه. اختلاف ۳۰۰ امتیازی با GPT-6 Astra یعنی مدل جدید بیشتر مقایسه‌های مستقیم رو می‌بره، نه فقط چندتاشون رو.

دو تا ردیف برعکسن، و Anthropic با این حال منتشرشون کرد، که قدرش رو می‌دونم. مدل Astra توی AutomationBench (گردش‌کارهای کسب‌وکار روی ابزارهای SaaS) ۱٫۴ امتیاز جلوتره، اختلافی کوچیک‌تر از اونکه اهمیت داشته باشه. توی Terminal-Bench-Science حدود ۶ امتیاز جلوتره، که اگه ایجنت‌هات محاسبات علمی انجام می‌دن، مهمه.

اجرای مستقل عددهای کوچیک‌تری داره

تیم Artificial Analysis همون روز ارزیابی‌های خودش رو اجرا کرد. خلاصه‌شون اینه: Opus 5.5 با بیشترین سطح تلاش (max) توی شاخص Intelligence Index اون‌ها امتیاز ۵۸ می‌گیره، که بالاترین امتیازیه که تا حالا اندازه گرفتن، اون هم «با چند امتیاز فاصله»، و توی شش تا از ده ارزیابی جزئی‌شون اوله.

ولی امتیازی که اون‌ها برای Terminal-Bench 4.0 گرفتن ۵۹٫۶٪ هست، نه ۶۶٫۴٪. به حساب Artificial Analysis، این عدد ۱۱ امتیاز بالاتر از اجرای خودشون روی Opus 5 هست و با GPT-6 Astra در سطح تلاش xhigh برابره. چیزی که نشون نمی‌ده، ۱۰ امتیاز جلو بودنه. عددشون برای Humanity’s Last Exam ۶۱٫۴٪ هست، در مقابل ۶۷٫۷٪ که خود سازنده گزارش کرده، هرچند این اختلاف دست‌کم تا حدی به این خاطره که دو اجرا از تنظیمات ابزار متفاوتی استفاده می‌کنن.

این طبیعیه. سازنده‌ها هارنس، سطح تلاش و بودجه‌ی زمانی تایم‌اوت رو تنظیم می‌کنن، و ارزیاب‌های مستقل برای همه‌ی مدل‌ها از یه هارنس استاندارد استفاده می‌کنن. هیچ‌کدوم از این دو عدد غلط نیست. دارن چیزهای متفاوتی رو می‌سنجن: عدد Anthropic نشون می‌ده مدل توی محیطی که براش ساخته شده چه کاری از دستش برمیاد، و عدد Artificial Analysis نشون می‌ده زیر شرایط یکسان کنار بقیه کجا می‌ایسته. اگه داری برای ایجنت‌های ترمینالی بین Opus 5.5 و Astra انتخاب می‌کنی، خلاصه‌ی صادقانه اینه: «برابر، با قیمت کمتر». این هم هنوز نتیجه‌ی خوبیه.

کد کمتر، نه همیشه کد بهتر

شرکت Sonar ارزیابی کیفیت کد خودش رو روی ۴٬۴۴۴ تسک جاوا از مجموعه‌های HumanEval، MBPP و ComplexCodeEval اجرا کرد و مدل جدید رو با Opus 5 مقایسه کرد. این جالب‌ترین داده‌ی روز عرضه‌ست، چون می‌سنجه کد چه شکلیه، نه فقط اینکه از تست‌ها رد می‌شه یا نه:

  • نرخ قبولی کمی پایین اومد: ۸۷٫۷٪ در مقابل ۸۸٫۶٪ برای Opus 5.
  • ۲۷٫۵٪ خط کد کمتر برای همون تسک‌ها، و ۴۰٪ توکن خروجی کمتر.
  • باگ‌های سطح blocker به ازای هر میلیون خط ۴۱٪ کم شدن، و آسیب‌پذیری‌های سطح blocker هم ۵۳٪.
  • تراکم کلی باگ ۱۲٪ بالا رفت، و مشکلات همزمانی به ازای هر میلیون خط ۴۴٪ بیشتر شدن.
  • تراکم کامنت از ۱۰٫۵٪ به ۳٫۱٪ افتاد.

برداشت من اینه که Opus 5.5 کد جمع‌وجورتری با اشتباه‌های فاجعه‌بار کمتر می‌نویسه، ولی برای هر مسئله خط‌های کمتری خرج می‌کنه، پس باگ‌هایی که می‌مونن فشرده‌تر کنار هم قرار می‌گیرن. عددی که من حواسم بهش هست، عدد همزمانیه. اگه ایجنت‌هات با Go و goroutine کد می‌نویسن، یا هر چیزی که وضعیت مشترک داره، اون دیف‌ها رو با دقتی بیشتر از معمول بازبینی کن. کم شدن کامنت‌ها بعضی‌ها رو خوشحال می‌کنه و بعضی‌ها رو کلافه؛ اگه کامنت می‌خوای، حالا باید صریحاً درخواستش کنی.

قیمت، و گیرِ کار توی قیمت

قیمت Opus 5.5 ۴ دلار برای هر میلیون توکن ورودی و ۲۰ دلار برای هر میلیون توکن خروجیه، که از ۵/۲۵ دلارِ Opus 5 پایین‌تره. خوندن از کش از ۰٫۵۰ دلار به ۰٫۲۰ دلار رسیده، پردازش دسته‌ای (batch) نصف قیمته یعنی ۲/۱۰ دلار، و حالت سریع (fast mode) فقط روی Claude API با ۸/۴۰ دلار اجرا می‌شه. پنجره‌ی کانتکست یک میلیون توکنی و سقف خروجی ۱۲۸ هزار توکنی تغییری نکردن.

قیمت رسمی Fable 5.1 و GPT-6 Astra هر دو ۱۰/۵۰ دلاره، و تیترهای «۶۰٪ ارزون‌تر» از همین‌جا میان. ادعای خود سازنده محتاط‌تره: حدود ۴۰٪ کمتر از Opus 5 روی بارهای کاری معمول، چون مدل برای هر تسک توکن کمتری هم مصرف می‌کنه. داده‌های Sonar هم این رو تأیید می‌کنه.

گیر کار، سطح تلاشه. مدل Opus 5.5 در سطح تلاش یکسان، توی هر نوبت بیشتر از Opus 5 فکر می‌کنه، مخصوصاً در xhigh و max. مقایسه‌ی Kingy AI تخمین می‌زنه که با سطح تلاش max حدود ۱۱۹٬۰۰۰ توکن خروجی برای هر تسک مصرف می‌شه، در مقابل حدود ۲۷٬۰۰۰ برای Astra. این عدد رو خودم تأیید نکردم، ولی اگه حتی تقریباً درست باشه، قیمت پایین‌ترِ هر توکن تضمین نمی‌کنه که با سطح تلاش max صورت‌حساب کمتری بیاد. سطح تلاش پیش‌فرض هم از high به medium پایین اومده، پس درخواستی که هیچ‌وقت effort رو تنظیم نکرده، حالا کمتر فکر می‌کنه، نه بیشتر. صریح تنظیمش کن و هزینه‌ی هر تسک رو اندازه بگیر، نه هزینه‌ی هر توکن رو.

وقتی اسم مدل رو عوض می‌کنی، چی می‌شکنه

مدل Opus 5 پیش‌فرض‌ها رو عوض کرد. مدل Opus 5.5 گزینه‌ها رو حذف می‌کنه. راهنمای مهاجرت چهار تغییر ناسازگار رو فهرست می‌کنه، و هر کدوم به جای اینکه بی‌صدا شکست بخوره، خطای ۴۰۰ برمی‌گردونه، که دست‌کم پیدا کردنش رو راحت می‌کنه:

  1. دیگه نمی‌شه تفکر رو خاموش کرد. هم thinking: {type: "disabled"} و هم budget_tokens دستی رد می‌شن. حالا تنها کنترل، سطح تلاشه؛ هر جا قبلاً تفکر رو خاموش می‌کردی، از low استفاده کن.
  2. استفاده‌ی اجباری از ابزار حذف شده. مقدار any یا tool برای tool_choice رد می‌شه. از auto همراه با strict: true یا خروجی‌های ساختاریافته استفاده کن، و اسم ابزار رو توی پرامپت بیار.
  3. بلوک‌های تفکر به مدل و مکالمه گره خوردن. توی اکانت‌هایی که از ۳۱ اوت ۲۰۲۶ به بعد ساخته شدن، اگه بعد از ویرایش پرامپت سیستمی، ابزارها یا یه پیام قبلی، یه بلوک تفکر رو دوباره بفرستی، خطای ۴۰۰ می‌گیری. مکالمه‌ها رو فقط رو به جلو و اضافه‌شونده نگه دار.
  4. ابزار قدیمی computer_20251124 رد می‌شه، روی Claude API و Google Cloud. برو سراغ computer_toolset_20260801. سرویس Bedrock هنوز ابزار قدیمی رو قبول می‌کنه.

تغییر پنجم اصلاً خطا نمی‌ده، و همین باعث می‌شه راحت‌تر از همه از چشم بیفته. متن کوتاهی که مدل بین فراخوانی‌های ابزار می‌نویسه، حالا توی بلوک‌های thinking میاد، و با تنظیم نمایش پیش‌فرض، این بلوک‌ها خالی‌ان. اگه رابط کاربریت پیام‌های پیشرفت مثل «دارم فایل کانفیگ رو می‌خونم…» نشون می‌ده، بدون هیچ خطایی ساکت می‌شه. مقدار thinking.display رو روی "updates" (بتا) بذار تا برگردن.

نکته‌ی ۳ برای فال‌بک هم مهمه، همون چیزی که سایت The New Stack تیترش کرد: «ممکنه فراخوانی‌های ایجنتت مخفیانه به یه مدل قدیمی‌تر فرستاده بشن». سازوکار مستندش این‌طوریه: مدل Opus 5.5 حالا علاوه بر طبقه‌بندهای حوزه‌ی سایبری، طبقه‌بندهای حوزه‌ی زیست‌شناسی هم اجرا می‌کنه، و وقتی فال‌بک سمت سرور فعال باشه، درخواستی که رد شده روی یه مدل دیگه دوباره امتحان می‌شه. فقط Fable 5.1 و Mythos 5.1 می‌تونن بلوک‌های تفکر Opus 5.5 رو بخونن، پس فال‌بک به هر مدل دیگه‌ای، مکالمه رو بدون استدلال‌های قبلی ادامه می‌ده. این رفتار مستنده، و اختیاریه، ولی اگه روی Opus 5 تنظیم fallbacks: "default" رو فعال کردی و دیگه بهش فکر نکردی، لاگ‌هات رو چک کن ببین در واقع کدوم مدل جواب داده.

کاری که من دارم می‌کنم

  1. توی یه برنچ dev به claude-opus-5-5 سوییچ می‌کنم و دنبال "disabled"، budget_tokens و tool_choice می‌گردم. خطاهای ۴۰۰ از همین‌ها میان.
  2. مقدار effort رو همه‌جا صریح تنظیم می‌کنم. پیش‌فرض پایین اومده و میزان تفکر در هر سطح بالا رفته، پس هیچ تنظیمی که از قبل مونده، دیگه همون معنی هفته‌ی پیش رو نداره.
  3. قبل از اینکه ترافیک پروداکشن رو سوییچ کنم، هزینه‌ی هر تسک تکمیل‌شده رو روی یه بار کاری واقعی با Opus 5 مقایسه می‌کنم، نه هزینه‌ی هر توکن رو.
  4. بر اساس عددهای Sonar، یه مرحله‌ی بازبینی برای کدهای همزمان اضافه می‌کنم.
  5. قبل از دست زدن به هر چیزی که روی Sonnet 5 اجرا می‌شه، منتظر Sonnet 5.5 می‌مونم. اگه همین الگو رو دنبال کنه، با همین تغییرات ناسازگار میاد.

این مدل یه قدم واقعی رو به جلوئه، و حتی عددهای مستقل هم اون رو توی همه‌ی بنچمارک‌های ایجنتی در صدر یا نزدیک صدر می‌ذارن، با قیمتی پایین‌تر از رقیب‌هاش. فقط جدول Anthropic برتریش رو بزرگ‌تر از چیزی نشون می‌ده که یه هارنس بی‌طرف نشون می‌ده. روی «برابر با Astra، ارزون‌تر، و بهتر توی کارهای دانشی» برنامه‌ریزی کن، و هر چیزی فراتر از این رو جایزه حساب کن.


منابع: Introducing Claude Opus 5.5 (Anthropic، ۲۲ سپتامبر ۲۰۲۶)؛ What’s new in Claude Opus 5.5 و راهنمای مهاجرت (Claude Platform Docs)؛ Artificial Analysis؛ Sonar؛ VentureBeat؛ Kingy AI. این عددها روز عرضه گزارش شدن و هنوز کسی به‌طور مستقل بازتولیدشون نکرده.

$ cat AI .md
· 10 دقیقه مطالعه

مدل Opus 5 با نصف قیمت Fable 5 اومد. بنچمارک‌ها عالی‌ان، ولی داستان اصلی تغییرات API هست.

مدل Opus 5 روز ۲۴ ژوئیه به‌عنوان مدل پیش‌فرض جدید Anthropic عرضه شد. جدول بنچمارکش با نصف هزینه، فقط به اندازه‌ی یه خطای گرد کردن با Fable 5 فاصله داره. ولی چیزی که واقعاً روزت رو عوض می‌کنه بی‌سروصداتره: تفکر حالا به‌طور پیش‌فرض روشنه، و این چند تا از فرض‌هایی رو که از زمان Opus 4.8 با خودت داری به‌هم می‌ریزه.

ai llm anthropic claude opus
$ cat AI .md
· 18 دقیقه مطالعه

مدل Sonnet 5 اومد. پرسیدم چی عوض شده. این چیزیه که واقعاً یاد گرفتم.

می‌خواستم بدونم بین Sonnet 5 و Sonnet 4.6 از نظر معماری چی عوض شده. شرکت Anthropic چیزی نمی‌گه. پس سیستم کارت ۱۴۶ صفحه‌ای رو خوندم، و آخرش یه راهنمای ساده و به زبون آدمیزاد برای همه‌ی بنچمارک‌هاش نوشتم.

ai llm anthropic claude benchmarks
$ cat AI .md
· 10 دقیقه مطالعه

استودیوی ویدیوی من کده. یه بنچمارک جدید ایجنت‌ها رو روی همین کار سنجید.

استودیوی AgenticStudio کدیه که کانال یوتیوبم رو می‌گردونه: شورت‌های روزانه، یه دایجست یکشنبه‌ها، یه برنامه‌ی مناظره‌ی کارتونی و یه جعبه‌ابزار برای ویدیوهایی که خودم اجراشون می‌کنم. هیچ فریمی از یه مدل ویدیو نمیاد. بنچمارک VibeVideoBench تازه پیشرفته‌ترین ایجنت‌ها رو روی ساخت ویدیو با کد سنجیده. این‌جا می‌گم سیستم من کنار اون‌ها کجا می‌ایسته، و اون یه چیزی که هیچ بنچمارکی نمی‌تونه بهت بگه.

ai agents video automation benchmarks