۳۱ شهریور ۲۵۸۵ · 10 دقیقه مطالعه
مدل Opus 5.5 با ۴۰٪ قیمت Fable 5.1 ازش جلو میزنه. جدول بنچمارک رو دو بار بخون.
شرکت Anthropic امروز، ۲۲ سپتامبر ۲۰۲۶، مدل Opus 5.5 رو منتشر کرد. دو ماه پیش نوشتم که داستان اصلی Opus 5 تغییرات API بود، نه بنچمارکها. این بار بنچمارکها ارزش یه نگاه دقیقتر رو دارن، یه بخشش چون عددها بزرگن و یه بخشش چون اولین اجرای مستقل همین حالا با یکیشون جور درنمیاد.
اول یه نکته، چون خودم دنبالش گشتم: هنوز خبری از Sonnet 5.5 نیست. اعلامیه میگه Sonnet 5.5 و Haiku 5.5 «طی هفتههای آینده» با بهبودهای مشابه میان. پس این پست فقط دربارهی Opus 5.5 هست، و نسخهی فعلی این خانواده هنوز همون Sonnet 5 هست.
انتخاب سریع
| اگه… | انتخاب | چرا |
|---|---|---|
| سشنهای طولانی کدنویسی ایجنتی اجرا میکنی | Opus 5.5 | توی جدول خود Anthropic در Terminal-Bench 4.0 و FrontierCode اوله، توی اجرای مستقل هم در Terminal-Bench با GPT-6 Astra برابره، با قیمت کمتر |
| برای کارهای کدنویسی قیمت Fable 5.1 رو میدی | Opus 5.5 | امتیاز بالاتر با ۴/۲۰ دلار، در مقابل ۱۰/۵۰ دلاری که برای Fable میدی |
| روی علم ایجنتی یا خودکارسازی گردشکارهای SaaS کار میکنی | GPT-6 Astra رو هم تست کن | این مدل در Terminal-Bench-Science و AutomationBench جلوتره |
به thinking: disabled یا استفادهی اجباری از ابزار وابستهای | تا وقتی مهاجرت نکردی، روی Opus 5 بمون | هر دو حالا خطای ۴۰۰ برمیگردونن |
| منتظر یه ارتقای ارزونتر در ردهی میانی هستی | فعلاً Sonnet 5 | مدل Sonnet 5.5 اعلام شده، ولی منتشر نشده |
جدول خود Anthropic
این مقایسهی کامل از صفحهی معرفی هست:
| بنچمارک | Opus 5.5 | Fable 5.1 | Opus 5 | GPT-6 Astra | GPT-5.6 Sol |
|---|---|---|---|---|---|
| Terminal-Bench 4.0 | ۶۶٫۴٪ | ۵۵٫۸٪ | ۵۲٫۳٪ | ۵۷٫۹٪ | ۳۷٫۳٪ |
| FrontierCode v1.1 (اصلی) | ۵۴٫۴٪ | ۵۰٫۳٪ | ۴۸٫۰٪ | ۵۳٫۳٪ | ۴۷٫۵٪ |
| CursorBench 4.0 | ۵۷٫۸٪ | ۵۱٫۸٪ | ۴۶٫۶٪ | ندارد | ۴۱٫۷٪ |
| GDPval-AA v2.1 (Elo) | ۱۸۴۶ | ۱۷۳۵ | ۱۷۰۸ | ۱۵۴۲ | ۱۵۸۸ |
| AutomationBench | ۴۰٫۰٪ | ۳۱٫۴٪ | ۲۶٫۹٪ | ۴۱٫۴٪ | ۲۸٫۸٪ |
| Humanity’s Last Exam (با ابزار) | ۶۷٫۷٪ | ۶۵٫۶٪ | ۶۳٫۶٪ | ۵۷٫۲٪ | ندارد |
| Terminal-Bench-Science 0.1 | ۵۸٫۷٪ | ۵۲٫۶٪ | ۲۹٫۰٪ | ۶۴٫۶٪ | ۲۲٫۴٪ |
| OSWorld 2.0 (جزئی) | ۸۱٫۸٪ | ۸۰٫۷٪ | ۷۴٫۰٪ | ندارد | ندارد |
| Chartography (با ابزار) | ۸۹٫۰٪ | ۸۸٫۴٪ | ۸۳٫۴٪ | ندارد | ندارد |
تیتر اصلی ردیف اوله. بنچمارک Terminal-Bench ایجنتی رو میسنجه که توی یه شل واقعی روی تسکهای چندمرحلهای کار میکنه، و این نزدیکترین بنچمارک عمومی به کاریه که من واقعاً کل روز با این مدلها انجام میدم. پرش از ۵۲٫۳٪ به ۶۶٫۴٪ توی دو ماه، و ۱۰ امتیاز جلو افتادن از Fable 5.1، بزرگترین جهشی میشد که تا حالا از یه نسخهی تکی روی این بنچمارک دیدم.
بنچمارک بزرگ دیگه GDPval-AA هست. این بنچمارک خروجیهای حرفهای (گزارش، اسپردشیت، تحلیل) رو رودررو امتیاز میده و یه رتبهی Elo گزارش میکنه. اختلاف ۳۰۰ امتیازی با GPT-6 Astra یعنی مدل جدید بیشتر مقایسههای مستقیم رو میبره، نه فقط چندتاشون رو.
دو تا ردیف برعکسن، و Anthropic با این حال منتشرشون کرد، که قدرش رو میدونم. مدل Astra توی AutomationBench (گردشکارهای کسبوکار روی ابزارهای SaaS) ۱٫۴ امتیاز جلوتره، اختلافی کوچیکتر از اونکه اهمیت داشته باشه. توی Terminal-Bench-Science حدود ۶ امتیاز جلوتره، که اگه ایجنتهات محاسبات علمی انجام میدن، مهمه.
اجرای مستقل عددهای کوچیکتری داره
تیم Artificial Analysis همون روز ارزیابیهای خودش رو اجرا کرد. خلاصهشون اینه: Opus 5.5 با بیشترین سطح تلاش (max) توی شاخص Intelligence Index اونها امتیاز ۵۸ میگیره، که بالاترین امتیازیه که تا حالا اندازه گرفتن، اون هم «با چند امتیاز فاصله»، و توی شش تا از ده ارزیابی جزئیشون اوله.
ولی امتیازی که اونها برای Terminal-Bench 4.0 گرفتن ۵۹٫۶٪ هست، نه ۶۶٫۴٪. به حساب Artificial Analysis، این عدد ۱۱ امتیاز بالاتر از اجرای خودشون روی Opus 5 هست و با GPT-6 Astra در سطح تلاش xhigh برابره. چیزی که نشون نمیده، ۱۰ امتیاز جلو بودنه. عددشون برای Humanity’s Last Exam ۶۱٫۴٪ هست، در مقابل ۶۷٫۷٪ که خود سازنده گزارش کرده، هرچند این اختلاف دستکم تا حدی به این خاطره که دو اجرا از تنظیمات ابزار متفاوتی استفاده میکنن.
این طبیعیه. سازندهها هارنس، سطح تلاش و بودجهی زمانی تایماوت رو تنظیم میکنن، و ارزیابهای مستقل برای همهی مدلها از یه هارنس استاندارد استفاده میکنن. هیچکدوم از این دو عدد غلط نیست. دارن چیزهای متفاوتی رو میسنجن: عدد Anthropic نشون میده مدل توی محیطی که براش ساخته شده چه کاری از دستش برمیاد، و عدد Artificial Analysis نشون میده زیر شرایط یکسان کنار بقیه کجا میایسته. اگه داری برای ایجنتهای ترمینالی بین Opus 5.5 و Astra انتخاب میکنی، خلاصهی صادقانه اینه: «برابر، با قیمت کمتر». این هم هنوز نتیجهی خوبیه.
کد کمتر، نه همیشه کد بهتر
شرکت Sonar ارزیابی کیفیت کد خودش رو روی ۴٬۴۴۴ تسک جاوا از مجموعههای HumanEval، MBPP و ComplexCodeEval اجرا کرد و مدل جدید رو با Opus 5 مقایسه کرد. این جالبترین دادهی روز عرضهست، چون میسنجه کد چه شکلیه، نه فقط اینکه از تستها رد میشه یا نه:
- نرخ قبولی کمی پایین اومد: ۸۷٫۷٪ در مقابل ۸۸٫۶٪ برای Opus 5.
- ۲۷٫۵٪ خط کد کمتر برای همون تسکها، و ۴۰٪ توکن خروجی کمتر.
- باگهای سطح blocker به ازای هر میلیون خط ۴۱٪ کم شدن، و آسیبپذیریهای سطح blocker هم ۵۳٪.
- تراکم کلی باگ ۱۲٪ بالا رفت، و مشکلات همزمانی به ازای هر میلیون خط ۴۴٪ بیشتر شدن.
- تراکم کامنت از ۱۰٫۵٪ به ۳٫۱٪ افتاد.
برداشت من اینه که Opus 5.5 کد جمعوجورتری با اشتباههای فاجعهبار کمتر مینویسه، ولی برای هر مسئله خطهای کمتری خرج میکنه، پس باگهایی که میمونن فشردهتر کنار هم قرار میگیرن. عددی که من حواسم بهش هست، عدد همزمانیه. اگه ایجنتهات با Go و goroutine کد مینویسن، یا هر چیزی که وضعیت مشترک داره، اون دیفها رو با دقتی بیشتر از معمول بازبینی کن. کم شدن کامنتها بعضیها رو خوشحال میکنه و بعضیها رو کلافه؛ اگه کامنت میخوای، حالا باید صریحاً درخواستش کنی.
قیمت، و گیرِ کار توی قیمت
قیمت Opus 5.5 ۴ دلار برای هر میلیون توکن ورودی و ۲۰ دلار برای هر میلیون توکن خروجیه، که از ۵/۲۵ دلارِ Opus 5 پایینتره. خوندن از کش از ۰٫۵۰ دلار به ۰٫۲۰ دلار رسیده، پردازش دستهای (batch) نصف قیمته یعنی ۲/۱۰ دلار، و حالت سریع (fast mode) فقط روی Claude API با ۸/۴۰ دلار اجرا میشه. پنجرهی کانتکست یک میلیون توکنی و سقف خروجی ۱۲۸ هزار توکنی تغییری نکردن.
قیمت رسمی Fable 5.1 و GPT-6 Astra هر دو ۱۰/۵۰ دلاره، و تیترهای «۶۰٪ ارزونتر» از همینجا میان. ادعای خود سازنده محتاطتره: حدود ۴۰٪ کمتر از Opus 5 روی بارهای کاری معمول، چون مدل برای هر تسک توکن کمتری هم مصرف میکنه. دادههای Sonar هم این رو تأیید میکنه.
گیر کار، سطح تلاشه. مدل Opus 5.5 در سطح تلاش یکسان، توی هر نوبت بیشتر از Opus 5 فکر میکنه، مخصوصاً در xhigh و max. مقایسهی Kingy AI تخمین میزنه که با سطح تلاش max حدود ۱۱۹٬۰۰۰ توکن خروجی برای هر تسک مصرف میشه، در مقابل حدود ۲۷٬۰۰۰ برای Astra. این عدد رو خودم تأیید نکردم، ولی اگه حتی تقریباً درست باشه، قیمت پایینترِ هر توکن تضمین نمیکنه که با سطح تلاش max صورتحساب کمتری بیاد. سطح تلاش پیشفرض هم از high به medium پایین اومده، پس درخواستی که هیچوقت effort رو تنظیم نکرده، حالا کمتر فکر میکنه، نه بیشتر. صریح تنظیمش کن و هزینهی هر تسک رو اندازه بگیر، نه هزینهی هر توکن رو.
وقتی اسم مدل رو عوض میکنی، چی میشکنه
مدل Opus 5 پیشفرضها رو عوض کرد. مدل Opus 5.5 گزینهها رو حذف میکنه. راهنمای مهاجرت چهار تغییر ناسازگار رو فهرست میکنه، و هر کدوم به جای اینکه بیصدا شکست بخوره، خطای ۴۰۰ برمیگردونه، که دستکم پیدا کردنش رو راحت میکنه:
- دیگه نمیشه تفکر رو خاموش کرد. هم
thinking: {type: "disabled"}و همbudget_tokensدستی رد میشن. حالا تنها کنترل، سطح تلاشه؛ هر جا قبلاً تفکر رو خاموش میکردی، ازlowاستفاده کن. - استفادهی اجباری از ابزار حذف شده. مقدار
anyیاtoolبرایtool_choiceرد میشه. ازautoهمراه باstrict: trueیا خروجیهای ساختاریافته استفاده کن، و اسم ابزار رو توی پرامپت بیار. - بلوکهای تفکر به مدل و مکالمه گره خوردن. توی اکانتهایی که از ۳۱ اوت ۲۰۲۶ به بعد ساخته شدن، اگه بعد از ویرایش پرامپت سیستمی، ابزارها یا یه پیام قبلی، یه بلوک تفکر رو دوباره بفرستی، خطای ۴۰۰ میگیری. مکالمهها رو فقط رو به جلو و اضافهشونده نگه دار.
- ابزار قدیمی
computer_20251124رد میشه، روی Claude API و Google Cloud. برو سراغcomputer_toolset_20260801. سرویس Bedrock هنوز ابزار قدیمی رو قبول میکنه.
تغییر پنجم اصلاً خطا نمیده، و همین باعث میشه راحتتر از همه از چشم بیفته. متن کوتاهی که مدل بین فراخوانیهای ابزار مینویسه، حالا توی بلوکهای thinking میاد، و با تنظیم نمایش پیشفرض، این بلوکها خالیان. اگه رابط کاربریت پیامهای پیشرفت مثل «دارم فایل کانفیگ رو میخونم…» نشون میده، بدون هیچ خطایی ساکت میشه. مقدار thinking.display رو روی "updates" (بتا) بذار تا برگردن.
نکتهی ۳ برای فالبک هم مهمه، همون چیزی که سایت The New Stack تیترش کرد: «ممکنه فراخوانیهای ایجنتت مخفیانه به یه مدل قدیمیتر فرستاده بشن». سازوکار مستندش اینطوریه: مدل Opus 5.5 حالا علاوه بر طبقهبندهای حوزهی سایبری، طبقهبندهای حوزهی زیستشناسی هم اجرا میکنه، و وقتی فالبک سمت سرور فعال باشه، درخواستی که رد شده روی یه مدل دیگه دوباره امتحان میشه. فقط Fable 5.1 و Mythos 5.1 میتونن بلوکهای تفکر Opus 5.5 رو بخونن، پس فالبک به هر مدل دیگهای، مکالمه رو بدون استدلالهای قبلی ادامه میده. این رفتار مستنده، و اختیاریه، ولی اگه روی Opus 5 تنظیم fallbacks: "default" رو فعال کردی و دیگه بهش فکر نکردی، لاگهات رو چک کن ببین در واقع کدوم مدل جواب داده.
کاری که من دارم میکنم
- توی یه برنچ dev به
claude-opus-5-5سوییچ میکنم و دنبال"disabled"،budget_tokensوtool_choiceمیگردم. خطاهای ۴۰۰ از همینها میان. - مقدار
effortرو همهجا صریح تنظیم میکنم. پیشفرض پایین اومده و میزان تفکر در هر سطح بالا رفته، پس هیچ تنظیمی که از قبل مونده، دیگه همون معنی هفتهی پیش رو نداره. - قبل از اینکه ترافیک پروداکشن رو سوییچ کنم، هزینهی هر تسک تکمیلشده رو روی یه بار کاری واقعی با Opus 5 مقایسه میکنم، نه هزینهی هر توکن رو.
- بر اساس عددهای Sonar، یه مرحلهی بازبینی برای کدهای همزمان اضافه میکنم.
- قبل از دست زدن به هر چیزی که روی Sonnet 5 اجرا میشه، منتظر Sonnet 5.5 میمونم. اگه همین الگو رو دنبال کنه، با همین تغییرات ناسازگار میاد.
این مدل یه قدم واقعی رو به جلوئه، و حتی عددهای مستقل هم اون رو توی همهی بنچمارکهای ایجنتی در صدر یا نزدیک صدر میذارن، با قیمتی پایینتر از رقیبهاش. فقط جدول Anthropic برتریش رو بزرگتر از چیزی نشون میده که یه هارنس بیطرف نشون میده. روی «برابر با Astra، ارزونتر، و بهتر توی کارهای دانشی» برنامهریزی کن، و هر چیزی فراتر از این رو جایزه حساب کن.
منابع: Introducing Claude Opus 5.5 (Anthropic، ۲۲ سپتامبر ۲۰۲۶)؛ What’s new in Claude Opus 5.5 و راهنمای مهاجرت (Claude Platform Docs)؛ Artificial Analysis؛ Sonar؛ VentureBeat؛ Kingy AI. این عددها روز عرضه گزارش شدن و هنوز کسی بهطور مستقل بازتولیدشون نکرده.