دیکودینگ حدسی منتشر شد، چون خروجی رو عوض نمی‌کنه.

ai inference speculative-decoding mechanism performance

شرکت Liquid AI روز ۲۰ اوت ۲۰۲۶ مدل LFM2.5-DSpark رو منتشر کرد: سه مدل پیش‌نویس برای سه مدل هدف، یعنی LFM2.5-1.2B-Instruct، LFM2.5-2.6B و LFM2.5-8B-A1B (یه مدل MoE)، همه با لایسنس lfm1.0. عددهای اصلی خبر این‌هان: در مقایسه با مدل هدفِ ۲٫۶ میلیارد پارامتری، میانگین افزایش سرعت روی H100 به ۲٫۶۷ برابر و روی M4 Max به ۲٫۲۷ برابر می‌رسه، و اوجش هم ۳٫۰۶ برابره، روی MATH500. ولی این عدد کم‌اهمیت‌ترین بخش این انتشاره. بخش جالب اینه که اصلاً چرا چنین انتشاری ممکنه، اون هم روی پروداکشن و از همون روز اول، بدون گسترش مجموعه‌ی ارزیابی و بدون برنامه‌ای برای رول‌بک.

دیکودینگ حدسی چیه

الگوش ساده‌ست. یه مدل پیش‌نویسِ کوچیک یه دنباله‌ی کوتاه از توکن‌ها پیشنهاد می‌ده؛ مدل هدف همه رو موازی وارسی می‌کنه، هر کدوم که جور دربیاد رو می‌پذیره، بقیه رو رد می‌کنه، و از اولین جایی که رد شده ادامه می‌ده. هر دور با سه عدد توصیف می‌شه: طول پیش‌نویس (مدل پیش‌نویس توی هر قدم چند توکن پیشنهاد می‌ده)، نرخ پذیرش (وارسی‌کننده چند تاش رو قبول می‌کنه)، و توکن مؤثر در هر قدم (افزایش واقعیِ توان عملیاتی).

ویژگی حیاتی، دقیق بودن با دیکودینگ حریصانه‌ست. وقتی وارسی‌کننده از argmax استفاده می‌کنه و یه توکن پیش‌نویس رو می‌پذیره، اون توکن بایت به بایت همونیه که مدل هدف به‌تنهایی تولید می‌کرد. جریان خروجی هم بایت به بایت با دیکودینگ حریصانه‌ی بدون حدس یکیه. کل خانواده‌ی EAGLE، Medusa، DFlash و DSpark روی همین ویژگی حساب باز کردن. بدون این ویژگی، دیکودینگ حدسی یه سود بی‌هزینه نبود؛ می‌شد یه مسئله‌ی کوانتیزه‌سازی با ابزارهای بدتر.

مدل DSpark واقعاً چی کار می‌کنه

تصمیم طراحیِ جالب، چیزیه که توش نیست. مقاله‌ی این کار (arXiv:2607.05147، از Cheng و همکاران، DeepSeek-AI و PKU) یه پیش‌نویس با هد مارکوف و زمان‌بندی بر اساس اطمینان رو توصیف می‌کنه که روی تبار DFlash / EAGLE-3 ساخته شده. یه زمان‌بند اطمینان هم ساخته بودن تا موقع استنتاج، پیش‌نویس‌های کم‌اطمینان رو پویا کوتاه کنه. ولی خاموش گذاشتنش. کوتاه‌کردن پویا بیشتر ضرر داشت تا فایده. مدل DSpark نسخه‌ی ساده‌تر و ایستا رو منتشر می‌کنه، چون همون نسخه‌ی ساده روی بنچمارک‌های واقعی می‌بره.

این یه موضع‌گیریه. خانواده‌ی دیکودینگ حدسی سه نسله که دنبال تطبیق پویاست. مدل EAGLE-2 ایده‌ی درخت توکن‌ها رو آورد: مدل پیش‌نویس توی نقطه‌های انشعاب چند گزینه پیشنهاد می‌ده و وارسی‌کننده بلندترین پیشوندِ پذیرفته‌شده رو انتخاب می‌کنه. مدل EAGLE-3 هد رو بهتر کرد؛ مدل DFlash (arXiv:2602.06036) هد مارکوف رو به یه سازوکار با زمان‌بندی بر اساس اطمینان تعمیم داد. مدل DSpark ایستا منتشر می‌شه. سازوکار پویا ساخته شده و خاموش مونده. نسخه‌ی ایستا برنده شد. وقتی یه خانواده سه نسل داره بالا می‌ره و انتشار جدید نسخه‌ی پایه رو بیرون می‌ده، این موضع‌گیری معنی داره.

عددها

ستون فقرات این بحث همین جدوله.

مدل هدفِ پیش‌نویسطول پذیرشمیانگین H100میانگین M4 Maxاوج MATH500
LFM2.5-1.2B-Instruct————
LFM2.5-2.6B۴٫۸۱۲٫۶۷×۲٫۲۷×۳٫۰۶×
LFM2.5-8B-A1B (MoE)——۱٫۱۸×—

دو مورد دیگه هم ارزش گفتن دارن. تأخیر فراخوانی تابع روی BFCL: روی M4 Max و در مقایسه با مدل هدفِ ۲٫۶ میلیارد پارامتری، این تأخیر ۵۷٪ کمتر شده (بنچمارک BFCL توی PMLR v267 اومده). وارسی با زمان‌بندی بر اساس اطمینان: ساخته شده ولی استفاده نشده؛ چک‌پوینتی که منتشر شده پیش‌نویس ایستا داره.

ضعف واقعی توی ردیف 8B-A1B روی M4 Max دیده می‌شه: ۱٫۱۸ برابر. مسیریابی MoE به‌اضافه‌ی پهنای باند حافظه‌ای که مدل پیش‌نویس لازم داره، باس حافظه‌ی یکپارچه رو قبل از این‌که مسیر پیش‌نویس به کار بیاد پر می‌کنه. با این حال پیش‌نویس 8B-A1B رو هم منتشر کردن و کار درستی کردن: یه عدد صادقانه روی یه بار کاری واقعی از عددی که دستچین شده به‌دردبخورتره. پیش‌نویس 8B-A1B بی‌استفاده نیست؛ فقط عدد اصلی خبر نیست.

چرا دقیق بودن با دیکودینگ حریصانه همه‌ی ماجراست

قاعده‌ای که به همه‌جا می‌شه برد اینه: هر بهینه‌سازی استنتاجی که خروجی رو عوض نکنه، یه سود بی‌هزینه‌ست. خروجی A و B یکیه، لازم نیست مجموعه‌ی ارزیابی رو دوباره اجرا کنی، لازم نیست تریس‌های مرجع رو برای رگرسیون نگه داری، و برنامه‌ی رول‌بک هم نمی‌خواد. بهینه‌سازی‌هایی که خروجی رو عوض می‌کنن (کوانتیزه‌سازی بعد از آموزش، تقطیر دانش، هرس، ادغام کرنل‌ها با رانش عددی) مجموعه‌ی ارزیابی، تریس مرجع و برنامه‌ی رول‌بک لازم دارن. دیکودینگ حدسی با دیکودینگ حریصانه هیچ‌کدوم از این‌ها رو لازم نداره.

حساب هزینه‌ها نامتقارنه. چیزی که دقیقه، منتشر می‌شه. چیزی که دقیق نیست، بودجه لازم داره. برای همینه که هر استک سرو کردن مدل که روی پروداکشن راه انداختم یا بررسی کردم، دیکودینگ حدسی رو روی مسیر اصلی و پرترافیکش داره، و تقریباً هیچ‌کدوم کوانتیزه‌سازی بعد از آموزش رو بدون دروازه‌ی ارزیابی روی اون مسیر نداره. این تصمیم بر اساس عددهای افزایش سرعت گرفته نشد؛ بر اساس این گرفته شد که تغییر به دروازه‌ی کیفیت نیاز داره یا نه. دیکودینگ حدسی نیاز نداره. اون ۲٫۶۷ برابر جایزه‌ست.

این درست نقطه‌ی مقابل ماجرای کانفیگیه که بایت به بایت یکی بود و باز هم خراب بود. اون‌جا کانفیگی که از نو ساخته شده بود بایت به بایت با کانفیگ در حال اجرا یکی بود و باز هم موقع راه‌اندازی از کار افتاد، چون یکی بودن بایت به بایت فقط ثابت می‌کرد کپی به منبعش وفاداره، نه این‌که برای نسخه‌ی هدف معتبره. این‌جا یکی بودن بایت به بایت همون ویژگی‌ایه که کل کار روش بنا شده، و با همون تنظیم مشخصی از دیکودر که این خانواده هدف گرفته (حریصانه) دقیق هم هست. هر دو پست درباره‌ی فاصله‌ی بین ویژگی‌ای‌ان که سیستم ادعا می‌کنه داره و ویژگی‌ای که واقعاً داره. مدل DSpark اون طرفیه که ادعا با ویژگی می‌خونه. به همین دلیله که می‌تونه با لایسنس lfm1.0 منتشر بشه، در حالی که یکپارچه‌سازیش با SGLang در جریانه (PR #31041) و کرنل‌های Metal هم توی llama.cpp هست.

کجا این قاعده عمومیت پیدا می‌کنه

یه آزمون هست که می‌خوام با خودت ببری. وقتی داری یه بهینه‌سازی استنتاج رو ارزیابی می‌کنی، یه سؤال بپرس: با دیکودینگ حریصانه خروجی رو عوض می‌کنه یا نه؟

اگه نه، بدون مجموعه‌ی ارزیابی منتشرش کن. اگه آره، براش بودجه بذار.

این سؤال تا دو سال آینده سر هر تصمیمی درباره‌ی سرو کردن مدل پیش میاد: فشرده‌سازی KV-cache، توجه صفحه‌بندی‌شده (paged attention)، بچینگ پیوسته، کش کردن پیشوند، کرنل‌های کوانتیزه‌سازی، مدل‌های پیش‌نویس، هرس کردن اکسپرت‌های MoE. هر کدوم یا خروجی رو عوض می‌کنن یا نمی‌کنن، و همین یه ویژگی تعیین می‌کنه که راه‌اندازیش دروازه‌ی کیفیت لازم داره یا نه. تا وقتی جواب این سؤال معلوم نشده، افزایش سرعت اهمیتی نداره. بیشتر وقت‌ها جواب «نه» هست (بهینه‌سازی با دیکودینگ حریصانه دقیقه) و همین جواب یعنی چراغ سبز. بعضی وقت‌ها جواب «آره» هست، و سؤال این می‌شه که افزایش سرعت به هزینه‌ی مجموعه‌ی ارزیابی می‌ارزه یا نه. هر دو سؤال بعد از سؤال اول میان.

تله

تله اینه که عددهای افزایش سرعت رو نتیجه بدونی. این‌ها اثر جانبی‌ان. نتیجه اینه که Liquid AI سه مدل پیش‌نویس با یه لایسنس سهل‌گیرانه، برای سه اندازه‌ی مختلف از مدل هدف، از روز اول منتشر کرد، با یکپارچه‌سازیِ در جریان با SGLang و کرنل‌های Metal توی llama.cpp. نتیجه اینه که گلوگاه سرو کردن LFM2.5 روی Apple Silicon دیگه پردازش نیست؛ پهنای باند حافظه روی مسیر پیش‌نویسه. نتیجه اینه که یه زمان‌بند اطمینان ساخته شد، ارزیابی شد و خاموش موند، چون نسخه‌ی ایستا انتخاب درستی بود.

ویژگی‌های پیدا (دقیق بودن با دیکودینگ حریصانه) منتشر شدن. ویژگی‌های پنهان (تطبیق پویا) کنار گذاشته شدن. کل این انتشار یه استدلال واحده: این تکنیک قابل انتشاره چون ویژگی‌ای که ادعا می‌کنه همون ویژگی‌ایه که داره، و ادعاش دقیق بودن با یه دیکودر مشخصه. دیکودینگ حدسی همیشه همین ادعا رو داشته. مدل DSpark انتشاریه که توش ادعا با بنچمارک می‌خونه، بنچمارک با بار کاری، و بار کاری با استک پروداکشن. ۲٫۶۷ برابر تیتر خبره. یکی بودن بایت به بایت نتیجه‌ست.

$ cat AI .md
· 9 دقیقه مطالعه

یه مدل کدنویسی 30B روی یه مینی‌پی‌سی بدون GPU. ۱۷ توکن در ثانیه، و محدودیت اصلی پرامپته.

مدل Qwen3-Coder 30B رو روی مینی‌پی‌سی‌ای گذاشتم که همیشه روشنه و هارنس ایجنت‌هام روش اجرا می‌شه، بدون GPU. با حدود ۱۷ توکن در ثانیه می‌نویسه، که قابل‌استفاده به نظر میاد. محدودیت واقعی خوندن پرامپته: یه کانتکست ۱۰ هزار توکنی حدود دو دقیقه و نیم طول می‌کشه تا اولین کلمه بیاد. این‌جا عددها رو می‌گم، تنظیم‌هایی که کمکی نکردن، و چیزی که کمک می‌کنه.

ai self-hosting local-llm ollama performance
$ cat AI .md
· 10 دقیقه مطالعه

استودیوی ویدیوی من کده. یه بنچمارک جدید ایجنت‌ها رو روی همین کار سنجید.

استودیوی AgenticStudio کدیه که کانال یوتیوبم رو می‌گردونه: شورت‌های روزانه، یه دایجست یکشنبه‌ها، یه برنامه‌ی مناظره‌ی کارتونی و یه جعبه‌ابزار برای ویدیوهایی که خودم اجراشون می‌کنم. هیچ فریمی از یه مدل ویدیو نمیاد. بنچمارک VibeVideoBench تازه پیشرفته‌ترین ایجنت‌ها رو روی ساخت ویدیو با کد سنجیده. این‌جا می‌گم سیستم من کنار اون‌ها کجا می‌ایسته، و اون یه چیزی که هیچ بنچمارکی نمی‌تونه بهت بگه.

ai agents video automation benchmarks
$ cat AGENTS .md
· 7 دقیقه مطالعه

چرا Hermes Agent رو کنار گذاشتم و هارنس خودم رو ساختم

ژوئیه نوشته بودم که Hermes Agent کارهای پشت‌صحنه‌ی زندگی دیجیتالم رو می‌گردونه. ۱۸ اکتبر خاموشش کردم و جاش یه هارنس کوچیک گذاشتم: چند تا پایپ‌لاین ثابت، یه درِ کنترل‌شده به سمت مدل‌ها، و یه لیست مجاز برای هر کار. این‌جا می‌گم چرا، این بازنویسی چقدر برام تموم شد، و کِی هنوز هم یه ایجنت همه‌منظوره رو انتخاب می‌کنم.

agents ai self-hosting architecture harness