۲۹ مرداد ۲۵۸۵ · 7 دقیقه مطالعه
دیکودینگ حدسی منتشر شد، چون خروجی رو عوض نمیکنه.
شرکت Liquid AI روز ۲۰ اوت ۲۰۲۶ مدل LFM2.5-DSpark رو منتشر کرد: سه مدل پیشنویس برای سه مدل هدف، یعنی LFM2.5-1.2B-Instruct، LFM2.5-2.6B و LFM2.5-8B-A1B (یه مدل MoE)، همه با لایسنس lfm1.0. عددهای اصلی خبر اینهان: در مقایسه با مدل هدفِ ۲٫۶ میلیارد پارامتری، میانگین افزایش سرعت روی H100 به ۲٫۶۷ برابر و روی M4 Max به ۲٫۲۷ برابر میرسه، و اوجش هم ۳٫۰۶ برابره، روی MATH500. ولی این عدد کماهمیتترین بخش این انتشاره. بخش جالب اینه که اصلاً چرا چنین انتشاری ممکنه، اون هم روی پروداکشن و از همون روز اول، بدون گسترش مجموعهی ارزیابی و بدون برنامهای برای رولبک.
دیکودینگ حدسی چیه
الگوش سادهست. یه مدل پیشنویسِ کوچیک یه دنبالهی کوتاه از توکنها پیشنهاد میده؛ مدل هدف همه رو موازی وارسی میکنه، هر کدوم که جور دربیاد رو میپذیره، بقیه رو رد میکنه، و از اولین جایی که رد شده ادامه میده. هر دور با سه عدد توصیف میشه: طول پیشنویس (مدل پیشنویس توی هر قدم چند توکن پیشنهاد میده)، نرخ پذیرش (وارسیکننده چند تاش رو قبول میکنه)، و توکن مؤثر در هر قدم (افزایش واقعیِ توان عملیاتی).
ویژگی حیاتی، دقیق بودن با دیکودینگ حریصانهست. وقتی وارسیکننده از argmax استفاده میکنه و یه توکن پیشنویس رو میپذیره، اون توکن بایت به بایت همونیه که مدل هدف بهتنهایی تولید میکرد. جریان خروجی هم بایت به بایت با دیکودینگ حریصانهی بدون حدس یکیه. کل خانوادهی EAGLE، Medusa، DFlash و DSpark روی همین ویژگی حساب باز کردن. بدون این ویژگی، دیکودینگ حدسی یه سود بیهزینه نبود؛ میشد یه مسئلهی کوانتیزهسازی با ابزارهای بدتر.
مدل DSpark واقعاً چی کار میکنه
تصمیم طراحیِ جالب، چیزیه که توش نیست. مقالهی این کار (arXiv:2607.05147، از Cheng و همکاران، DeepSeek-AI و PKU) یه پیشنویس با هد مارکوف و زمانبندی بر اساس اطمینان رو توصیف میکنه که روی تبار DFlash / EAGLE-3 ساخته شده. یه زمانبند اطمینان هم ساخته بودن تا موقع استنتاج، پیشنویسهای کماطمینان رو پویا کوتاه کنه. ولی خاموش گذاشتنش. کوتاهکردن پویا بیشتر ضرر داشت تا فایده. مدل DSpark نسخهی سادهتر و ایستا رو منتشر میکنه، چون همون نسخهی ساده روی بنچمارکهای واقعی میبره.
این یه موضعگیریه. خانوادهی دیکودینگ حدسی سه نسله که دنبال تطبیق پویاست. مدل EAGLE-2 ایدهی درخت توکنها رو آورد: مدل پیشنویس توی نقطههای انشعاب چند گزینه پیشنهاد میده و وارسیکننده بلندترین پیشوندِ پذیرفتهشده رو انتخاب میکنه. مدل EAGLE-3 هد رو بهتر کرد؛ مدل DFlash (arXiv:2602.06036) هد مارکوف رو به یه سازوکار با زمانبندی بر اساس اطمینان تعمیم داد. مدل DSpark ایستا منتشر میشه. سازوکار پویا ساخته شده و خاموش مونده. نسخهی ایستا برنده شد. وقتی یه خانواده سه نسل داره بالا میره و انتشار جدید نسخهی پایه رو بیرون میده، این موضعگیری معنی داره.
عددها
ستون فقرات این بحث همین جدوله.
| مدل هدفِ پیشنویس | طول پذیرش | میانگین H100 | میانگین M4 Max | اوج MATH500 |
|---|---|---|---|---|
| LFM2.5-1.2B-Instruct | — | — | — | — |
| LFM2.5-2.6B | ۴٫۸۱ | ۲٫۶۷× | ۲٫۲۷× | ۳٫۰۶× |
| LFM2.5-8B-A1B (MoE) | — | — | ۱٫۱۸× | — |
دو مورد دیگه هم ارزش گفتن دارن. تأخیر فراخوانی تابع روی BFCL: روی M4 Max و در مقایسه با مدل هدفِ ۲٫۶ میلیارد پارامتری، این تأخیر ۵۷٪ کمتر شده (بنچمارک BFCL توی PMLR v267 اومده). وارسی با زمانبندی بر اساس اطمینان: ساخته شده ولی استفاده نشده؛ چکپوینتی که منتشر شده پیشنویس ایستا داره.
ضعف واقعی توی ردیف 8B-A1B روی M4 Max دیده میشه: ۱٫۱۸ برابر. مسیریابی MoE بهاضافهی پهنای باند حافظهای که مدل پیشنویس لازم داره، باس حافظهی یکپارچه رو قبل از اینکه مسیر پیشنویس به کار بیاد پر میکنه. با این حال پیشنویس 8B-A1B رو هم منتشر کردن و کار درستی کردن: یه عدد صادقانه روی یه بار کاری واقعی از عددی که دستچین شده بهدردبخورتره. پیشنویس 8B-A1B بیاستفاده نیست؛ فقط عدد اصلی خبر نیست.
چرا دقیق بودن با دیکودینگ حریصانه همهی ماجراست
قاعدهای که به همهجا میشه برد اینه: هر بهینهسازی استنتاجی که خروجی رو عوض نکنه، یه سود بیهزینهست. خروجی A و B یکیه، لازم نیست مجموعهی ارزیابی رو دوباره اجرا کنی، لازم نیست تریسهای مرجع رو برای رگرسیون نگه داری، و برنامهی رولبک هم نمیخواد. بهینهسازیهایی که خروجی رو عوض میکنن (کوانتیزهسازی بعد از آموزش، تقطیر دانش، هرس، ادغام کرنلها با رانش عددی) مجموعهی ارزیابی، تریس مرجع و برنامهی رولبک لازم دارن. دیکودینگ حدسی با دیکودینگ حریصانه هیچکدوم از اینها رو لازم نداره.
حساب هزینهها نامتقارنه. چیزی که دقیقه، منتشر میشه. چیزی که دقیق نیست، بودجه لازم داره. برای همینه که هر استک سرو کردن مدل که روی پروداکشن راه انداختم یا بررسی کردم، دیکودینگ حدسی رو روی مسیر اصلی و پرترافیکش داره، و تقریباً هیچکدوم کوانتیزهسازی بعد از آموزش رو بدون دروازهی ارزیابی روی اون مسیر نداره. این تصمیم بر اساس عددهای افزایش سرعت گرفته نشد؛ بر اساس این گرفته شد که تغییر به دروازهی کیفیت نیاز داره یا نه. دیکودینگ حدسی نیاز نداره. اون ۲٫۶۷ برابر جایزهست.
این درست نقطهی مقابل ماجرای کانفیگیه که بایت به بایت یکی بود و باز هم خراب بود. اونجا کانفیگی که از نو ساخته شده بود بایت به بایت با کانفیگ در حال اجرا یکی بود و باز هم موقع راهاندازی از کار افتاد، چون یکی بودن بایت به بایت فقط ثابت میکرد کپی به منبعش وفاداره، نه اینکه برای نسخهی هدف معتبره. اینجا یکی بودن بایت به بایت همون ویژگیایه که کل کار روش بنا شده، و با همون تنظیم مشخصی از دیکودر که این خانواده هدف گرفته (حریصانه) دقیق هم هست. هر دو پست دربارهی فاصلهی بین ویژگیایان که سیستم ادعا میکنه داره و ویژگیای که واقعاً داره. مدل DSpark اون طرفیه که ادعا با ویژگی میخونه. به همین دلیله که میتونه با لایسنس lfm1.0 منتشر بشه، در حالی که یکپارچهسازیش با SGLang در جریانه (PR #31041) و کرنلهای Metal هم توی llama.cpp هست.
کجا این قاعده عمومیت پیدا میکنه
یه آزمون هست که میخوام با خودت ببری. وقتی داری یه بهینهسازی استنتاج رو ارزیابی میکنی، یه سؤال بپرس: با دیکودینگ حریصانه خروجی رو عوض میکنه یا نه؟
اگه نه، بدون مجموعهی ارزیابی منتشرش کن. اگه آره، براش بودجه بذار.
این سؤال تا دو سال آینده سر هر تصمیمی دربارهی سرو کردن مدل پیش میاد: فشردهسازی KV-cache، توجه صفحهبندیشده (paged attention)، بچینگ پیوسته، کش کردن پیشوند، کرنلهای کوانتیزهسازی، مدلهای پیشنویس، هرس کردن اکسپرتهای MoE. هر کدوم یا خروجی رو عوض میکنن یا نمیکنن، و همین یه ویژگی تعیین میکنه که راهاندازیش دروازهی کیفیت لازم داره یا نه. تا وقتی جواب این سؤال معلوم نشده، افزایش سرعت اهمیتی نداره. بیشتر وقتها جواب «نه» هست (بهینهسازی با دیکودینگ حریصانه دقیقه) و همین جواب یعنی چراغ سبز. بعضی وقتها جواب «آره» هست، و سؤال این میشه که افزایش سرعت به هزینهی مجموعهی ارزیابی میارزه یا نه. هر دو سؤال بعد از سؤال اول میان.
تله
تله اینه که عددهای افزایش سرعت رو نتیجه بدونی. اینها اثر جانبیان. نتیجه اینه که Liquid AI سه مدل پیشنویس با یه لایسنس سهلگیرانه، برای سه اندازهی مختلف از مدل هدف، از روز اول منتشر کرد، با یکپارچهسازیِ در جریان با SGLang و کرنلهای Metal توی llama.cpp. نتیجه اینه که گلوگاه سرو کردن LFM2.5 روی Apple Silicon دیگه پردازش نیست؛ پهنای باند حافظه روی مسیر پیشنویسه. نتیجه اینه که یه زمانبند اطمینان ساخته شد، ارزیابی شد و خاموش موند، چون نسخهی ایستا انتخاب درستی بود.
ویژگیهای پیدا (دقیق بودن با دیکودینگ حریصانه) منتشر شدن. ویژگیهای پنهان (تطبیق پویا) کنار گذاشته شدن. کل این انتشار یه استدلال واحده: این تکنیک قابل انتشاره چون ویژگیای که ادعا میکنه همون ویژگیایه که داره، و ادعاش دقیق بودن با یه دیکودر مشخصه. دیکودینگ حدسی همیشه همین ادعا رو داشته. مدل DSpark انتشاریه که توش ادعا با بنچمارک میخونه، بنچمارک با بار کاری، و بار کاری با استک پروداکشن. ۲٫۶۷ برابر تیتر خبره. یکی بودن بایت به بایت نتیجهست.