یه مدل کدنویسی 30B روی یه مینی‌پی‌سی بدون GPU. ۱۷ توکن در ثانیه، و محدودیت اصلی پرامپته.

ai self-hosting local-llm ollama performance

سؤال ساده بود: مینی‌پی‌سی‌ای که الان هارنس ایجنت‌هام رو اجرا می‌کنه، می‌تونه یه مدل کدنویسی هم اجرا کنه؟ بدون GPU، بدون سخت‌افزار جدید، با هزینه‌ی صفر برای هر فراخوانی، و بی‌این‌که چیزی از خونه بیرون بره.

جواب آره‌ست، با یه گیر که از عدد اصلی مهم‌تره. این پست درباره‌ی همون گیره.

دستگاه

  • پردازنده‌ی Intel Core i9-12900HK، ۳۲ گیگابایت DDR4-3200، بدون GPU.
  • از قبل هارنس، LiteLLM، یه رابط چت و رندرهای ویدیوی AgenticTube روش اجرا می‌شن. مدل باید منابع رو با این‌ها شریک بشه.

تلاش اول: استریم کردن یه مدل غول‌پیکر از روی دیسک

با colibri شروع کردم، پروژه‌ای که مدل‌های MoE خیلی بزرگ (از 284B به بالا) رو با استریم کردن اکسپرت‌ها از NVMe اجرا می‌کنه، به جای این‌که توی رم نگهشون داره. کار می‌کنه. مدل DeepSeek V4 Flash حتی از یه NVMe سریع هم با حدود ۰٫۹ توکن در ثانیه اجرا شد. این در حد یه دمو بود، نه یه ابزار، پس کنارش گذاشتم.

نسخه‌ی ابری این ایده هم بهتر نیست. استریم کردن اکسپرت‌ها به NVMe از نوع instance-store نیاز داره (EBS با حدود ۱ گیگابایت بر ثانیه زیادی کنده)، یعنی اینستنس‌های بزرگِ مخصوص حافظه یا ذخیره‌سازی با هزینه‌ی تقریباً ساعتی ۲ تا ۵ دلار، که می‌شه ماهی ۱٬۵۰۰ تا ۴٬۰۰۰ دلار برای ۱ تا ۶ توکن در ثانیه. یه API میزبانی‌شده برای همین مدل‌ها خیلی ارزون‌تره.

چرا یه مدل 30B گزینه‌ی سریعه

روی CPU، تولید هر توکن یعنی خوندن وزن‌هایی که اون توکن استفاده می‌کنه از RAM. سقف کار پهنای باند حافظه‌ست، پس سرعت به پارامترهای فعال بستگی داره، نه به اندازه‌ی کل مدل.

مدل Qwen3-Coder-30B-A3B یه مدل MoE با حدود 3B پارامتر فعال برای هر توکنه. با ۴ بیت، این یعنی تقریباً ۲ گیگابایت خوندن برای هر توکن، که سقف نظری رو برای DDR4 دوکاناله یه جایی حوالی ۲۵ توکن در ثانیه می‌ذاره. یه مدل کدنویسی متراکم (dense) با اندازه‌ی 14B برای هر توکن حدود چهار برابر بیشتر می‌خونه و حدود چهار برابر کندتره، با این‌که «کوچیک‌تره». در هر حال نسخه‌ی کوچیک‌تری از Qwen3-Coder وجود نداره: توی Ollama نسخه‌های 30B-A3B و 480B هست.

پس qwen3-coder:30b-a3b (Q4_K_M) رو انتخاب کردم، و مدل Gemma 4 26B-A4B (QAT) رو هم به‌عنوان گزینه‌ی دوم.

چطور اجرا می‌شه

  • Ollama فقط روی loopback، با یه مدلِ بارگذاری‌شده و یه درخواست در هر لحظه، کانتکست ۱۶ هزار توکنی، سقف ۲۴ گیگابایت حافظه و وزن CPU پایین، تا وقتی رقابت پیش میاد هارنس و رندرها برنده بشن.
  • LiteLLM دو تا نام مستعار ارائه می‌ده، local-code و local-code-alt، با قیمت صفر، تایم‌اوت طولانی و جایگزینی از یکی به اون یکی. اپ‌ها هیچ‌وقت مستقیم با Ollama حرف نمی‌زنن.
  • یه کلید خاموش و روشن. دستور sudo local-llm off سرویس Ollama رو متوقف می‌کنه و دیپلوی‌ها هم بهش احترام می‌ذارن. وقتی خاموشه، local-code فوراً خطا می‌ده به جای این‌که معطل بمونه، و وقتی یه جاب زمان‌بندی‌شده منتظرشه، این از چیزی که به نظر میاد مهم‌تره.

سمت LiteLLM چند خط بیشتر نیست:

model_list:
  - model_name: local-code
    litellm_params:
      model: ollama_chat/qwen3-coder:30b-a3b-q4_K_M
      api_base: http://<ollama-host>:11434
      timeout: 900
    model_info:
      input_cost_per_token: 0
      output_cost_per_token: 0

وقتی مدل پشت همون گیت‌وی مدل‌های ابری باشه، هر اپی با همون کلید و قوانین بودجه بهش دسترسی داره، و اگه بعداً بخوام با یه مدل میزبانی‌شده عوضش کنم، فقط یه تغییر کانفیگه.

عددها

مدلنوشتن (توکن در ثانیه)خوندن پرامپت (توکن در ثانیه)بارگذاری سرد (ثانیه)
Qwen3-Coder 30B-A3B, Q4_K_M۱۶٫۸۶۵۱۷
Gemma 4 26B-A4B, QAT۱۳٫۸۵۹۱۴

هفده توکن در ثانیه خروجی، راحت خونده می‌شه. می‌تونی هم‌زمان که می‌نویسه دنبالش کنی.

یه چیز عجیب: از Qwen بپرسی چیه، گاهی می‌گه «Claude». این یه اثر جانبی از داده‌های آموزشه. لاگ‌های گیت‌وی نشون می‌دن کدوم مدل واقعاً جواب داده، که خودش یه دلیل دیگه‌ست برای این‌که مدل رو پشت گیت‌وی بذاری.

گیر کار: پرامپت

تولید توکن به پهنای باند حافظه محدوده. خوندن پرامپت به توان محاسباتی محدوده، یعنی همون کار ماتریسی که GPU براش ساخته شده، و یه CPU لپ‌تاپی با حدود ۶۰ توکن در ثانیه از پسش برمیاد.

برای یه سؤال این مشکلی نیست. برای یه ایجنت کدنویسی مشکله، چون توی هر نوبت کل کانتکست رو می‌فرسته: پرامپت سیستم، تعریف ابزارها، فایل‌های باز، و گفت‌وگو تا اون لحظه. یه کانتکست ۱۰ هزار توکنی حدود دو دقیقه و نیم طول می‌کشه تا اولین توکن خروجی بیاد. خروجی هم با بزرگ‌تر شدن کانتکست کندتر می‌شه: بعد از یه پرامپت کوتاه حدود ۱۵ توکن در ثانیه، و بعد از یه پرامپت ۲٫۴ هزار توکنی حدود ۹ تا.

حتی رابط چت هم اینو حس می‌کنه. با پرامپت مخصوص خودش و اسکیمای یه ابزار، که قبل از این‌که من چیزی تایپ کنم حدود ۱ هزار توکنه، اولین کلمه ۱۵ تا ۲۰ ثانیه طول می‌کشه، به‌اضافه‌ی ۱۶ ثانیه بارگذاری سرد بعد از پنج دقیقه بیکاری.

تنظیم‌هایی که کمکی نکردن

اهرم‌های معمول رو روی Ollama 0.31.2 با یه پرامپت ۲٬۴۴۸ توکنی و جواب‌های ۳۰۰ توکنی امتحان کردم:

تنظیمکوتاه: نوشتنبلند: خوندنبلند: نوشتنکل درخواست بلند
۶ ترد، کش KV با f16 (پیش‌فرض)۱۶٫۹۶۱٫۷۸٫۹~۷۳ ثانیه
۱۰ ترد۱۸٫۲۴۴٫۹۱۰٫۴~۸۳ ثانیه
۱۴ ترد۱۸٫۸۵۱٫۱۱۱٫۷~۷۳ ثانیه
کش KV با q8_0، ۶ ترد۱۷٫۰۳۲٫۵۱۰٫۱~۱۰۵ ثانیه
کش KV با q8_0، ۱۰ ترد۱۸٫۴۳۰٫۹۱۱٫۷~۱۰۵ ثانیه
  • قابلیت Flash attention از قبل روشن بود. تنظیم auto توی Ollama روی این CPU روشنش می‌کنه.
  • کش KV کوانتیزه‌شده روی CPU ضرر داره. حالت q8_0 حدود ۰٫۷ گیگابایت حافظه صرفه‌جویی می‌کنه ولی سرعت خوندن پرامپت رو نصف می‌کنه، چون هر قدم attention باید هزینه‌ی دی‌کوانتیزه کردنش رو بده.
  • تردهای بیشتر جواب‌های کوتاه رو حدود ۲ توکن در ثانیه سریع‌تر می‌کنن و روی درخواست‌های بلند تقریباً فرقی ندارن، در حالی که همه‌ی هسته‌ها رو از بقیه‌ی کارها می‌گیرن. این‌ها اجراهای تکی بودن با حدود ۱۵٪ نویز. خود Ollama عدد ۶ رو انتخاب می‌کنه، یعنی هسته‌های پرقدرت، و من هم همون رو نگه داشتم.
  • استفاده از llama.cpp خام به جای Ollama سود چندانی نداره. خودش از قبل همون رو اجرا می‌کنه.

همه‌ی پیش‌فرض‌ها رو نگه داشتم.

چیزی که واقعاً کمک می‌کنه

  • پرامپت‌های کوچیک‌تر. بازیابی (retrieval) تولید رو سریع‌تر نمی‌کنه، ولی کانتکست رو کوچیک نگه می‌داره، و گلوگاه همین کانتکسته. این دستگاه از قبل یه مدل امبدینگ برای جست‌وجوی یادداشت‌هام اجرا می‌کنه.
  • یه GPU، یا Apple silicon. مک M2 Pro من حدود ۲۰۰ گیگابایت بر ثانیه پهنای باند حافظه داره و یه GPU برای پرامپت. تخمین من، نه اندازه‌گیری، ۴۰ تا ۵۰ توکن در ثانیه خروجی و چند صد توکن در ثانیه برای خوندن پرامپته. عیبش اینه که مک می‌خوابه و همراهم سفر می‌کنه، پس گیت‌وی اول مک رو امتحان می‌کنه و اگه در دسترس نبود سراغ مینی‌پی‌سی می‌ره.
  • رم بیشتر، با همون کلاس سرعت. یه ارتقای ۲×۳۲ گیگابایتی، حدود ۱۰۰ تا ۱۵۰ یورو، جا برای Qwen3-Coder-Next 80B-A3B با ۴ بیت باز می‌کنه. اندازه‌ی فعالش همونه، پس تقریباً با همون سرعت، ولی با یه مدل باهوش‌تر.

نتیجه: قابل‌استفاده، ولی نه خوب

حدود ۱۷ توکن در ثانیه تقریباً سه برابر سرعت خوندن آدمه. برای چت و ویرایش یه فایل خوبه، و برای کدنویسی ایجنتی کمه.

چند نقطه‌ی مرجع برای مدل‌های متراکم با Q4، بر حسب توکن خروجی در ثانیه. این‌ها بازه‌های معمولن، نه اندازه‌گیری‌های من، به‌جز ردیف آخر:

تنظیم7-8B Q430-32B Q470B Q4
RTX 4090 / 3090۹۰ تا ۱۳۰۳۵ تا ۵۰۱۸ تا ۲۵
M2/M3 Max۵۰ تا ۷۰۱۸ تا ۲۵۸ تا ۱۲
فقط CPU (DDR5)۵ تا ۱۰۲ تا ۴۱ تا ۲
همین دستگاه، MoE 30B-A3B (اندازه‌گیری‌شده)۱۷

ردیف آخر نشون می‌ده چرا انتخاب MoE مهمه. یه مدل متراکم 30B روی این CPU به زور به چند توکن در ثانیه می‌رسید. این مدل چون برای هر توکن فقط حدود 3B پارامتر می‌خونه، با سرعت یه مدل کوچیک اجرا می‌شه و کیفیتش در حد مدل‌های کلاس 30B هست.

در عمل، با حدود ۱۷ توکن در ثانیه، هزینه‌ش این‌طوریه:

  • یه جواب ۵۰۰ توکنی: حدود ۳۰ ثانیه. قابل‌تحمل.
  • یه ریفکتور یا بازنویسی فایل ۲٬۰۰۰ توکنی: حدود ۲ دقیقه، و با بزرگ‌تر شدن کانتکست بیشتر. حسش می‌کنی.
  • یه حلقه‌ی ایجنتی با ۵ فراخوانی ابزار که هر کدوم ۳۰۰ توکن تولید می‌کنن: حدود ۹۰ ثانیه فقط برای دیکود، به‌اضافه‌ی خوندن دوباره‌ی کل پرامپت توی هر نوبت.

چیزهایی که برای ایجنت‌های کدنویسی از سرعت خام خروجی مهم‌ترن:

  • سرعت پری‌فیل. کانتکست طولانی (فایل‌های ریپو، نتیجه‌ی ابزارها) جاییه که وقت می‌ره. زمان تا اولین توکن رو ببین، نه توکن در ثانیه رو. یه پرامپت ۳۰ هزار توکنی با سرعت پری‌فیل ۵۰۰ توکن در ثانیه، که برای یه GPU عدد خوبیه، از همون اول ۶۰ ثانیه تا اولین توکن طول می‌کشه. با ۶۰ توکن در ثانیه‌ی این دستگاه بیشتر از ۸ دقیقه طول می‌کشید، و اصلاً توی کانتکست ۱۶ هزار توکنی‌ای که تنظیم کردم جا نمی‌شه.
  • درخواست‌های موازی. اگه ایجنتت ساب‌ایجنت راه می‌اندازه یا چند تا چت هم‌زمان داری، توان کل از سرعت یه جریان تکی مهم‌تره. این تنظیمات عمداً هر بار فقط یه درخواست رو جواب می‌ده، پس فراخواننده‌ی دوم منتظر می‌مونه.
  • بده‌بستان کوانتیزه‌سازی. پایین اومدن از Q4 به Q3، یا رفتن سراغ یه مدل کوچیک‌تر برای سرعت بیشتر، معمولاً بیشتر از این‌که افزایش سرعت کمک کنه به کیفیت کد ضربه می‌زنه. من روی Q4 موندم.

اگه ۲۰ توکن در ثانیه‌ی تو از یه مدل متراکم در کلاس 30B با Q4 روی یه GPU خانگی یا یه تراشه‌ی Max میاد، این عادیه و من بودم نگهش می‌داشتم. اگه از یه مدل 7B میاد، یه جای کار می‌لنگه: چک کن کش KV به CPU منتقل نشده باشه، flash attention خاموش نباشه، و Ollama به جای GPU روی CPU اجرا نشه (ollama ps نشون می‌ده بار چطور تقسیم شده).

برای من این دستگاه یه کارگر دسته‌ای می‌مونه: خلاصه‌ها، پیش‌نویس‌های اول و جاب‌های پس‌زمینه‌ای که می‌تونن چند دقیقه صبر کنن و نباید برای هر فراخوانی هزینه داشته باشن یا از خونه بیرون برن. حلقه‌ی تعاملی ایجنت روی مدل‌های میزبانی‌شده می‌مونه، تا وقتی که بشه پرامپت رو سریع‌تر خوند.

$ cat AGENTS .md
· 7 دقیقه مطالعه

چرا Hermes Agent رو کنار گذاشتم و هارنس خودم رو ساختم

ژوئیه نوشته بودم که Hermes Agent کارهای پشت‌صحنه‌ی زندگی دیجیتالم رو می‌گردونه. ۱۸ اکتبر خاموشش کردم و جاش یه هارنس کوچیک گذاشتم: چند تا پایپ‌لاین ثابت، یه درِ کنترل‌شده به سمت مدل‌ها، و یه لیست مجاز برای هر کار. این‌جا می‌گم چرا، این بازنویسی چقدر برام تموم شد، و کِی هنوز هم یه ایجنت همه‌منظوره رو انتخاب می‌کنم.

agents ai self-hosting architecture harness
$ cat AI .md
· 7 دقیقه مطالعه

دیکودینگ حدسی منتشر شد، چون خروجی رو عوض نمی‌کنه.

شرکت Liquid AI بیستم اوت مدل LFM2.5-DSpark رو منتشر کرد: سه مدل پیش‌نویس با لایسنس lfm1.0، با میانگین ۲٫۶۷ برابر افزایش سرعت روی H100 و ۵۷٪ کاهش تأخیر فراخوانی تابع روی Apple Silicon. عدد اصلیِ خبر کم‌اهمیت‌ترین بخش این انتشاره. بخش جالب اینه که اصلاً چرا چنین چیزی می‌تونه منتشر بشه. دیکودینگ حدسی با دیکودینگ حریصانه دقیقه، یعنی خروجی رو عوض نمی‌کنه. همه‌ی ماجرا همین ویژگیه.

ai inference speculative-decoding mechanism performance
$ cat AUTOMATION .md
· 7 دقیقه مطالعه

چطور با Hermes Agent زندگی دیجیتالم رو خودکار می‌کنم

روی مینی‌پی‌سی من Hermes Agent اجرا می‌شه، مک من رو کنترل می‌کنه و کارهای جانبی وبلاگ، یوتیوب و مالیاتم رو انجام می‌ده، تا وقتم رو بذارم روی بخش‌هایی که واقعاً به خودم نیاز دارن. این‌جا می‌گم چطور کار می‌کنه.

automation ai productivity self-hosting agents