Ein 30B-Coding-Modell auf einem Mini-PC ohne GPU. 17 Tokens pro Sekunde, und der Prompt ist die Grenze.

ai self-hosting local-llm ollama performance

Die Frage war einfach: Kann der Mini-PC, der bereits mein Agent-Harness betreibt, auch ein Coding-Modell ausführen? Keine GPU, keine neue Hardware, keine Kosten pro Aufruf, und nichts verlässt das Haus.

Die Antwort ist ja, mit einem Haken, der wichtiger ist als die Schlagzeilenzahl. Um diesen Haken geht es in diesem Beitrag.

Die Maschine

  • Intel Core i9-12900HK, 32 GB DDR4-3200, keine GPU.
  • Sie betreibt bereits das Harness, LiteLLM, eine Chat-Oberfläche und die Video-Renderings von AgenticTube. Das Modell muss sich die Maschine teilen.

Erster Versuch: ein riesiges Modell von der Platte streamen

Ich habe mit colibri angefangen, einem Projekt, das sehr große MoE-Modelle (ab 284B) ausführt, indem es die Experten von der NVMe streamt, statt sie im RAM zu halten. Es funktioniert. DeepSeek V4 Flash lief mit etwa 0,9 Tokens pro Sekunde, selbst von schneller NVMe. Das ist eine Demo, kein Werkzeug, also habe ich es verworfen.

Die Cloud-Variante dieser Idee ist nicht besser. Das Streamen von Experten braucht Instance-Store-NVMe (EBS mit etwa 1 GB/s ist zu langsam), also große Speicher- oder Storage-Instanzen für grob 2 bis 5 USD pro Stunde, das heißt 1.500 bis 4.000 USD im Monat für 1 bis 6 Tokens pro Sekunde. Eine gehostete API ist für dieselben Modelle deutlich günstiger.

Warum ein 30B-Modell die schnelle Option ist

Auf einer CPU bedeutet das Erzeugen eines Tokens, die Gewichte, die dieses Token nutzt, aus dem RAM zu lesen. Die Speicherbandbreite ist die Obergrenze, also richtet sich die Geschwindigkeit nach den aktiven Parametern, nicht nach der Gesamtgröße.

Qwen3-Coder-30B-A3B ist ein MoE-Modell mit etwa 3B aktiven Parametern pro Token. Bei 4 Bit sind das grob 2 GB pro Token, was die theoretische Obergrenze für Dual-Channel-DDR4 irgendwo bei Mitte 20 Tokens pro Sekunde ansetzt. Ein dichtes 14B-Coding-Modell müsste etwa viermal so viel pro Token lesen und wäre etwa viermal langsamer, obwohl es „kleiner“ ist. Ein kleineres Qwen3-Coder gibt es ohnehin nicht: Ollama bietet 30B-A3B und 480B an.

Also habe ich qwen3-coder:30b-a3b (Q4_K_M) gewählt und als Alternative Gemma 4 26B-A4B (QAT).

Wie es läuft

  • Ollama nur auf Loopback, ein Modell geladen und eine Anfrage gleichzeitig, 16K Kontext, begrenzt auf 24 GB Speicher und mit niedrigem CPU-Gewicht, sodass Harness und Renderings gewinnen, wenn sie konkurrieren.
  • LiteLLM stellt zwei Aliase bereit, local-code und local-code-alt, mit Preis null, langem Timeout und einem Fallback vom einen zum anderen. Apps sprechen nie direkt mit Ollama.
  • Ein Ein-/Ausschalter. sudo local-llm off stoppt Ollama, und Deployments respektieren das. Ist er aus, schlägt local-code sofort fehl, statt zu hängen. Das ist wichtiger, als es klingt, wenn ein geplanter Job darauf wartet.

Die LiteLLM-Seite sind ein paar Zeilen:

model_list:
  - model_name: local-code
    litellm_params:
      model: ollama_chat/qwen3-coder:30b-a3b-q4_K_M
      api_base: http://<ollama-host>:11434
      timeout: 900
    model_info:
      input_cost_per_token: 0
      output_cost_per_token: 0

Hinter demselben Gateway wie die Cloud-Modelle bekommt jede App das Modell über dieselben Schlüssel- und Budgetregeln, und ein späterer Wechsel zu einem gehosteten Modell ist eine Konfigurationsänderung.

Die Zahlen

ModellSchreibenPrompt lesenKaltstart
Qwen3-Coder 30B-A3B, Q4_K_M16,8 tok/s65 tok/s17 s
Gemma 4 26B-A4B, QAT13,8 tok/s59 tok/s14 s

Siebzehn Tokens pro Sekunde Ausgabe lesen sich gut. Man kann mitlesen, während es schreibt.

Eine Kuriosität: Fragt man Qwen, was es ist, sagt es manchmal „Claude“. Das ist ein Artefakt der Trainingsdaten. Die Gateway-Logs zeigen, welches Modell tatsächlich geantwortet hat, ein weiterer Grund, es hinter eines zu stellen.

Der Haken: der Prompt

Die Erzeugung ist durch die Speicherbandbreite begrenzt. Das Lesen des Prompts ist durch Rechenleistung begrenzt, durch genau die Matrixarbeit, für die eine GPU gebaut ist, und eine Laptop-CPU schafft davon etwa 60 Tokens pro Sekunde.

Für eine Frage reicht das. Für einen Coding-Agenten reicht es nicht, denn er schickt bei jedem Schritt den ganzen Kontext: System-Prompt, Tool-Definitionen, offene Dateien, den bisherigen Verlauf. Ein Kontext mit 10K Tokens braucht etwa zweieinhalb Minuten bis zum ersten Ausgabetoken. Auch die Ausgabe wird mit wachsendem Kontext langsamer: etwa 15 Tokens pro Sekunde nach einem kurzen Prompt, etwa 9 nach einem mit 2.400 Tokens.

Selbst die Chat-Oberfläche spürt es. Mit ihrem Hausstil-Prompt und einem Tool-Schema, rund 1K Tokens, bevor ich etwas tippe, dauert das erste Wort 15 bis 20 Sekunden, plus 16 Sekunden Kaltstart nach fünf Minuten Leerlauf.

Tuning, das nicht geholfen hat

Ich habe die üblichen Stellschrauben auf Ollama 0.31.2 getestet, mit einem Prompt von 2.448 Tokens und Antworten von 300 Tokens:

SetupKurz: schreibenLang: lesenLang: schreibenLang gesamt
6 Threads, f16-KV-Cache (Standard)16,961,78,9~73 s
10 Threads18,244,910,4~83 s
14 Threads18,851,111,7~73 s
q8_0-KV-Cache, 6 Threads17,032,510,1~105 s
q8_0-KV-Cache, 10 Threads18,430,911,7~105 s
  • Flash Attention war bereits aktiv. Ollamas Einstellung auto schaltet sie auf dieser CPU ein.
  • Ein quantisierter KV-Cache ist auf der CPU ein Verlust. q8_0 spart etwa 0,7 GB, halbiert aber das Lesen des Prompts, weil jeder Attention-Schritt für das Dequantisieren bezahlt.
  • Mehr Threads bringen kurzen Antworten etwa 2 Tokens pro Sekunde und gleichen sich bei langen Anfragen aus, nehmen aber allem anderen jeden Kern weg. Das waren Einzelläufe mit etwa 15 % Rauschen. Ollama wählt 6, die Performance-Kerne, und dabei blieb ich.
  • Reines llama.cpp statt Ollama brächte wenig. Ollama nutzt es bereits.

Ich habe alle Standardwerte behalten.

Was tatsächlich helfen würde

  • Kleinere Prompts. Retrieval macht die Erzeugung nicht schneller, hält aber den Kontext klein, und der Kontext ist der Engpass. Die Maschine betreibt bereits ein Embedding-Modell für meine Notizsuche.
  • Eine GPU oder Apple Silicon. Mein M2-Pro-Mac hat etwa 200 GB/s Speicherbandbreite und eine GPU für den Prompt. Meine Schätzung, keine Messung, liegt bei 40 bis 50 Tokens pro Sekunde Ausgabe und mehreren Hundert beim Lesen des Prompts. Der Preis: Er schläft und reist, also würde das Gateway zuerst den Mac versuchen und auf den Mini-PC zurückfallen.
  • Mehr RAM, gleiche Geschwindigkeitsklasse. Ein Upgrade auf 2×32 GB, etwa 100 bis 150 EUR, würde Qwen3-Coder-Next 80B-A3B bei 4 Bit fassen. Es hat dieselbe aktive Größe, also grob dieselbe Geschwindigkeit mit einem klügeren Modell.

Fazit: brauchbar, nicht gut

Etwa 17 Tokens pro Sekunde sind grob das Dreifache der menschlichen Lesegeschwindigkeit. Das reicht für Chat und Änderungen an einer einzelnen Datei, ist aber wenig für agentisches Programmieren.

Einige Referenzwerte für dichte Modelle bei Q4, in Tokens pro Sekunde Ausgabe. Das sind typische Bereiche, keine eigenen Messungen, mit Ausnahme der letzten Zeile:

Setup7-8B Q430-32B Q470B Q4
RTX 4090 / 309090-13035-5018-25
M2/M3 Max50-7018-258-12
Nur CPU (DDR5)5-102-41-2
Diese Maschine, MoE 30B-A3B (gemessen)17

Die letzte Zeile zeigt, warum die Wahl eines MoE-Modells zählt. Ein dichtes 30B-Modell läge auf dieser CPU im niedrigen einstelligen Bereich. Da pro Token nur etwa 3B Parameter gelesen werden, läuft dieses Modell mit der Geschwindigkeit eines kleinen Modells und der Qualität der 30B-Klasse.

Was das in der Praxis kostet, bei etwa 17 Tokens pro Sekunde:

  • Eine Antwort mit 500 Tokens: etwa 30 s. Erträglich.
  • Ein Refactoring oder Neuschreiben einer Datei mit 2.000 Tokens: etwa 2 Minuten, mehr bei wachsendem Kontext. Das merkt man.
  • Eine Agentenschleife mit 5 Tool-Aufrufen zu je 300 Tokens: etwa 90 s reines Dekodieren, plus erneutes Lesen des ganzen Prompts bei jedem Schritt.

Was für Coding-Agenten wichtiger ist als die reine Ausgabegeschwindigkeit:

  • Prefill-Geschwindigkeit. Langer Kontext (Dateien aus dem Repo, Tool-Ergebnisse) ist der Ort, an dem die Zeit verloren geht. Achten Sie auf die Zeit bis zum ersten Token, nicht auf Tokens pro Sekunde. Ein Prompt mit 30K Tokens bei 500 tok/s Prefill, ein guter GPU-Wert, braucht bereits 60 s bis zum ersten Token. Mit den 60 tok/s dieser Maschine wären es über 8 Minuten, und er passt nicht einmal in den konfigurierten 16K-Kontext.
  • Parallele Anfragen. Wenn Ihr Agent Subagenten startet oder Sie mehrere Chats betreiben, zählt der Gesamtdurchsatz mehr als die Geschwindigkeit eines einzelnen Streams. Dieses Setup bedient bewusst eine Anfrage zur Zeit, ein zweiter Aufrufer wartet.
  • Der Quantisierungs-Kompromiss. Von Q4 auf Q3 oder auf ein kleineres Modell zu gehen, um Geschwindigkeit zu gewinnen, schadet der Codequalität meist mehr, als der Gewinn hilft. Ich bin bei Q4 geblieben.

Wenn Ihre 20 tok/s von einem dichten Modell der 30B-Klasse bei Q4 auf einer einzelnen Consumer-GPU oder einem Max-Chip stammen, ist das normal, und ich würde es so lassen. Stammen sie von einem 7B-Modell, stimmt etwas nicht: Prüfen Sie, ob der KV-Cache auf die CPU ausgelagert ist, ob Flash Attention fehlt oder ob Ollama auf der CPU statt auf der GPU läuft (ollama ps zeigt die Aufteilung).

Bei mir bleibt es ein Batch-Arbeiter: Zusammenfassungen, erste Entwürfe und Hintergrundjobs, die ein paar Minuten warten können und weder pro Aufruf kosten noch das Haus verlassen sollen. Die interaktive Agentenschleife bleibt bei gehosteten Modellen, bis der Prompt schneller gelesen werden kann.

$ cat AGENTS .md
· 7 Min. Lesezeit

Warum ich Hermes Agent verlassen und mein eigenes Harness gebaut habe

Im Juli schrieb ich, dass Hermes Agent die Logistik meines digitalen Lebens erledigt. Am 18. Oktober habe ich ihn abgeschaltet und durch ein kleines Harness aus festen Pipelines, einer kontrollierten Tür zu den Modellen und einer Allowlist pro Aufgabe ersetzt. Hier steht, warum, was der Umbau gekostet hat und wann ich trotzdem wieder einen allgemeinen Agenten wählen würde.

agents ai self-hosting architecture harness
$ cat AI .md
· 6 Min. Lesezeit

Spekulatives Decoding wurde ausgeliefert, weil es die Ausgabe nicht verändert.

Liquid AI hat am 20. August LFM2.5-DSpark ausgeliefert: drei Draft-Modelle unter der lfm1.0-Lizenz, mit einer mittleren 2,67×-Beschleunigung auf H100 und einer 57-prozentigen Reduktion der Funktionsaufruf-Latenz auf Apple Silicon. Die Schlagzeilenzahl ist das am wenigsten Interessante an der Veröffentlichung. Das Interessante ist, warum diese Art von Veröffentlichung überhaupt ausgeliefert werden kann. Spekulatives Decoding ist exakt unter Greedy Decoding, das heißt, es verändert die Ausgabe nicht. Diese Eigenschaft ist das ganze Spiel.

ai inference speculative-decoding mechanism performance