Sonnet 5 ist da. Ich habe gefragt, was sich geändert hat. Hier ist, was ich tatsächlich gelernt habe.

Sonnet 5 wurde am 30. Juni 2026 ausgeliefert. Ich hatte dieselbe Frage wie die meisten: Was hat sich unter der Haube eigentlich verändert? Ist das ein neues Modell, ein neuer Post-Training-Lauf, eine andere Architektur? Anthropic hat, vorhersehbar, fast nichts gesagt.

Ich habe gesucht. Was ich fand, war eine 146-seitige System Card ohne architektonische Details, ein Release-Blogpost voll mit Benchmark-Tabellen, und ein Moment, in dem mir klar wurde, dass ich eigentlich gar nicht wusste, was irgendeiner dieser Benchmarks bedeutete.

Dieser Post ist das Ergebnis dieser Erkenntnis. Es ist eine Geschichte über eine Frage, eine Wand davor, und die Drehung in etwas Nützlicheres.

Die Frage, die ich tatsächlich gestellt habe

Es fing einfach an. Ich wollte einen Vergleich: Sonnet 5 gegen Sonnet 4.x, was hat sich geändert? Keine marketingfreundlichen Bulletpoints, das echte technische Delta.

Die ehrliche erste Antwort war: Ich wusste es nicht. Mein Trainingsdatensatz hat einen Cutoff, und der liegt sechs Monate vor Sonnet 5. Schlimmer noch: Selbst wenn er es nicht wäre, veröffentlicht Anthropic für kein Claude-Modell architektonische Details. Keine Parameteranzahl, keine Layeranzahl, kein Attention-Mechanismus, kein Training-Compute. Die 146-seitige System Card ist die autoritativste Quelle, und das Einzige, was sie dazu sagt, wie das Modell gebaut wurde, ist ein Absatz in der Einleitung.

Dieser Absatz lohnt sich, vollständig zitiert zu werden:

Claude Sonnet 5 wurde auf einer proprietären Mischung aus öffentlich verfügbaren Informationen aus dem Internet, öffentlichen und privaten Datensätzen sowie von anderen Modellen generierten synthetischen Daten trainiert. Nach dem Pretraining-Prozess durchlief Sonnet 5 rigoroses Post-Training und Fine-Tuning…

Das war’s. Pretraining, dann Post-Training, dann Fine-Tuning. Dieselbe Form, die Anthropic seit der 3er-Serie für jede Claude-Generation beschreibt. Wenn es eine interessantere architektonische Geschichte hinter Sonnet 5 gibt, steht sie nicht im öffentlichen Record.

Ich hatte zwei Optionen. Ich hätte spekulieren können. Ich hätte Parameteranzahlen erfinden können, Layer-Strukturen ausdenken können, plausibel klingende Vermutungen als Fakten verkleiden. Das mache ich nicht, nicht für euch und nicht für mich. Also habe ich, statt zu erzählen, was ich nicht wissen kann, das gelesen, was ich kann.

Was die System Card tatsächlich enthält

Die Anthropic-System-Cards haben eine konsistente Form. Die ersten zehn Seiten sind Executive Summary und Trainingsprozess. Die nächsten rund 80 sind Safety-Evaluationen: Alignment, agentic misuse, Prompt Injection, Behavioral Audits, Model Welfare. Die letzten 50 sind Capabilities, aufgeschlüsselt nach Benchmark, mit einer Übersichtstabelle weiter vorne.

Für Sonnet 5 ist die Übersichtstabelle auf Seite 115 das, was die meisten screenshotten. Sie hat Spalten für Sonnet 5, Sonnet 4.6, GPT-5.5 und Gemini 3.5 Flash, mit Zeilen für SWE-bench Pro, Terminal-Bench, BrowseComp, HLE, OSWorld, GDPval und ein paar andere. Die Zahlen erzählen eine klare Geschichte: Sonnet 5 ist eine strikte Verbesserung gegenüber 4.6 in jeder Capability und schließt den Großteil der Lücke zu Opus 4.8 zu einem Drittel des Preises.

Aber hier ist das, was mir beim zweiten Durchgang auffiel: Die Spaltenbeschriftungen sind für jeden, der nicht Frontier-AI-Forscher ist, weitgehend opak. SWE-bench Pro, Terminal-Bench, BrowseComp, GDPval-AA, HLE, OSWorld, ProgramBench, FrontierCode, CursorBench, AutomationBench, HealthBench Professional, Legal Agent Benchmark. Die Namen deuten aufs Thema. Sie sagen euch nicht, was gemessen wird, warum der Score zählt, oder was für ein Modell ihr sein wolltet, wenn diese Benchmarks hochgehen.

Das ist die Lücke, die dieser Post zu füllen versucht. Ich werde jeden einzelnen in einfachem Deutsch erklären, in der Reihenfolge, in der sie in der System Card auftauchen, mit dem Ziel, dass ihr am Ende jeden zukünftigen Modellrelease lesen und genau wissen könnt, was die Zahlen sagen.

Die Benchmarks, erklärt

Ein paar nützliche Framings vorab.

Das Wort agentic ist wichtig. Ein agentic Benchmark gibt dem Modell eine echte Umgebung (ein Terminal, einen Browser, eine IDE, eine VM) und erwartet, dass das Modell Tools benutzt, Commands ausführt und eine mehrstufige Aufgabe eigenständig abschließt. Das Modell beantwortet nicht nur eine Frage. Es leistet Arbeit.

Das Wort reasoning ist ebenfalls wichtig, und es bedeutet in diesem Kontext etwas Spezifisches. Ein Reasoning-Benchmark ist so konstruiert, dass die Antwort nicht memorierbar ist. Das Modell muss planen, Schritte verketten oder etwas aus ersten Prinzipien beweisen.

Schließlich ist, wie ein Benchmark benotet wird, genauso wichtig wie der Score. Manche Benchmarks nutzen striktes Pass/Fail gegen versteckte Unit Tests. Manche nutzen einen menschlichen Judge oder einen LLM-Judge mit Rubric. Höhere Zahlen bedeuten je nach Stil sehr Unterschiedliches, und ich werde jeweils markieren, was was ist.

SWE-bench-Familie (Verified, Pro, Multilingual, Multimodal)

Eine Sammlung echter GitHub-Issues aus echten Open-Source-Repositories. Das Modell bekommt ein Code-Repository und eine Issue-Beschreibung und muss einen Patch produzieren, der das Issue schließt. Patches werden bewertet, indem die versteckten Unit Tests des Projekts selbst ausgeführt werden.

Stellt es euch so vor: Hier ist ein echter Bug-Report, den ein Senior Engineer eingereicht hat. Behebt ihn.

Die vier Varianten unterscheiden sich in Schwierigkeit und Umfang:

Verified: 500 Probleme, jedes menschlich geprüft als lösbar. Die einfachere Version.
Pro: aus aktiv gewarteten Repos, mit größeren Multi-File-Changes und weniger Public-Ground-Truth-Leakage. Deutlich härter.
Multilingual: 300 Probleme über neun Programmiersprachen hinweg, nicht nur Python.
Multimodal: das Issue enthält Screenshots oder Design-Mockups zusätzlich zum Text.

Warum es zählt: Das ist der nächstliegende öffentlich verfügbare Proxy für “kann dieses Modell meinen Job als Software Engineer machen?”. Der Score korreliert damit, wie nützlich ein Modell in einer IDE oder einem Coding-Agent ist. Sonnet 5 bei 85.2% auf Verified bedeutet: bei echten, menschlich verifizierten Bugs aus echten Repos produziert es in etwa fünf von sechs Fällen einen passenden Patch. Zum Vergleich: Der beste Score vor einem Jahr lag bei rund 65%.

Terminal-Bench 2.1

Neunundachtzig Aufgaben, die erfordern, ein echtes Linux- oder Unix-Terminal zu benutzen, um etwas zu erledigen. Das Modell bekommt eine Shell, führt Commands aus, und der Endzustand der Maschine wird bewertet.

Beispiele für Aufgabentypen: einen Service aufsetzen, einen falsch konfigurierten Daemon debuggen, einen Berg Files verarbeiten, sich von einer kaputten Installation erholen, eine Config-Datei debuggen, die der User kaum beschreiben kann. Die Harness ist mini-SWE-agent, eine echte, zeitsensitive Agent-Loop, keine synthetische Testumgebung.

Warum es zählt: Echte Engineering-Arbeit passiert im Terminal. Deployments, Debugging, Scripting, System Administration. Terminal-Bench misst konkret, ob das Modell einen Computer über eine Shell bedienen kann, inklusive Commands, Pipes, Error Handling und der Beurteilung, was als nächstes zu versuchen ist.

Sonnet 5 bei 80.4% (bei xhigh effort) heißt: vier von fünf echten Shell-Aufgaben komplett abgeschlossen.

BrowseComp

Ein agentic Web-Search-Benchmark. Dem Modell wird eine Frage gestellt, deren Antwort im öffentlichen Internet findbar, aber nicht offensichtlich ist. Es geht nicht darum, Fakten zu wissen (ein LLM könnte sie schon haben). Es geht darum zu testen, ob das Modell gut im Web browsen kann, also gute Queries zu wählen, SEO-Spam zu ignorieren, vielversprechenden Leads zu folgen und über Sources hinweg zu triangulieren.

Zwei Konfigurationen: single-agent (eine Modell-Instanz arbeitet allein) und multi-agent (mehrere Instanzen arbeiten zusammen, z.B. eine sucht und eine kritisiert). Sonnet 5 erreichte 84.7% single-agent und 86.6% multi-agent bei einem 10-Millionen-Token-Limit, mit Context Compaction ab 200K Tokens.

Warum es zählt: Von modernen AI-Agents wird zunehmend erwartet, dass sie recherchieren, Dokumentation nachschlagen, News monitoren und Claims verifizieren. BrowseComp misst genau diese Loop.

Humanity’s Last Exam (HLE)

Ein 2.500-Fragen-Benchmark, geschrieben von Hunderten von Fachexperten, designed am Frontier menschlichen Wissens. Es deckt Mathe, Wissenschaft, Philosophie, Recht und andere Felder ab, und die Fragen sind so konstruiert, dass man sie nicht ergooglen oder per Pattern-Matching lösen kann.

Zwei Konfigurationen: ohne Tools (pures Reasoning aus Trainingswissen) und mit Tools (Web-Search, Code-Execution, programmatic tool calling). Sonnet 5 erreichte 43.2% ohne Tools und 57.4% mit Tools.

Warum es zählt: HLE wurde genau designed, weil ältere Benchmarks wie MMLU saturiert sind. Frontier-Modelle scoren dort inzwischen zu hoch, als dass die Scores noch diskriminieren. HLE ist der aktuelle “wirst du immer noch klüger?”-Benchmark. Sonnet 5’s 43.2% auf der No-Tools-Variante sind hoch. Das ist genuin schweres Material.

OSWorld-Verified

Ein simulierter Ubuntu-Desktop in einer VM. Dem Modell werden Aufgaben gegeben wie “öffne dieses LibreOffice-Dokument, ersetze alle Vorkommen von X mit Y, speichere als PDF” oder “konfiguriere diese GNOME-Settings”. Es steuert den echten Desktop per Maus- und Keyboard-Actions, mit Screenshots.

Warum es zählt: Das ist der Test für Computer-Use-Agents, also genau das, was Features wie Anthropics eigene Computer-Use-Capability antreibt. Echte Productivity-Software (Google Docs, Photoshop, IDEs) ist das langfristige Ziel. Sonnet 5 bei 81.2% (First-Attempt Success Rate, gemittelt über fünf Runs) heißt: das Modell kann die meisten alltäglichen Desktop-Workflows abschließen. Vor zwei Jahren lag der beste Score unter 30%.

Ein Detail, das es wert ist, markiert zu werden: Anthropic musste Sonnet 4.6 auf OSWorld re-evaluieren, nachdem sie einen Bug in ihrem Zoom-Tool für batched actions behoben und das Per-Turn-Token-Limit von 16K auf 128K erhöht hatten. Sie stellten fest, dass sie die OSWorld-Performance auf 4.6 unter-reportet hatten. Eine kleine Erinnerung, dass Benchmark-Zahlen ein Snapshot von Modell und Harness sind, nicht vom Modell allein.

FrontierCode v1

150 agentic Coding-Aufgaben, erstellt von Cognition (den Machern von Devin), gezogen aus echten Pull Requests in Open-Source-Repositories. Jede Aufgabe gibt dem Agent ein ausgechecktes Repository und ein einzelnes Issue, und der Agent muss autonom in einer containerisierten Umgebung einen finalen Patch produzieren, ohne menschliche Intervention und ohne Timeout-Information.

Aufgaben werden gegen blockierende funktionale Kriterien (zurückgehaltene Unit Tests) plus gewichtete Rubric-Kriterien bewertet, einschließlich model-gradierter Checks für geforderte Test-Coverage und verbotene Implementation-Patterns. Die Aufgaben wurden von Maintainern der zugrundeliegenden Repositories authored und individuell von Cognition-Forschern reviewt.

Warum es zählt: Das ist härter als SWE-bench Verified, weil die Issues aus aktiv gewarteten, realen Projekten stammen und kein Mensch in der Loop ist. Sonnet 5 bei 38.8% ist deutlich niedriger als seine SWE-bench-Zahlen, und genau diese Lücke ist der Punkt. FrontierCode ist ein Benchmark, in dem es noch echten Headroom für Verbesserung gibt. Sonnet 4.6 bei 15.1% zeigt die Größenordnung des Sprungs.

CursorBench

Ein agentic Coding-Benchmark, erstellt und ausgeführt von Cursor (dem AI-Code-Editor-Unternehmen) in deren Production-Harness, also derselben Harness, die echte User in Cursors Produkt treffen. Aufgaben stammen aus echter Coding-Arbeit und externem Traffic.

Warum es zählt: Das ist einer der wenigen Fälle, in denen ein Dritter bereit ist, einen Cross-Model-Vergleich zu publizieren. Die Zahlen werden unabhängig von Cursor berichtet: Sonnet 5 bei 61.2%, Sonnet 4.6 bei 49%, Opus 4.8 bei 63.8%. Es ist kein synthetischer Benchmark. Es misst, wie gut das Modell in einer echten IDE abschneidet, gegen Aufgaben, die echte Cursor-User tatsächlich treffen.

USAMO 2026

Die USA Mathematical Olympiad. Sechs Proof-Probleme, zwei Tage, für Top-High-School-Studenten. Lösungen sind keine Zahlen. Es sind geschriebene Beweise. Bewertet wird mit der MathArena-Methodik: ein neutrales Modell schreibt jeden Beweis um, dann bewertet ein Panel von drei Frontier-Modellen gegen Rubrics. Der finale Score ist das Minimum über die Judges, was sehr strikt ist.

Warum es zählt: Die meisten AI-Mathe-Benchmarks geben dem Modell eine numerische Antwort zum Eintippen. USAMO zwingt das Modell, tatsächlich ein mathematisches Argument zu konstruieren und zu schreiben, was eine deutlich höhere Reasoning-Hürde ist. Der Sprung von 55% (Sonnet 4.6) auf 79.5% (Sonnet 5) ist auffällig. Sonnet 5 löst inzwischen proof-basierte Olympiad-Probleme in mehr als drei von vier Fällen.

Zum Vergleich: Opus 4.8 erreichte 96.7% und Mythos 5 erreichte 99.8% auf derselben Evaluation. Anthropics Framing von “near-Opus at Sonnet pricing” ist für die meisten Tasks grob akkurat, aber die absolute Spitze wird weiterhin von den teureren Modellen gehalten.

ArxivMath

Forschungslevel-Mathe-Probleme, monatlich aus aktuellen arXiv-Paper-Abstracts gezogen, gefiltert auf Selbstständigkeit, Nicht-Trivialität und Verifizierbarkeit. Näher an tatsächlicher Forschungsmathematik als an Wettbewerben.

Zwei Konfigurationen: ohne Tools (pures Reasoning) und mit Tools (kann Berechnungen ausführen, suchen). Sonnet 5 erreichte 65.7% ohne Tools und 72.2% mit Tools.

Warum es zählt: USAMO testet Wettbewerbs-Skill. ArxivMath testet, ob das Modell sich mit echter, aktueller Forschungsmathematik auseinandersetzen kann. Ein Score von 65 bis 72% ist ein Zeichen, dass das Modell einem arbeitenden Mathematiker plausibel assistieren kann, nicht nur einem Olympiad-Coach.

ProgramBench

Ein Long-Context-Coding-Benchmark. Das Modell bekommt nur ein Binary (ein kompiliertes Programm) und die Projektdokumentation und muss den Source Code from scratch rekonstruieren, ohne Internet-Zugang oder Decompiler-Tools. Aufgaben reichen von kleinen Utilities (jq, ripgrep) bis zu großen Systemen (FFmpeg, SQLite, der PHP-Interpreter).

Submissions werden über execution-basierte Behavioral-Tests bewertet. Es gibt 247.000+ Tests über den Benchmark hinweg, generiert über agent-driven fuzzing.

Warum es zählt: Das ist einer der wenigen Benchmarks, der speziell das 1-Millionen-Token-Context-Window-Claim testet. Das Modell muss eine gesamte große Codebase im Context halten und quer darüber Reasoning betreiben. Sonnet 5 erreichte 76 bis 86% über Episoden, verglichen mit 52 bis 74% für Sonnet 4.6. Das ist eine echte Long-Context-Geschichte, nicht nur eine Coding-Geschichte.

Multimodale Benchmarks (GDP.pdf, ChartMuseum, CharXiv, BenchCAD)

Ein Cluster von Benchmarks, die testen, ob das Modell non-textuelle Inputs lesen, parsen und darüber reasoning kann.

GDP.pdf: 100 Prompts und PDFs aus echten professionellen Workflows über zehn Domänen (Finance, Healthcare, Legal, Engineering, Insurance). Testet, ob das Modell Informationen über lange, komplexe Dokumente hinweg finden, querverweisen und synthetisieren kann. Sonnet 5 bei 67.5% ohne Tools, 81.6% mit Tools.
ChartMuseum und CharXiv Reasoning: wissenschaftliches Chart-Verständnis. Gegeben ein Chart und eine Frage, die richtige Zahl extrahieren. Wichtig für jeden Data-Analysis-Workflow. Anthropic berichtet ChartMuseum +10.8 Prozentpunkte über Sonnet 4.6, der größte multimodale Gain.
BenchCAD: programmatische CAD-Generierung. Gegeben eine Spec, Code schreiben, der ein 3D-Part generiert. Spezialisiert, aber ein echter Test von Mathe plus Code plus Spatial Reasoning.

Real-World Professional Tasks (OfficeQA, Real-World Finance V2, Legal Agent Benchmark, GDPval-AA v2, Toolathlon, AutomationBench, AA-Briefcase)

Eine Gruppe von Benchmarks, die das Modell mit der Art von Arbeit testen, die ein bezahlter Knowledge Worker macht. Das Highlight ist GDPval-AA v2, das Modelle auf realen, ökonomisch wertvollen Aufgaben aus tatsächlichen Berufen scored. Aufgaben kommen aus Domänen wie Finance, Recht, Healthcare, Engineering. Bewertet von Menschen, die Model-Outputs mit Experten-Outputs vergleichen, berichtet als Elo-Score (dasselbe Scoring-System wie im Schach, wo ein Unterschied von 100 Elo ungefähr eine 64%ige Gewinnwahrscheinlichkeit bedeutet).

Sonnet 5 bei 1618 Elo, up from 1395 für Sonnet 4.6, ist in Elo-Begriffen enorm. Zum Vergleich: Die Lücke zwischen zwei menschlichen Schach-Großmeistern beträgt oft weniger als 100 Elo.

Die anderen in diesem Cluster testen spezifische professionelle Oberflächen: Contract Review, Legal Citation, Finance-Workflows, Office-Document-QA, Tool-Orchestrierung, Automation-Scripts. Sie werden je nach Benchmark von Menschen, LLM-Judges oder durch Execution gegen versteckte Tests bewertet.

AutomationBench ist der eine, den man im Auge behalten sollte, wenn man gehofft hat, AI könne das Back-Office übernehmen. Sonnet 5 bei 13.5% (up from 5.3% für 4.6) ist ein riesiger Sprung in absoluten Zahlen, aber der Score ist immer noch niedrig. Automation auf diesem Level ist genuin unsolved, und Sonnet 5 hat die Double Digits nur knapp geknackt.

Healthcare (HealthBench, HealthBench Professional)

Medizinische Benchmarks, gebaut aus echten klinischen Szenarien, bewertet von Ärzten. Die “Professional”-Variante ist härter und zielt darauf, zu testen, ob das Modell echtes klinisches Reasoning unterstützen kann, nicht nur Trivia beantwortet.

Warum es zählt: Medical AI hat deutlich höhere Fehlerkosten als die meisten Domänen. Der Sprung von 44.2% auf 57.8% ist bedeutsam. Das ist der Benchmark, der für jedes AI-Doctor-Assistant-Produkt zählt.

Multilingual (GMMLU, MILU, INCLUDE)

Sprachspezifische Reasoning-Benchmarks für globale Sprachen (Koreanisch, Bengali und andere). Es geht darum zu prüfen, dass Gains nicht nur im Englischen stattfinden. Anthropic hat diese im Release nicht hervorgehoben, was ein kleines Tell ist: sie waren entweder nicht differenzierend oder nicht schmeichelhaft genug, um sie voranzustellen.

Wie man die Tabelle als Ganzes liest

Drei Patterns sind es wert, im Kopf zu behalten.

Erstens, die agentic-Zahlen sind da, wo die Action ist. SWE-bench Pro, Terminal-Bench, FrontierCode, OSWorld, ProgramBench. Diese messen das Modell, wie es in echten Umgebungen Dinge tut, nicht nur Fragen beantwortet. Sonnet 5’s größte Gains sind hier, und hier liegt auch das meiste, was es in der Praxis anders macht.

Zweitens, wo Sonnet 5 noch hinter Opus und Mythos liegt, schließt sich die Lücke schnell. Bei USAMO 2026 erreichte Sonnet 5 79.5%. Opus 4.8 erreichte 96.7%. Mythos 5 erreichte 99.8%. Anthropics “near-Opus at Sonnet pricing”-Framing ist für die meisten Tasks grob akkurat, aber die absolute Spitze wird weiterhin von den teureren Modellen gehalten.

Drittens, die Scores, die sich kaum bewegt haben, sind die, die bereits saturiert waren. GDP.pdf ging von 66.9% auf 67.5%, weil 4.6 bereits nahe am Ceiling dessen war, was dieser Benchmark diskriminieren kann. Die Benchmarks, auf denen Sonnet 5 riesige Sprünge gemacht hat (FrontierCode +23.7 Prozentpunkte, USAMO +24.5 Prozentpunkte), sind die, in denen es noch Headroom für echte Verbesserung gibt. Das ist ein nützliches General Principle: Wenn ein Modell-Score sich kaum ändert, fragt euch, ob der Test überhaupt noch unterscheiden kann.

Was die System Card nicht sagt

Ein paar Dinge fehlen auffällig aus all dem, und die Abwesenheiten sind selbst informativ.

Keine Architektur-Details. Keine Parameteranzahl, keine Layeranzahl, kein Attention-Mechanismus, keine MoE-vs-Dense-Aussage, kein Training-Compute. Anthropic hält diese Linie seit der 3er-Serie. Wenn ein Dritter (SemiAnalysis, The Information, ein arXiv-Paper) Spezifika reverse-engineered hat, würde ich dieses Paper sehen wollen, bevor ich es zitiere. Inference ist ein Modell, kein Fakt.

Keine Training-Data-Komposition jenseits von “publicly available information, public and private datasets, and synthetic data.” Keine Token-Counts. Keine Data-Mix-Prozente. Keine Information darüber, was warum oder wie gefiltert wurde.

Kein Vergleich zu 4.5. Jeder öffentliche Sonnet-5-Vergleich geht gegen Sonnet 4.6. Dass Anthropic eine 4.5-Referenz überspringt, suggeriert, dass 4.6 die Version ist, die sie als unmittelbaren Vorgänger ansehen, und 4.5 wird leise aus der Konversation entfernt.

Die Pricing-Story ist in gewissem Sinne die Architektur-Story. Sonnet 5 launcht bei $3 pro Million Input-Tokens und $15 pro Million Output (mit einem Einführungsrate von $2 / $10 bis zum 31. August 2026). Das ist dasselbe wie Sonnet 4.6. Die Produktoberfläche ist ebenfalls dieselbe: 200K Context Standard, 1M Beta, 10M mit Context Compaction, text-only Output, multimodaler Input. Der API-Contract ist im Wesentlichen identisch zu 4.6, also ist die Migration für die meisten User ein Model-Name-Swap. Die Verbesserung liegt im Post-Training und Inference-Verhalten, nicht in irgendeinem der Hebel, die Developer ziehen.

Was ich aus dem allen mitgenommen habe

Ich bin rein gegangen mit dem Wunsch zu wissen, was sich verändert hat. Ich bin rausgekommen mit zwei Dingen.

Das Erste ist eine ehrlichere Beziehung zu Modellrelease-Ankündigungen. Anthropics Blogpost ist in jeder Behauptung korrekt, aber er erzählt nicht die ganze Geschichte. Der interessante Teil steht nicht in der Prosa. Er steht in der System Card, und die System Card ist so strukturiert, dass der interessante Teil in einer 50-seitigen Section liegt, die die meisten Leser nicht erreichen. Das zu wissen heißt, dass ich nächstes Mal weiß, dass ich die System Card lesen muss, und weiß, was ich anschaue, wenn ich es tue.

Das Zweite ist ein deutlich besseres Verständnis der Benchmarks selbst. Ich schreibe seit Jahren über AI und musste trotzdem nachschlagen, was FrontierCode tatsächlich graded, oder was der Unterschied zwischen ProgramBench und SWE-bench Multilingual wirklich ist. Dinge benennen ist nicht dasselbe, wie sie kennen. Die Benchmark-Namen sind fast designed, um opak zu sein: kurz, technisch und voller Annahmen. Das Anthropic-Team und ich benutzen dieselben Worte für sehr unterschiedliche Dinge.

Wenn ihr so weit gelesen habt, habt ihr jetzt ein funktionierendes Vokabular für jeden Benchmark in der Sonnet-5-System-Card. Wenn der nächste Modellrelease landet, könnt ihr das Marketing überspringen und direkt die System Card lesen. Ihr werdet wissen, was die Zeilen bedeuten, wie das Grading funktioniert, und warum ein 10-Punkte-Sprung auf einer Zeile größere News ist als ein 10-Punkte-Sprung auf einer anderen.

Das ist, was ich lernen wollte. Das ist, was ich teile.

Quellen: Introducing Claude Sonnet 5 (Anthropic, 30. Juni 2026), Claude Sonnet 5 System Card (Anthropic, 30. Juni 2026, 146 Seiten).