Wir verloren 50 Millionen Spans, und nichts hat es geloggt.

observability opentelemetry kubernetes devops mechanism

Der Alert, der feuerte, war eine Warnung über eine saturierte Export-Queue. In seiner Beschreibung stand, man solle Consumer-Lag stromaufwärts erwarten. Das war das einzige Signal, und es zeigte auf das falsche Problem. Als ich verstanden hatte, was passiert war, hatte eine Observability-Pipeline zwei Stunden lang still genau die Daten verworfen, zu deren Erfassung sie existiert: rund 45 bis 50 Millionen Spans, davon etwa 600.000 Billing-Spans, weg, ohne dass irgendwo in der Flotte ein Zähler hochgezählt oder ein Fehler geloggt wurde.

Der Auslöser war banal. Ein morgendliches Deploy lenkte den OTEL_EXPORTER_OTLP_ENDPOINT jedes Service vom alten Trace-Pfad auf einen neuen Collector um, der als StatefulSet lief. Der neue Collector war in jeder Hinsicht korrekt bis auf eine: Er war für ein Rinnsal ausgelegt, und der Cutover reichte ihm den Feuerwehrschlauch.

Warum der Verlust keine Spur hinterließ

Der Exporter des neuen Collectors hatte eine persistierte Sende-Queue von 100 Records und nutzte block_on_overflow. Diese eine Einstellung ist der ganze Grund, warum der Vorfall unsichtbar war.

Wenn die Queue voll ist, lässt block_on_overflow den Receiver keine Daten mehr annehmen, bis ein Slot frei wird. Der Backpressure wandert den gRPC-Stream zurück zum OpenTelemetry-SDK des Service, und das SDK tut, was SDKs tun, wenn sie einen Span nicht abgeben können: Es verwirft ihn. Die eigenen Verlustzähler des Collectors, auf die man alerten würde, standen alle auf exakt null, weil der Collector nie etwas verworfen hat. Er verweigerte die Annahme, sauber, und der Verlust geschah einen Hop weiter oben, in Hunderten von Applikationsprozessen, wo nichts gezählt hat.

Ich habe die Logs von 230 Pods nach einem Export-Fehler durchsucht. Es gab keinen. Die SDKs verwerfen standardmäßig still; ein verworfener Span ist eine Metrik, die man suchen muss, keine Zeile, die in einem Log auftaucht. Das ist die Falle, die man verinnerlichen sollte: In einer OTLP-Pipeline passiert der Verlust nicht dort, wo man hinschaut. Der Collector ist die naheliegende Stelle zum Instrumentieren, und der Collector ist genau die Komponente, die den ganzen Vorfall über sauber blieb.

Messen, was nichts gezählt hatte

Ohne einen Zähler blieb nur Erhaltung, um den Verlust zu beziffern: die angekommenen Spans gegen die, die hätten ankommen müssen. Das Tracing-Backend hatte die akzeptierten Daten noch, also zog ich die Span-Raten pro Service für dasselbe Zeitfenster an drei Tagen, am Tag des Vorfalls, am Tag davor und eine Woche davor.

Zwei Dinge fielen aus diesem Vergleich. Erstens die Form. Services mit hohem Volumen hatten 45 bis 85 Prozent ihrer Spans im Fenster verloren, während Services mit niedrigem Volumen unverändert blieben. Ein gleichmäßiger Ausfall sieht nicht so aus; Backpressure schon, denn die Services, die am meisten produzieren, stoßen zuerst gegen die verschlossene Tür. Zweitens die Größe: Etwa 25,5 Millionen Spans kamen im Fenster von zwei Stunden zehn Minuten an, gegen 73,8 Millionen am Vortag und 77,6 Millionen eine Woche zuvor. Skaliert mit dem Verhältnis vor dem Cutover ergab das einen Verlust von 45 bis 50 Millionen Spans, als Obergrenze. Der Billing-Pfad erzählte dieselbe Geschichte im Kleinen: 391.000 exportierte Billing-Spans gegen rund eine Million an beiden Vergleichstagen.

Ein Detail an dieser Methode ist eine stehende Mine. Die Vergleichsfenster müssen explizite halboffene Bereiche sein, [von, bis), mit denselben Grenzen an jedem Tag. Eine schlampige Query, die auf “Stunde 10” matcht, schließt an zwei Tagen zwei verschiedene Stunden ein und meldet still einen Unterschied, der in Wahrheit ein Fenster-Versatz ist. Genau das ist mir schon einmal passiert, und es ist hier wieder passiert, bevor ich die Bereiche festgenagelt hatte.

Der Engpass war nicht der, nach dem ich zuerst griff

Meine erste Erklärung war, dass die 100-Record-Queue die Durchsatzgrenze sei. Auf einer persistierten Queue ist die Zahl der Requests in flight durch die Queue-Tiefe begrenzt, also war das Anheben auf 1000 und das Vervierfachen der Consumer-Zahl der naheliegende Live-Patch, und er half auch: Die Rate pro Replica stieg von etwa 1.000 Spans pro Sekunde auf rund 4.000. Aber die Queue über den Punkt hinaus anzuheben, an dem sie nicht mehr überlief, brachte nichts mehr, was bedeutete, dass die Queue-Tiefe nicht die eigentliche Grenze war.

Die eigentliche Grenze lag darin, wie der Exporter mit dem Broker spricht. Der nachgelagerte Broker ist S3-gestützt und batcht Schreibvorgänge in einem Fenster von etwa einer Sekunde, und der Exporter hält nur einen Produce-Request pro Broker in flight, ohne Stellschraube in der Version, die wir fahren. Jede Replica konnte also etwa einen Produce pro Sekunde abschließen, und ein Span, der mitten in einem Produce ankam, wartete schlicht auf den nächsten. Der Hebel war nie die Queue-Tiefe oder die Consumer-Zahl. Es war, wie viele Spans in jedem Produce mitfahren.

Jeder Record trug einen Batch von 20 Spans, eine Zahl aus dem alten Pfad geerbt, wo Records jeweils Megabytes groß waren und 20 schon viel war. Aber Live-Spans aus dem SDK sind etwa 1,2 KB, keine Megabytes, also war ein 20-Span-Record winzig, und das Produce-Limit pro Sekunde übersetzte sich in eine lächerlich niedrige Span-Rate. Den Batch auf 100 Spans pro Record anzuheben, brachte die Grenze pro Replica von etwa 4.000 Spans pro Sekunde auf rund 50.000. Ich blieb bei 100, statt höher zu gehen, weil die Dimensionierung gegen den schlimmsten Fall halten muss, nicht gegen den Durchschnitt: Der größte Ein-Minuten-Durchschnitts-Record der Vorwoche war 2,8 MiB, und 100 Spans halten einen Abstand von 9x unter dem 128-MiB-Record-Limit des Brokers, während 200 Spans diesen Abstand auf 4,5x drückten und es nicht wert waren.

Der befriedigende Teil war die Kostenprüfung. Größere Batches bedeuten weniger, größere Records, und ich rechnete damit, das irgendwo zu bezahlen. Bei gleicher Span-Rate vorher und nachher waren der komprimierte Byte-Durchsatz, der Pod-Egress, die Object-Storage-Request-Raten des Brokers und der Ingest des Backends alle unverändert. Der Broker schreibt ein Objekt pro Batch-Fenster, egal wie viele Records darin ankommen, also ist es nahezu kostenlos, mehr Spans in jeden Record zu packen. Der Fix, auf den es ankam, kostete nichts.

Die Wendung: Verwerfen ist nicht das schlimmste Ergebnis

Es gibt eine schärfere Kante an der Sache als “wir haben Daten verloren”, und sie tauchte als Anomalie auf, die ich fast abgetan hätte. Nachdem die Pipeline sich erholt hatte, kehrte das Span-Volumen nicht einfach zur Norm zurück; es lief eine Weile deutlich darüber, was für ein Ereignis, das Spans verloren haben sollte, keinen Sinn ergab.

Die Ursache war eine vorgelagerte Integration, deren Reader unter Backpressure nicht verwarf. Er blockierte. Sein eigener Durchsatz brach ein, sein Processing-Lag stieg, und als der Collector endlich frei wurde, spielte er seinen gesamten Rückstau mit maximaler Rate nach, kurzzeitig etwa 2,3x des normalen Volumens. Für diese eine Datenquelle war der Span-Backpressure in echten Verzug bei der Geschäftsverarbeitung umgewandelt worden, Daten kamen zu spät statt gar nicht.

Das ist die unbequeme Design-Frage, die der Vorfall zutage förderte. “Nie einen Produktions-Span verlieren” und “nie Produktionsdaten verzögern” sind nicht dasselbe Ziel, und unter einem gestauten Collector ziehen sie in entgegengesetzte Richtungen. Ein SDK, das auf Verwerfen gestellt ist, schützt die Latenz der Applikation und opfert Telemetrie. Ein SDK, das auf Blockieren gestellt ist, schützt die Telemetrie und injiziert Latenz in das, was sie produziert. Welches davon richtig ist, ist eine Entscheidung des Applikationsteams darüber, was dieser konkrete Service verkraften kann, und es ist keine Entscheidung, die ein Observability-Default still für alle treffen sollte.

Was den Wiederholfall tatsächlich verhindert

Das Vergrößern der Queue und die Batch-Änderung behoben den Durchsatz. Keines von beiden würde das Wiederauftreten verhindern, denn der Fehler war nicht, dass eine Queue zu klein war; es war, dass eine vollaufende Queue niemandem gemeldet wurde, bis sie zwei Stunden lang voll war.

Der dauerhafte Fix war also ein neuer kritischer Alert, der die Live-Exporter-Queue direkt beobachtet und feuert, wenn sie fünf Minuten lang über 95 Prozent voll bleibt, pro Replica, bevor die SDKs stromaufwärts anfangen, die Übergabe zu verweigern. Die generische Saturierungs-Warnung, die am Anfang fehlfeuerte, schließt diesen Exporter jetzt explizit aus, damit die beiden Alerts nicht durcheinanderreden.

Ich habe auch versucht, einen Tag-gegen-Tag-Intake-Alert hinzuzufügen, “die Spans von heute liegen weit unter denen von gestern”, und konnte es nicht. Der Produktions-Metrik-Speicher hält nur 48 Stunden, und der Traffic hat starke Wochen-Saisonalität: Ein Samstagmorgen läuft legitim auf einem Drittel eines Freitags. Es gibt keinen ehrlichen Schwellenwert für eine Regel, die die Vorwoche nicht sehen kann. Dieser Vergleich lebt stattdessen auf einem Dashboard mit längerfristigem Speicher, mit dem Intake gegen dasselbe Fenster eine Woche zuvor geplottet, damit ein Mensch ein Cutover-förmiges Loch auf einen Blick sieht.

Was bleibt

  • In einer OTLP-Pipeline instrumentiere die Sender, nicht nur den Collector. block_on_overflow verschiebt den Verlust in die Applikations-SDKs, wo die sauberen Verlustzähler des Collectors ihn nie sehen. Alerte darauf, dass die Queue vollläuft, stromaufwärts vom Verwerfen.
  • Eine Queue-Tiefe ist selten die Durchsatzgrenze. Wenn das Anheben einer Queue über den Überlaufpunkt nichts bringt, liegt die Grenze woanders; hier war es ein Produce pro Broker in flight, und der eigentliche Hebel waren Spans pro Record.
  • Verwerfen und Blockieren sind verschiedene Fehler. Das eine verliert Telemetrie, das andere verzögert Geschäftsdaten. Wähle bewusst pro Service; lass kein Default für dich wählen.
  • Dimensioniere Batches gegen den schlimmsten Fall, nicht den Durchschnitt. Das Record-Limit ist eine harte Grenze, und der größte Record einer Woche ist das, was darunter passen muss.
$ cat KUBERNETES .md
· 6 Min. Lesezeit

Der Cluster nutzte 160 Millicores. Seine Requests brauchten sechs Nodes.

Vor unserem ersten Kunden fragte ich, ob drei mittelgroße Nodes die Produktion tragen können. Der Cluster nutzte etwa 160 Millicores CPU, doch seine Resource-Requests hielten sechs Nodes beschäftigt. Hier steht, warum Requests und nicht die Nutzung die Node-Anzahl bestimmen, warum auch die Autoscaler Requests lesen und warum die Kapazität eines Clusters nicht die Kapazität des Produkts ist, wenn die teure Arbeit bei einem Anbieter läuft.

kubernetes eks finops devops mechanism
$ cat KUBERNETES .md
· 7 Min. Lesezeit

Die Constraint war erfüllt. Die Zone war trotzdem leer.

Eine topologySpreadConstraint ist immer nur eine Aussage über die Population, die ihr Selector matcht, und ein vom Operator gesetztes Label kann verwandte Deployments unbemerkt in eine gemeinsame Zählung zusammenfassen. Drei Collector erfüllten jeder für sich ihre harte Zonen-Spread, während ihre Vereinigung eine Zone leer ließ, und die Standard-Reparatur konvergierte jedes Mal auf dieselbe falsche Antwort.

kubernetes scheduling opentelemetry finops mechanism
$ cat KUBERNETES .md
· 10 Min. Lesezeit

Das Upstream-Projekt ist archiviert. Die CVE nicht.

Über Nacht kamen zwei NGINX-HTTP/2-Lücken, die Remote Code Execution ohne Authentifizierung erlauben, und unsere Ingress-Controller waren betroffen. Der übliche Fix, ein Update auf das neueste Release, schloss nichts: ingress-nginx wurde im März archiviert, und sein letztes Release enthält ein NGINX, das nie mehr gepatcht wird. So habe ich nachgewiesen, was tatsächlich erreichbar war, HTTP/2 als Notlösung abgeschaltet, die Fixes in einen eigenen Build zurückportiert und ihn ohne Ausfall ausgerollt.

kubernetes security devops helm nginx