Die Notiz behauptete, das Image sei falsch. Das Image war richtig. Drei Prüfungen bestätigten es.

docker arm64 verification knowledge-management devops

Eine Notiz im Wissensspeicher des Projekts behauptete, das Produktions-Image sei amd64-only und laufe möglicherweise nicht auf Graviton-Knoten. Drei unabhängige Prüfungen stimmten zu. Das Image war nicht amd64-only. Ein nativer arm64-Build gelang ohne jede Quelltextänderung, schneller als der vermeintlich unbrauchbare Pfad mit der falschen Architektur. Dieser Beitrag ist keine Betrachtung über eine falsche Behauptung. Er untersucht, warum eine dreimal verifizierte Behauptung die gefährlichste Form einer falschen Behauptung ist, weil Verifikation zur Evidenz durch Volumen geworden ist.

Das erste Exponat: die ursprüngliche Notiz

Die Notiz war mit der Sicherheit einer Beobachtung verfasst. Sie hielt fest, was das Upstream-Image veröffentlicht. Diese Verteilungsform ist tatsächlich amd64-only; der Image-Stream des Charts bewirbt ausschließlich x86_64. Die Notiz verallgemeinerte aus dieser Beobachtung heraus auf das, was das Dockerfile.production des Projekts baut. Zwei verschiedene Eigenschaften, festgehalten als eine. Der Fehler lag nicht in dem, was die Notiz beobachtet hatte. Er lag in dem, was die Notiz aus der Beobachtung verallgemeinerte.

Was die Notiz nicht festhielt, war die Unterscheidung, denn die Unterscheidung war nicht der Gegenstand der Prüfung. Wer die Notiz sechs Sitzungen später zitiert, erbt die Beobachtung und die Verallgemeinerung als einen einzigen selbstsicheren Satz. Wissensspeicher bewahren keine Unsicherheit. Sie bewahren Schlussfolgerungen.

Das zweite Exponat: der lokale Start, der die Lücke verbarg

Bevor der Chart geschrieben wurde, wurde das Image lokal gestartet. Das war der wirksamste Schritt in der gesamten Übung, und der lokale Start gelang. Der Startbefehl verwendete -p 8080:80, was den falschen Port auf dem Host mappte. Die Anwendung im Container lauscht auf Port 80. Das nginx-ERB liest CG_HTTPS_PORT und CG_HTTP_PORT; der Chart würde gleich APP_PORT und REDIRECT_PORT injizieren. Diese vier Zahlen waren unterschiedlich. Der Container, auf 8080 auf dem Host gemappt, saß dort kerngesund auf Port 80 intern, und jede Sonde, die den laufenden Container berührte, sah gesund aus.

Der lokale Start war nicht das Problem. Der lokale Start war das Richtige. Das Flag, das ihn gesund aussehen ließ, war das Problem, denn das Flag verwandelte einen echten Unterschied in einen verborgenen. Eine Prüfung, die die richtige Antwort auf die falsche Frage liefert, ist die teuerste Form von Grün, weil sie nicht wie ein Fehler aussieht. Sie sieht aus wie geleistete Arbeit.

Das dritte Exponat: die Behauptung trifft auf ihr Gegenteil

Ein nativer arm64-Build wurde auf derselben Maschine versucht, in einem Durchlauf, ohne jede Quelltextänderung. Dasselbe Dockerfile. Dasselbe Basis-Image. Derselbe docker build-Aufruf. Er gelang. Die vorherige Behauptung, die dreimal verifiziert worden war, traf auf ein Experiment, das sie unmittelbar widerlegte, und die Widerlegung dauerte wenige Sekunden.

Der bemerkenswerte Moment war nicht das Gelingen des Builds. Es war der kurze Augenblick davor, in dem jede vorherige Prüfung sich gleich als Evidenz für die falsche Hypothese offenbaren würde. Die Kosten dieses kurzen Augenblicks sind der Beitrag, denn die Kosten dieses kurzen Augenblicks waren im Voraus von jedem künftigen Leser bezahlt worden, der der Notiz vertraut hatte.

Warum drei Prüfungen es nicht erkannten

Die drei Prüfungen beantworteten drei verschiedene Fragen. Die erste bestätigte die Upstream-Verteilungsform. Die zweite bestätigte den lokalen Start, auf einem port-gemappten Container, der auf dem falschen Port gesund war. Die dritte bestätigte, dass der Chart rendert. Jede Antwort war korrekt. Jede Antwort galt einer anderen Frage, und keine davon war die Architektur-übergreifende Frage.

Die Form des Versagens ist, dass die Kette grüner Prüfungen keine Beweiskette für dieselbe Hypothese war. Sie war eine Kette unabhängiger Verifikationen, die jeweils ihre eigene Frage beantworteten, von denen keine zufällig die Frage war, auf die sich die ursprüngliche Behauptung bezog. Das Volumen des Grün war die Oberfläche. Die Ausrichtung der Fragen war die Substanz, und die Fragen waren nicht ausgerichtet.

Dies ist der Teil des Beitrags, der verallgemeinerbar ist. Eine dreimal verifizierte Behauptung wirkt stärker als eine einmal verifizierte, aber die Zahl drei ist kein Multiplikator für Wahrheit. Drei Antworten auf drei verschiedene Fragen sind nicht stärker als eine Antwort auf die richtige Frage. Sie sind schwächer, weil jede zusätzliche grüne Prüfung zu einer Nebenfrage die ursprünglich falsche Behauptung wie eine gesicherte Tatsache erscheinen lässt und schwerer herauszufordern macht.

Die Falle des tragbaren Rahmens

Die ursprüngliche Behauptung der Notiz war tragbar. Sie wanderte zwischen Sitzungen, zwischen Reviewern, zwischen dem Chart-Autor und dem Start-Autor. Die lokale Terminal-Ausgabe war nicht tragbar. Sie lebte in einem Shell-Fenster, scrollte aus dem Blickfeld und wurde nie wieder zitiert.

Tragbare Artefakte sammeln Evidenz, indem sie wiederholt zitiert werden. Lokale Beobachtungen sammeln Evidenz, indem sie wiederholt werden, und Wiederholung erfordert einen Leser. Die Notiz überlebte, weil sie zitierbar war; die Start-Ausgabe überlebte nicht, weil sie beobachtet werden musste. Die Asymmetrie ist strukturell, nicht absichtlich, und Wissensspeicher erben die Asymmetrie, ohne sie zu wählen.

Die Disziplin der datierten Korrekturen ist hier entscheidend. Die falsche Version der Notiz ist das, was eine künftige Sitzung als Wahrheit annimmt. Stille Korrekturen entfernen die falsche Version, hinterlassen aber keinen Hinweis darauf, dass die falsche Version jemals die richtige war, sie zu hinterfragen. Ein datierter Hinweis in der Notiz, der die Frage benennt, welche die ursprüngliche Prüfung beantwortete, und die Frage, welche die nächste Prüfung stellen wird, ist es, was die Falle schließt. Er verhindert nicht, dass tragbare Behauptungen driften. Er verhindert, dass der nächste Leser die Drift erbt, ohne sie zu sehen.

Die Regel und die Falle

Eine dreimal verifizierte Behauptung ist die gefährlichste Form einer falschen Behauptung, weil Verifikation zur Evidenz durch Volumen geworden ist. Die Anzahl der Prüfungen ist kein Beweis für die Korrektheit; die Frage, die jede Prüfung beantwortet hat, ist es.

Wenn beim nächsten Mal eine Notiz im Wissensspeicher eine Behauptung weiterträgt, die die nächste Übung widerlegen wird, dann lautet die Frage nicht “ist diese Behauptung wahr”. Die Frage lautet: “welche Frage hat die ursprüngliche Prüfung beantwortet, und ist das die Frage, die diese Prüfung stellen wird”. Die beiden fallen ohne Hinweis selten zusammen.

$ cat OBSERVABILITY .md
· 7 Min. Lesezeit

Die neue Pipeline schien Spans zu verlieren. Die alte hatte ~47k Duplikate.

Während einer Parallel-Run-Validierung zeigte ein nebeneinander gestellter Per-Service-Span-Count, dass die neue Pipeline ~0,2% der Spans pro Service über ein 60-Minuten-Fenster verlor. Als Regression der neuen Pipeline gelesen, hätte es einen Rollback ausgelöst. Richtig gelesen, fügte die alte Pipeline in einem wenige-Sekunden-Fenster Zehntausende doppelter Zeilen ein. Die Speicherschicht hat keine Eindeutigkeitsbeschränkung auf das Gezählte; die Einheit, die sie als 'count' ausgibt, ist nicht die Einheit, die der Operator annimmt.

observability clickhouse verification troubleshooting devops
$ cat KUBERNETES .md
· 10 Min. Lesezeit

Das Upstream-Projekt ist archiviert. Die CVE nicht.

Über Nacht kamen zwei NGINX-HTTP/2-Lücken, die Remote Code Execution ohne Authentifizierung erlauben, und unsere Ingress-Controller waren betroffen. Der übliche Fix, ein Update auf das neueste Release, schloss nichts: ingress-nginx wurde im März archiviert, und sein letztes Release enthält ein NGINX, das nie mehr gepatcht wird. So habe ich nachgewiesen, was tatsächlich erreichbar war, HTTP/2 als Notlösung abgeschaltet, die Fixes in einen eigenen Build zurückportiert und ihn ohne Ausfall ausgerollt.

kubernetes security devops helm nginx
$ cat KUBERNETES .md
· 6 Min. Lesezeit

Der Cluster nutzte 160 Millicores. Seine Requests brauchten sechs Nodes.

Vor unserem ersten Kunden fragte ich, ob drei mittelgroße Nodes die Produktion tragen können. Der Cluster nutzte etwa 160 Millicores CPU, doch seine Resource-Requests hielten sechs Nodes beschäftigt. Hier steht, warum Requests und nicht die Nutzung die Node-Anzahl bestimmen, warum auch die Autoscaler Requests lesen und warum die Kapazität eines Clusters nicht die Kapazität des Produkts ist, wenn die teure Arbeit bei einem Anbieter läuft.

kubernetes eks finops devops mechanism