1. Oktober 2026 · 7 Min. Lesezeit
Die Snapshots summierten sich auf 21 TiB. Das Löschen brachte 687 GiB.
Nach einer Woche Urlaub öffnete ich Cost Explorer, um eine Aufgabe abzuschließen, die ich vor der Abreise angefangen hatte: die EBS-Snapshot-Rechnung in unserem Produktions-Account. Die Monatsansicht für September zeigte Snapshots immer noch als einen der größeren Speicherposten, also suchte ich, was sich noch kürzen ließ.
Die Tagesansicht erzählte etwas anderes. Der Snapshot-Posten war am 17. September von etwa 33 $ auf 4,90 $ pro Tag gefallen, zwölf Tage zuvor. Der Fix war längst live, und ich hatte ihn selbst ausgerollt. Der Monatsbalken mischte sechzehn Tage vor der Änderung mit zwölf Tagen danach und zeigte einen Durchschnitt, der keinen der beiden Zustände beschrieb. Wenn sich Kosten mitten in einem Zeitraum ändern, lies sie auf Tagesbasis, bevor du entscheidest, was noch zu tun ist.
Der Rest dieses Beitrags handelt davon, warum dieser Fix funktioniert hat, warum der geplante Cleanup etwa dreißigmal weniger wert war, als seine Zahlen versprachen, und von einem Irrtum über Snapshots, den ich selbst aufgeschrieben hatte.
Snapshots werden nach geänderten Blöcken abgerechnet
EBS-Snapshots sind inkrementell. Der erste Snapshot eines Volumes speichert jeden Block, der je geschrieben wurde. Jeder weitere speichert nur die Blöcke, die sich seit dem vorherigen geändert haben. Bezahlt werden gespeicherte Blöcke, im Standard-Tier etwa 0,05 $ pro GB und Monat. Die provisionierte Größe des Volumes kommt in der Rechnung nicht vor.
Damit ist die provisionierte Größe ein schlechter Ersatzwert für die Snapshot-Kosten, und in unserem Account lag sie um zwei Größenordnungen daneben. Das sind gemessene Änderungen zwischen zwei aufeinanderfolgenden täglichen Snapshots:
| Volume | Provisioniert | Geändert in 24 h |
|---|---|---|
| Analytische Column-Store-Datenbank (×3) | 1280 GB | je 97,7 GiB |
| Zeitreihen-Datenbank (×3) | 300 GB | 6,9 GiB |
| Daten des CI-Servers | 200 GB | 0,18 GiB |
| Datenplatte einer gestoppten Instanz | 150 GB | 0,00 GiB |
Eine Column-Store-Datenbank schreibt ihre Datendateien ständig neu. Hintergrund-Merges fassen kleine Parts zu größeren zusammen, und ein gemergter Part ist ein neuer Satz Blöcke auf der Platte, auch wenn die Zeilen darin dieselben sind. Jeder tägliche Snapshot dieser Volumes war deshalb fast eine Vollkopie. Mit einer Lifecycle-Policy, die 14 tägliche, 13 wöchentliche und 12 monatliche Snapshots behält, dominierten diese drei Volumes die gesamte Snapshot-Rechnung. Die 150-GB-Platte der gestoppten Instanz kostete nichts, was fair ist, denn sie war auch am wenigsten schützenswert.
Am 17. September kamen die Column-Store- und Zeitreihen-Volumes aus der Snapshot-Policy. Vorher habe ich geprüft, dass jedes einen anderen Weg zurück hat. Die Zeitreihen-Datenbank schickt ihr WAL täglich in einen Objektspeicher, und ich habe bestätigt, dass diese Läufe tatsächlich durchliefen und nicht nur eingeplant waren. Die Column-Store-Datenbank enthält Observability-Daten, die sich neu aufbauen lassen. Wiederherstellbare Daten mit starker Compaction sind ungefähr das Schlechteste, was man täglich snapshotten kann: Man zahlt jeden Tag fast eine Vollkopie, um etwas zu schützen, das man im Ernstfall lieber neu erzeugen würde.
Die Lehre: Beurteile ein Volume nach seinem Schreibmuster, nicht nach seiner Größe. Frag, was das Volume den ganzen Tag tut, bevor du fragst, wie groß es ist.
Das Delta messen
Mit den EBS Direct APIs lassen sich zwei Snapshots desselben Volumes Block für Block vergleichen. list-changed-blocks liefert die Blöcke, die sich unterscheiden, und list-snapshot-blocks jeden Block, den ein einzelner Snapshot referenziert. Blockanzahl mal BlockSize (512 KiB) ergibt Bytes.
Eine Falle hat mir zuerst eine falsche Antwort eingebracht. Die API liefert pro Seite weit weniger Blöcke, als --max-results vermuten lässt, und die AWS CLI paginiert diesen Aufruf nicht selbst. Mein erstes Skript begrenzte die Seitenzahl, meldete also eine Untergrenze und nannte sie das Ergebnis. Die Schleife muss NextToken folgen, bis keiner mehr kommt:
count=0; token=""
while :; do
page=$(aws ebs list-changed-blocks \
--first-snapshot-id "$older" --second-snapshot-id "$newer" \
${token:+--next-token "$token"} --output json)
count=$(( count + $(jq '.ChangedBlocks | length' <<<"$page") ))
token=$(jq -r '.NextToken // empty' <<<"$page")
[ -z "$token" ] && break
done
echo "$(( count / 2 )) MiB changed" # 512-KiB-Blöcke
Auf einem aktiven Volume ist das langsam, denn ein Delta von 97 GiB sind knapp 200.000 Blöcke. Es ist trotzdem die einzige Zahl, die sagt, was ein Snapshot wirklich kostet.
Zwölf Tage später: die Ablagerungen
Am 29. September lagen 1.177 Snapshots im Account. Nach Beschreibung gruppiert zeigte sich, dass vier Generationen von Snapshot-Jobs sie erzeugt hatten:
- die aktuelle Lifecycle-Policy, die einzige mit Aufbewahrungsregel;
- ein ausgemustertes wöchentliches Schema;
- drei Lifecycle-Policies, die über die Jahre ersetzt worden waren;
- ein nächtlicher Job auf einem alten CI-Server, der immer noch eine seit Monaten gestoppte Instanz snapshottete.
Dazu kamen Reste eines Message-Broker-Clusters, den es nicht mehr gibt, und Backup-Historie aus der Zeit vor einer Volume-Wiederherstellung. Nur die aktuelle Policy hat je etwas gelöscht. Alles andere hatte sich angesammelt, und eine Snapshot-Anzahl, die nach den Einstellungen einer Policy aussieht, ist in Wahrheit die Summe mehrerer Jobs, die niemand abgeschaltet hat.
Ich habe 655 davon gelöscht und dabei den jeweils neuesten Snapshot jedes ausgemusterten Volumes behalten, wo seine Historie noch zählen könnte. Von 1.177 blieben 522. Der Account hat keine Recycle-Bin-Regel, die Löschungen waren also endgültig. Das sollte man vorher prüfen, nicht danach.
Warum 21 TiB eigentlich 687 GiB waren
Vor dem Löschen hatte ich die Größen der Snapshots addiert. 529 der Snapshots auf der Liste meldeten zusammen etwa 21,7 TiB. Wäre das der freigegebene Speicher, wäre der Cleanup über 1.000 $ im Monat wert gewesen.
Freigegeben wurden etwa 687 GiB, rund 34 $ im Monat.
Die gemeldete Größe eines Snapshots ist das vollständige Volume-Image, das er wiederherstellen kann, nicht der Speicher, der ihm allein gehört. Vierzehn tägliche Snapshots desselben Volumes beanspruchen jeweils die ganze Platte, teilen aber fast alle Blöcke miteinander. Wer sie addiert, zählt dieselben Blöcke vierzehnmal.
Was eine Löschung freigibt, muss pro Quell-Volume als Kette berechnet werden:
U(Kette) = volle Größe des ältesten Snapshots
+ Σ geänderte Blöcke zwischen je zwei aufeinanderfolgenden
freigegeben ≈ U(alle Snapshots des Volumes) − U(die Snapshots, die bleiben)
list-changed-blocks funktioniert zwischen zwei beliebigen Snapshots derselben Linie, nicht nur zwischen Nachbarn. U(bleibend) lässt sich also auch berechnen, wenn die verbleibenden Snapshots Monate auseinanderliegen. Mach das, bevor du eine Zahl in ein Ticket schreibst. Die große Einsparung war schon am 17. September gekommen, durch die Änderung dessen, was die Policy abdeckt. Der Cleanup der Ablagerungen war eine Größenordnung kleiner, und die addierten Größen hätten ihn wie die Hauptsache aussehen lassen.
Eine Annahme, die ich zurücknehmen musste
Am 17. September hatte ich mit einiger Überzeugung notiert, dass Snapshots nach dem Löschen ihres Quell-Volumes keine günstigen Inkremente mehr sind, sondern für immer zu eigenständigen Vollkopien werden. Damit erklärte ich, warum ausgemusterte Schemata scheinbar am meisten kosteten.
Das ist falsch. Snapshots eines Volumes teilen weiterhin Blöcke miteinander, ob das Volume noch existiert oder nicht. Beim Löschen eines Snapshots entfernt EBS nur die Blöcke, die kein anderer Snapshot referenziert. Das Löschen des Volumes ändert am Snapshot-Speicher nichts.
Alte Backup-Schemata kosten aus einem viel banaleren Grund weiter Geld: Niemand löscht je ihre Snapshots. Die falsche Version war hier schlimmer als nutzlos, weil sie in dieselbe Richtung zeigte wie die addierten Größen. Beide sagten, die Ablagerungen seien der teure Teil, und beide lagen falsch.
Wo ich aufgehört habe
Die aktive Policy hält jetzt etwa 1.080 GiB, rund 54 $ im Monat. Eine kürzere Aufbewahrung mit 7 täglichen, 4 wöchentlichen und 6 monatlichen Snapshots würde davon etwa 12 $ sparen. Ich habe die Aufbewahrung so gelassen. In dieser Größenordnung ist das Wiederherstellungsfenster mehr wert als das Geld.
Eine Merkwürdigkeit ist noch offen. Ein kleines wiederhergestelltes Daten-Volume hat Snapshots, die mehr als doppelt so viel belegen wie das Volume selbst, also schreibt etwas darauf jeden Tag viele Blöcke neu. Das schaue ich mir als Nächstes an, aber bei diesen Zahlen ist es eine Kuriosität, kein Kostenproblem.
Was bleibt
- Snapshot-Kosten folgen dem Schreibvolumen. Miss das tägliche Delta mit
list-changed-blocks, bevor du entscheidest, was geschützt wird, und rechne damit, dass Datenbanken mit vielen Merges die Ausreißer sind. - Addierte Snapshot-Größen sind kein Speicher. Schätze pro Volume-Kette, was eine Löschung freigibt, sonst liegt die Zahl im Ticket um eine Größenordnung daneben.
- Lies Kosten in der Granularität der Änderung. Ein Monatsbalken, der einen Fix überspannt, zeigt einen Durchschnitt, den es an keinem einzelnen Tag gab.