جمع اسنپ‌شات‌ها ۲۱ TiB می‌شد. پاک کردنشون ۶۸۷ GiB آزاد کرد.

aws finops ebs devops mechanism

وقتی از یه هفته مرخصی برگشتم، Cost Explorer رو باز کردم تا کاری رو که قبل از رفتن شروع کرده بودم تموم کنم: صورت‌حساب اسنپ‌شات‌های EBS توی اکانت پروداکشنمون. نمای ماهانه‌ی سپتامبر هنوز اسنپ‌شات‌ها رو یکی از ردیف‌های بزرگ‌ترِ هزینه‌ی ذخیره‌سازی نشون می‌داد، پس رفتم ببینم چی مونده که بشه کمش کرد.

نمای روزانه داستان دیگه‌ای می‌گفت. ردیف اسنپ‌شات روز ۱۷ سپتامبر از حدود ۳۳ دلار در روز به ۴٫۹۰ دلار در روز افتاده بود، یعنی دوازده روز قبل. اصلاحش از قبل اعمال شده بود، و کسی که اعمالش کرده بود خودم بودم. ستون ماهانه شونزده روزِ قبل از تغییر رو با دوازده روزِ بعدش قاطی کرده بود و میانگینی نشون می‌داد که هیچ‌کدوم رو توصیف نمی‌کرد. اگه یه هزینه وسط یه دوره عوض شده، قبل از این‌که تصمیم بگیری چه کاری مونده، با دقت روزانه بخونش.

بقیه‌ی این پست درباره‌ی اینه که چرا اون اصلاح جواب داد، چرا پاک‌سازی‌ای که برنامه‌ش رو ریخته بودم حدود سی برابر کمتر از چیزی که عددهاش می‌گفتن می‌ارزید، و یه اشتباه درباره‌ی اسنپ‌شات‌ها که خودم یادداشتش کرده بودم.

هزینه‌ی اسنپ‌شات بر اساس بلاک‌های تغییرکرده‌ست

اسنپ‌شات‌های EBS افزایشی‌ان. اولین اسنپ‌شات یه والیوم هر بلاکی رو که تا حالا روش نوشته شده ذخیره می‌کنه. هر اسنپ‌شات بعدی فقط بلاک‌هایی رو ذخیره می‌کنه که از اسنپ‌شات قبلی به بعد عوض شدن. پول بلاک‌های ذخیره‌شده رو می‌دی، توی رده‌ی استاندارد حدود ۰٫۰۵ دلار برای هر گیگابایت در ماه. اندازه‌ی تخصیص‌داده‌شده‌ی والیوم اصلاً وارد این فرمول نمی‌شه.

برای همین اندازه‌ی تخصیص‌داده‌شده معیار بدی برای هزینه‌ی اسنپ‌شاته، و توی اکانت ما دو مرتبه‌ی بزرگی با واقعیت فاصله داشت. این‌ها تغییرهای اندازه‌گیری‌شده بین دو اسنپ‌شات روزانه‌ی پشت‌سرهم‌ان:

والیوماندازه‌ی تخصیص‌داده‌شده (گیگابایت)تغییر در ۲۴ ساعت (GiB)
دیتابیس ستونی تحلیلی (×۳)۱۲۸۰هر کدوم ۹۷٫۷
دیتابیس سری زمانی (×۳)۳۰۰۶٫۹
داده‌ی سرور CI۲۰۰۰٫۱۸
دیسک داده‌ی یه اینستنس متوقف‌شده۱۵۰۰٫۰۰

یه دیتابیس ستونی مدام فایل‌های داده‌ش رو بازنویسی می‌کنه. مرج‌های پس‌زمینه تیکه‌های کوچیک رو با هم ترکیب می‌کنن و تیکه‌های بزرگ‌تر می‌سازن، و یه تیکه‌ی مرج‌شده روی دیسک مجموعه‌ی جدیدی از بلاک‌هاست، حتی اگه ردیف‌های داخلش همون قبلی‌ها باشن. پس هر اسنپ‌شات روزانه از اون والیوم‌ها تقریباً یه کپی کامل بود. با یه پالیسی چرخه‌ی عمر که ۱۴ اسنپ‌شات روزانه، ۱۳ هفتگی و ۱۲ ماهانه نگه می‌داشت، این سه تا والیوم کل صورت‌حساب اسنپ‌شات رو قبضه کرده بودن. دیسک ۱۵۰ گیگابایتیِ اون اینستنس متوقف‌شده هیچ هزینه‌ای نداشت، که منصفانه هم هست، چون کم‌ارزش‌ترین چیز برای محافظت هم بود.

روز ۱۷ سپتامبر والیوم‌های دیتابیس ستونی و سری زمانی از پالیسی اسنپ‌شات خارج شدن. قبلش چک کردم که هر کدوم یه راه دیگه برای برگشت داشته باشن. دیتابیس سری زمانی هر روز WAL خودش رو به آبجکت استوریج می‌فرسته، و مطمئن شدم این اجراها واقعاً تموم می‌شن، نه این‌که فقط زمان‌بندی شده باشن. دیتابیس ستونی داده‌های مشاهده‌پذیری نگه می‌داره که می‌شه از نو ساختشون. داده‌ای که می‌شه از نو ساخت و کامپکشن سنگین داره، تقریباً بدترین چیزیه که می‌شه هر روز ازش اسنپ‌شات گرفت: هر روز پول تقریباً یه کپی کامل رو می‌دی تا از چیزی محافظت کنی که در هر حال ترجیح می‌دی از نو بسازیش.

درس این ماجرا اینه که والیوم رو با الگوی نوشتنش بسنجی، نه با اندازه‌ش. قبل از این‌که بپرسی چقدر بزرگه، بپرس کل روز داره چی کار می‌کنه.

اندازه‌گیری تغییرات

با EBS direct APIs می‌شه دو اسنپ‌شات از یه والیوم رو بلاک به بلاک مقایسه کرد. دستور list-changed-blocks بلاک‌هایی رو برمی‌گردونه که با هم فرق دارن، و list-snapshot-blocks همه‌ی بلاک‌هایی رو که یه اسنپ‌شات بهشون ارجاع می‌ده. تعداد بلاک‌ها رو در BlockSize (۵۱۲ KiB) ضرب کنی، اندازه به بایت به دست میاد.

یه تله باعث شد اول جواب غلط بگیرم. این API توی هر صفحه خیلی کمتر از چیزی که --max-results نشون می‌ده بلاک برمی‌گردونه، و AWS CLI صفحه‌بندی این فراخوانی رو خودش برات انجام نمی‌ده. اسکریپت اولم تعداد صفحه‌ها رو محدود کرده بود، پس یه حد پایین گزارش می‌کرد و اسمش رو گذاشته بود کل. حلقه باید NextToken رو دنبال کنه تا وقتی که تموم بشه:

count=0; token=""
while :; do
  page=$(aws ebs list-changed-blocks \
    --first-snapshot-id "$older" --second-snapshot-id "$newer" \
    ${token:+--next-token "$token"} --output json)
  count=$(( count + $(jq '.ChangedBlocks | length' <<<"$page") ))
  token=$(jq -r '.NextToken // empty' <<<"$page")
  [ -z "$token" ] && break
done
echo "$(( count / 2 )) MiB changed"   # 512 KiB blocks

روی یه والیوم شلوغ این کار کنده، چون یه دلتای ۹۷ GiB نزدیک به ۲۰۰٬۰۰۰ بلاکه. ولی باز هم تنها عددیه که بهت می‌گه یه اسنپ‌شات واقعاً چقدر هزینه داره.

دوازده روز بعد: رسوب‌ها

روز ۲۹ سپتامبر اکانت ۱٬۱۷۷ اسنپ‌شات داشت. وقتی بر اساس توضیحشون گروه‌بندیشون کردم، معلوم شد چهار نسل از جاب‌های اسنپ‌شات ساختنشون:

  • پالیسی چرخه‌ی عمر فعلی، تنها پالیسی‌ای که مدت نگهداری داشت؛
  • یه طرح هفتگی بازنشسته؛
  • سه تا پالیسی چرخه‌ی عمر که طی سال‌ها جایگزین شده بودن؛
  • یه جاب شبانه روی یه سرور CI قدیمی، که هنوز از اینستنسی اسنپ‌شات می‌گرفت که ماه‌ها بود متوقف شده بود.

از یه کلاستر بروکر پیام که دیگه وجود نداره هم چیزهایی مونده بود، به‌اضافه‌ی سابقه‌ی بکاپ از قبل از بازگردانی یه والیوم. فقط پالیسی فعلی چیزی رو پاک می‌کرد. بقیه همه روی هم جمع شده بودن، و تعداد اسنپ‌شاتی که به نظر میاد از تنظیمات یه پالیسی اومده، در واقع جمع چند تا جابه که هیچ‌کس خاموششون نکرده.

۶۵۵ تاشون رو پاک کردم، و جایی که ممکن بود سابقه‌ی یه والیوم بازنشسته هنوز مهم باشه، جدیدترین اسنپ‌شاتش رو نگه داشتم. از ۱٬۱۷۷ رسیدم به ۵۲۲. اکانت هیچ قانون نگهداری‌ای برای Recycle Bin نداره، پس این حذف‌ها برگشت‌ناپذیر بودن. این چیزیه که ارزش داره قبل از شروع چک کنی، نه بعدش.

چرا ۲۱ TiB در واقع ۶۸۷ GiB بود

قبل از پاک کردن، اندازه‌ی اسنپ‌شات‌ها رو جمع زده بودم. ۵۲۹ تا از اسنپ‌شات‌های توی لیست روی هم حدود ۲۱٫۷ TiB گزارش می‌کردن. اگه این مقدار فضایی بود که آزاد می‌شد، پاک‌سازی ماهی بیشتر از ۱٬۰۰۰ دلار می‌ارزید.

در عمل حدود ۶۸۷ GiB آزاد کرد، تقریباً ماهی ۳۴ دلار.

اندازه‌ای که برای یه اسنپ‌شات گزارش می‌شه، کل تصویر والیومیه که می‌تونه بازگردانی کنه، نه فضایی که فقط مال خودشه. چهارده اسنپ‌شات روزانه از یه والیوم هر کدوم کل دیسک رو ادعا می‌کنن، ولی تقریباً همه‌ی بلاک‌هاشون با هم مشترکه. جمع زدنشون همون بلاک‌ها رو چهارده بار می‌شمره.

چیزی که یه حذف آزاد می‌کنه رو باید برای هر والیوم منبع جدا حساب کرد، به شکل یه زنجیره:

U(chain) = full size of the oldest snapshot
         + Σ changed blocks between each consecutive pair
freed    ≈ U(all snapshots of the volume) − U(the snapshots you keep)

دستور list-changed-blocks بین هر دو اسنپ‌شاتی از یه زنجیره کار می‌کنه، نه فقط اسنپ‌شات‌های کنار هم، پس U(kept) رو می‌شه حساب کرد حتی وقتی اسنپ‌شات‌هایی که نگه می‌داری ماه‌ها با هم فاصله دارن. قبل از این‌که عددی توی تیکت بنویسی، این حساب رو بکن. صرفه‌جویی بزرگ از قبل، روز ۱۷ سپتامبر، با عوض کردنِ چیزی که پالیسی پوشش می‌داد اتفاق افتاده بود. پاک‌سازی رسوب‌ها یه مرتبه‌ی بزرگی کوچیک‌تر بود، و جمع اندازه‌ها باعث می‌شد مثل خبر اصلی به نظر بیاد.

باوری که مجبور شدم پس بگیرم

روز ۱۷ سپتامبر، با اطمینان نسبی، یادداشت کرده بودم که وقتی والیوم منبع پاک بشه، اسنپ‌شات‌هاش دیگه تغییرهای افزایشیِ ارزون نیستن و برای همیشه کپی‌های کامل و مستقل می‌شن. با همین توضیح می‌دادم که چرا طرح‌های بازنشسته به نظر بیشترین هزینه رو داشتن.

این غلطه. اسنپ‌شات‌های یه والیوم، چه والیوم هنوز وجود داشته باشه چه نه، همچنان بلاک‌هاشون رو با هم شریکن. وقتی یه اسنپ‌شات رو پاک می‌کنی، EBS فقط بلاک‌هایی رو حذف می‌کنه که هیچ اسنپ‌شات دیگه‌ای بهشون ارجاع نمی‌ده. پاک کردن والیوم هیچ چیزی رو توی ذخیره‌سازی اسنپ‌شات عوض نمی‌کنه.

طرح‌های قدیمی بکاپ به دلیل خیلی پیش‌پاافتاده‌تری هزینه می‌سازن: هیچ چیزی هیچ‌وقت اسنپ‌شات‌هاشون رو پاک نمی‌کنه. نسخه‌ی غلط این‌جا از بی‌فایده هم بدتر بود، چون همون جهتی رو نشون می‌داد که جمع اندازه‌ها نشون می‌داد. هر دو می‌گفتن رسوب‌ها بخش گرونن، و هر دو اشتباه می‌کردن.

کجا متوقف شدم

پالیسی فعلی حالا حدود ۱٬۰۸۰ GiB نگه می‌داره، تقریباً ماهی ۵۴ دلار. اگه مدت نگهداری رو به ۷ روزانه، ۴ هفتگی و ۶ ماهانه کم کنم، حدود ۱۲ دلار از این مبلغ صرفه‌جویی می‌شه. مدت نگهداری رو همون‌طور که بود گذاشتم. توی این مقیاس، بازه‌ای که می‌شه بهش برگشت از اون پول بیشتر می‌ارزه.

یه مورد عجیب هنوز باز مونده. یه والیوم داده‌ی کوچیکِ بازگردانی‌شده اسنپ‌شات‌هایی داره که روی هم بیشتر از دو برابر اندازه‌ی خودش جا گرفتن، پس یه چیزی روش هر روز کلی بلاک رو بازنویسی می‌کنه. این مورد بعدیه که باید بررسیش کنم، ولی با این عددها بیشتر یه کنجکاویه تا مشکل هزینه.

چیزهایی که باید یادت بمونه

  • هزینه‌ی اسنپ‌شات دنبال حجم بازنویسی میاد. قبل از این‌که تصمیم بگیری از چی محافظت کنی، تغییر روزانه رو با list-changed-blocks اندازه بگیر، و انتظار داشته باش دیتابیس‌هایی که زیاد مرج می‌کنن استثنا باشن.
  • جمع اندازه‌ی اسنپ‌شات‌ها فضای ذخیره‌سازی نیست. چیزی رو که یه حذف آزاد می‌کنه برای زنجیره‌ی هر والیوم تخمین بزن، وگرنه عدد توی تیکتت یه مرتبه‌ی بزرگی اشتباه درمیاد.
  • هزینه رو با همون دقتی بخون که تغییر اتفاق افتاده. ستون ماهانه‌ای که دو طرف یه اصلاح رو پوشش می‌ده، میانگینی نشون می‌ده که هیچ روزی واقعاً نداشته.
$ cat KUBERNETES .md
· 7 دقیقه مطالعه

کلاستر ۱۶۰ میلی‌کور مصرف می‌کرد. ریکوئست‌هاش شش تا نود لازم داشتن.

قبل از اولین مشتری‌مون پرسیدم آیا سه تا نود متوسط می‌تونن پروداکشن رو نگه دارن. کلاستر حدود ۱۶۰ میلی‌کور CPU مصرف می‌کرد، ولی ریکوئست‌های منابعش شش تا نود رو مشغول نگه داشته بودن. این‌جا می‌گم چرا ریکوئست‌ها، نه مصرف، تعداد نودها رو تعیین می‌کنن، چرا اتواسکیلرها هم ریکوئست‌ها رو می‌خونن، و چرا وقتی کار گرون پیش یه ارائه‌دهنده‌ی بیرونی اجرا می‌شه، ظرفیت کلاستر ظرفیت محصول نیست.

kubernetes eks finops devops mechanism
$ cat OBSERVABILITY .md
· 9 دقیقه مطالعه

۵۰ میلیون اسپن از دست دادیم و هیچی لاگش نکرد.

یه دیپلوی تریس‌های همه‌ی سرویس‌ها رو فرستاد سمت یه کالکتور جدید که برای یه جریان باریک سایز شده بود. کالکتور بلاک شد، SDK سرویس‌ها سرریز رو دور ریخت، و حدود ۵۰ میلیون اسپن توی دو ساعت غیب شدن، بی‌هیچ شمارنده و بی‌هیچ خط لاگی در هیچ جا. تنها هشداری که اومد، درباره‌ی یه چیز دیگه بود. این‌جا می‌گم این از دست رفتن چطور نامرئی موند، چطور چیزی رو اندازه گرفتم که هیچ‌چیز نشمرده بودش، و چرا گلوگاه واقعی اونی نبود که اول سراغش رفتم.

observability opentelemetry kubernetes devops mechanism
$ cat GIT .md
· 7 دقیقه مطالعه

۸۴ ریپو غیب شدن. راه‌حلش mkdir بود.

توی S3 دایرکتوری خالی وجود نداره، و توی یه ریپوی git که کامل پک شده، دایرکتوری‌های refs دقیقاً همین‌ان: خالی. یه سینک فایل‌به‌فایل همه‌ی آبجکت‌ها رو سالم منتقل کرد و اون دو تا دایرکتوری‌ای رو که git لازم داره تا چیزی رو ریپو حساب کنه جا انداخت؛ برای همین ۸۴ تا از ۵۱۷ ریپو غیرقابل‌خوندن برگشتن، در حالی که دیتابیس هنوز می‌گفت کامیت دارن. چک‌های سلامت مهاجرت کل این مدت سبز موندن، چون هیچ‌کدومشون هیچ‌وقت یه ریپو رو باز نمی‌کنن.

git aws s3 gitlab mechanism