۲۵ شهریور ۲۵۸۵ · 9 دقیقه مطالعه
۱۳۶ میلیون درخواست PUT برای ۱۷ گیبیبایت داده
قلم S3 توی یکی از اکانتهای AWS ما کل سال زیر یه یورو در ماه بود. بعد توی نُه روز شد ۷۳۳ دلار. این همون اکانتیه که استک مشاهدهپذیریمون رو توش اجرا میکنیم، و کلاستر ClickHouse که روی اون باکت سواره، به ۱۷ گیبیبایت داده روش ارجاع میداد.
| قلم | هزینه | مقدار |
|---|---|---|
| درخواستهای PUT، COPY، POST و LIST | ۶۶۲ دلار | ۱۳۶ میلیون |
| ذخیرهسازی | ۵۸ دلار | ۲٫۶ ترابایتماه |
| درخواستهای GET | ۱۵ دلار | ۳۸ میلیون |
ذخیرهسازی هشت درصد صورتحساب بود. مشکل ذخیرهسازی نبود، و تخمینی که میگفت این لایه ماهی ۶۶ دلار خرج داره، واحد اشتباهی رو قیمت زده بود.
هر پارت روی S3 چقدر خرج داره
جدول MergeTree توی ClickHouse دادههاش رو به شکل پارت ذخیره میکنه، و هر پارت یه دایرکتوریه. داخلش به ازای هر ستون یه فایل داده و یه فایل مارک هست، بهاضافهی چند تا فایل متادیتا. روی دیسک محلی این فقط یه فهرست دایرکتوریه و کسی بهش فکر نمیکنه. روی دیسک S3 هر کدوم از این فایلها یه آبجکته، و هر بار که ClickHouse یه پارت مینویسه، هر فایل یعنی یه درخواست PUT.
جدول تریسهای ما ۷۹ ستون داره. هر پارت حدود ۱۶۰ آبجکته. اسپنهای یه روز رو به شکل چند صد پارت کامل بنویس، تعداد درخواستها در حد خطای گرد کردنه. همون بایتها رو به شکل ۹۰ میلیون تکه بنویس، میشه کل صورتحساب. داده در هر دو حالت عین همه؛ تعداد دفعههایی که از S3 خواستی قبولش کنه، نه.
صفحهی قیمتگذاری دقیقاً همینجا کمکی بهت نمیکنه. اونجا قیمت رو به سنت برای هر گیگابایتماه میگه، و لایهای که ۲٫۶ ترابایت نگه داره با این نرخ میشه ۶۶ دلار. ولی چیزی که بابتش ازت پول میگیرن عملیاته، و تعداد عملیات تابع شیوهی نوشتن موتوره، نه حجم نوشتنش. ما دو تا تنظیم داشتیم که باعث میشدن موتور بد بنویسه، و هیچکدوم توی فایل values دیده نمیشد.
نقص اول: بچی که هیچوقت پر نشد
کالکتورهای OpenTelemetry که به ClickHouse داده میدن از یه batch processor استفاده میکنن، و چارت اون رو طوری تنظیم کرده که با رسیدن به ۵۰٬۰۰۰ ردیف یا بعد از یه ثانیه، هر کدوم زودتر رسید، فلاش کنه. با حجم ما، سقف ردیفها هیچوقت زودتر نمیرسید. تایماوت زودتر میرسید، هر ثانیه، روی همهی کالکتورها؛ پس هر کالکتور ثانیهای یه INSERT میفرستاد و هر INSERT یه پارت میشد.
اندازهگیری روی یه شارد: ۸۵۴٬۵۵۴ پارت در یه روز ساخته شده بود، با میانگین ۹ کیبیبایت. بالا بردن تایماوت به ۳۰ ثانیه، میانگین اندازهی پارت رو رسوند به ۱۴٫۵ مبیبایت. همون داده، با حدود ۱٬۶۰۰ برابر آبجکت کمتر. یه عارضهی جانبی که ارزش گفتن داره: پارتهای کوچیک به سقف تعداد پارت در هر پارتیشن موقع INSERT هم میخوردن، پس دریافت داده هر از گاهی بچها رو رد میکرد، به همون دلیلی که صورتحساب بالا بود. یه نقص دسترسپذیری بود که از قضا نقص هزینه هم بود.
دو چیز دیدنش رو سخت میکرد. اول اینکه توی دیف values، مقدار پیشفرض چارت هیچ فرقی با «ستنشده» نداره. هیچکس هیچجا timeout: 1s ننوشته بود، پس هیچ دیفی هیچوقت نشونش نداد، و از همهی آپگریدهای چارت جون سالم به در برد. دومی بدتره. یادداشتهای کانفیگ خودمون تنظیم یهثانیهای رو یه انتخاب آگاهانه ثبت کرده بودن، همخوان با یه محیط پایینتر، و مقدار سفتتر روی نمونهی پروداکشن رو یه باقیموندهی قدیمی و بیمصرف حساب کرده بودن. تصمیم غلطی که مکتوب شده، از تصمیمی که مکتوب نشده سختتر دیده میشه، چون یادداشت قبل از اینکه کسی سؤال رو بپرسه جوابش رو داده.
نقص دوم: فلگی که ریتنشن رو هم خاموش کرد
چارت روی والیوم S3 توی پالیسی ذخیرهسازی، مقدار prefer_not_to_merge = 1 رو ست میکنه. نیتش منطقیه. مرج کردن دادهی سرد یعنی خوندن و از نو نوشتنش، و روی S3 هر بازنویسی یعنی درخواستهای بیشتر؛ پس پیشفرض میگه به پارتهای سرد دست نزن.
روی بازهی نسخههای ClickHouse که ما اجرا میکنیم، این فلگ یه کار دیگه هم میکنه. حذف با TTL به شکل یه مرج پیادهسازی شده، و انتخابگر مرج پارتهایی رو که روی والیومهای دارای این فلگ هستن کنار میذاره؛ پس DELETE TTL اونجا هیچوقت اجرا نمیشه. پارتها به S3 منتقل شدن، هیچوقت فشرده نشدن و هیچوقت منقضی نشدن. ریتنشن از اساس امکان اجرا نداشت.
وقتی بالاخره به تعداد آبجکتها نگاه کردیم، خودش قصه رو گفت: ۶ میلیون، ۱۳ میلیون، ۴۴ میلیون، ۹۰ میلیون، و یه بار هم پایین نیومد. کوئریای که تکلیف رو روشن کرد یه خط بود روی system.parts، گروهبندیشده بر اساس اسم دیسک: ClickHouse به ۱۷ گیبیبایت روی دیسک S3 ارجاع میداد. باکت ۴۸ ترابایت داشت. سه مرتبهی بزرگی آبجکت که دیتابیس از قبل فراموششون کرده بود و هیچ چیزی قرار نبود پاکشون کنه.
همون کوئری یه چیز دیگه هم رو کرد. جدول تریسها ۱۸۵ مبیبایت باقیموندهی کهنه روی لایهی سرد داشت، در حالی که لاگها و متریکها درست لایهبندی شده بودن. پس یکی از سیگنالها کل دادهی سردش رو از دست داده بود و لایه در کل سالم به نظر میرسید. یه لایهی سرد میتونه برای یه جدول بیصدا خراب باشه و برای بقیه درست کار کنه.
۶۹۰ برابر
وسط این ماجرا بحثی پیش اومد که آیا S3 برای دادهی سرد واقعاً از EBS ارزونتره یا نه، و عددی که بحث رو تموم کرد از Cost Explorer اومد. توی بدترین روز، باکت ۳۳ ترابایت بزرگتر شد. دادهی واقعی دریافتی اون روز کمتر از ۵۰ گیبیبایت بود. یعنی تقریباً ۶۹۰ برابر تقویت نوشتن (write amplification)، و این مشکل قیمتگذاری نیست. S3 به ازای هر بایت خیلی از EBS ارزونتره. مشکل، چرخهی مرجه، و هیچ قیمتی به ازای بایت، ضرب در ۶۹۰ دووم نمیاره.
نسخهی کلیش اینه. مرجها همون چیزیان که پارتهای کوچیکِ زیاد رو به پارتهای بزرگِ کم تبدیل میکنن. پس از لحظهای که لایهبندی روشن میشه، هر عاملی که مرجها رو گرسنه نگه داره مستقیم به هزینهی درخواست تبدیل میشه: دیسک داغی که دیگه جای خالی برای مرج نداره، فلگی روی والیوم سرد که جلوی مرج رو میگیره، نرخ بچی که از سرعت یکپارچهسازی جلو میزنه. ما معمولاً اینها رو جزو دغدغههای سلامت دریافت داده حساب میکنیم. زیر یه پالیسی ذخیرهسازی لایهای، اینها دغدغههای هزینهان، با همون ریشه.
نتیجهی فرعیش چیزیه که یه ماه قبل باهاش مخالفت میکردم. جای خالی دیسک داغ رو کم نکن تا پنجرهی ریتنشن طولانیتری بخری. پس گرفتن فضای gp3 با چند سنت برای هر گیگابایتماه، به قیمت ریسک هزینهی درخواستی که دو مرتبهی بزرگی بیشتره، معاملهایه که هر بار توش میبازی.
فیکس، و فیکسی که هیچکس کامیتش نکرد
دو تا تنظیم ماجرا رو بست. تایماوت بچ، از یه ثانیه به سی ثانیه. و فلگ مرج روی والیوم S3، از یک به صفر، تا DELETE TTL اصلاً اجرا بشه. هزینهی اجازه دادن به مرج روی دادهی سرد آخرش حدود ماهی ۳ دلار درومد، که استدلال اصلی این نیست. استدلال، عدم تقارنه: وقتی مرجها سرکوب شدن، یه تولیدکننده که دادهاش از پنجرهی داغ عقب بیفته روزی صدها هزار PUT خرج روی دستت میذاره، برای همیشه؛ وقتی مرجها مجازن، اون پارتها ظرف چند ساعت فشرده میشن.
تکهی سوم همونیه که الان کل بار دفاع رو به دوش میکشه: یه پنجرهی داغ اونقدر طولانی که مرج پارتها قبل از انتقال، روی دیسک محلی تموم بشه. پارتیشن یه روز روی یه شارد، وقتی کامل مرج بشه، به یکی دو تا پارت میرسه؛ پس کلاستر روزی حدود ۱۵ پارت جابهجا میکنه، یعنی حدود ۲٬۵۰۰ درخواست PUT. بدون مرج، تغییرات همون روز توی کل کلاستر ۷۵٬۰۰۰ پارت بود، که با ۱۶۰ آبجکت برای هر کدوم، میشه ۱۲ میلیون درخواست PUT از یه جدول. فرق این دو عدد فقط به این برمیگرده که مرج قبل از انتقال تموم شده یا نه.
و حالا بخشی که میخوام دربارهاش صادق باشم. تایماوت ۳۰ ثانیهای بچ، که اون کاهش ۱٬۶۰۰ برابری رو به بار آورد، موقع حادثه دستی روی ریلیز لایو Helm اعمال شده بود و هیچوقت کامیت نشده بود. کنار چهار تا مقدار دیگه که اونها هم دستی اعمال شده بودن، همونجا مونده بود. وقتی قبل از دست زدن دوباره به لایه، دیف زیرساخت رو اجرا کردیم، ابزار گزارش داد که وضعیت ریلیز از «failed» به «deployed» تغییر میکنه و دیگه هیچ؛ با یه خط که میگفت دهها ویژگی بدون تغییر موندن. این ابزار با استیت خودش مقایسه میکنه، نه با کلاستر. یه اپلای معمولی، بیهیچ هشداری فیکس رو برمیگردوند و حادثه رو از نو راه میانداخت، اون هم روی هر کار دیگهای که اون اپلای قرار بود انجام بده.
فیکسی که زیر فشار روی لایو اعمال شده، تا وقتی سورس دوباره تولیدش نکنه تموم نشده. چکش مکانیکیه: values رو از سورس رندر کن، مقدارهایی رو که کلاستر واقعاً داره بکش بیرون، و این دو تا رو بهصورت ساختاری دیف بگیر. اگه با هم جور نباشن، چیزی که نجاتت داده فقط توی حافظه وجود داره.
این الگو کجاها تکرار میشه، و تله
هر ذخیرهساز لایهای که روی آبجکت استوریج ساخته شده همین شکل رو داره. چانکهای Loki، بلوکهای Thanos و Cortex، فایلهای کوچیک Iceberg و Delta قبل از فشردهسازی، سگمنتهای Druid توی deep storage. آبجکت استوریج عملیات رو قیمتگذاری میکنه، پس هزینه تابع اینه که چند تا چیز مینویسی و بازنویسی میکنی. موتورهایی که روی پارتهای تغییرناپذیر ساخته شدن اصلاً برای بازنویسی وجود دارن؛ مرج یعنی همین. این دو رو کنار هم بذار، هر تنظیمی که دفعات نوشتن موتور رو عوض کنه یه تنظیم هزینهست، چه اسمش رو این گذاشته باشن چه نه.
قبل از روشن کردن لایهی سرد، تعداد پارتهای روزانهی لایهی داغ رو اندازه بگیر. ضرب در تعداد فایلهای هر پارت کن. درخواستها رو قیمت بزن. بعد، وقتی راه افتاد، چک کن که لایه واقعاً حذف میکنه؛ چون تنظیم ریتنشنی که نمیتونه اجرا بشه، تا وقتی باکت به ۶۰ ترابایت نرسیده، هیچ فرقی با تنظیمی که داره کار میکنه نداره.
تله اینه که لایهی سرد رو با گیگابایتماه تخمین بزنی. اون عدد همیشه کوچیکه، همیشه همونیه که روی صفحهی قیمتگذاری هست، و تنها چیزیه که این صورتحساب ربطی بهش نداشت.