رجیستری تو ۴۵ میلی‌ثانیه جواب می‌داد. بیلد دو دقیقه بیشتر طول می‌کشید.

gitlab debugging migration reliability observability

چند هفته بعد از اینکه اینستنس GitLab خودمون رو به یه اکانت جدید و یه هاست جدید منتقل کردیم، تیم Solutions گزارش داد که نصب پکیج با npm از رجیستری پکیجِ گروه کند شده. بیلدهایی که ۱:۴۰ تا ۲:۰۰ طول می‌کشیدن، حالا حدود ۳:۳۰ طول می‌کشیدن. یه npm install --verbose با کش خالی شکل ماجرا رو نشون داد: خطاهای ۵۰۰ پشت سر هم، که هر کدوم بالاخره بعدش موفق می‌شد. زمانش با مهاجرت جور درمی‌اومد و کندی هم ثابت بود، برای همین گزارش این‌طوری رسید: «از وقتی جابه‌جا شدیم کند شده». گزارش معقولی بود. ولی به یه شکل مشخص و آموزنده، اشتباه هم بود.

تأخیر ثابتِ اضافه یعنی کلاینت داره دوباره تلاش می‌کنه، نه اینکه منابع کم باشه

اولین چیزی که زمانش رو گرفتم، خود درخواست شکست‌خورده بود: ۵۰۰، تو ۴۵ میلی‌ثانیه. تک‌تکشون.

کل تشخیص توی همین یه عدده. مشکل منابع، مثل دیسک کند، پردازنده‌ای که کم میاره یا اینستنسی که کوچیک‌تر از نیازه، تأخیری می‌سازه که زیر بار بالا و پایین می‌شه و کم‌کم بدتر می‌شه. تأخیر ثابتِ اضافه یه چیز دیگه‌ست: یه مکث ثابت که کلاینت بین تلاش‌ها می‌ذاره. سیاست تلاش دوباره‌ای که npm برای fetch داره، یه جدول بک‌آف رو طی می‌کنه، تقریباً T، بعد T+۱۰ ثانیه، بعد T+۷۰ ثانیه، و بعد اون endpoint رو ول می‌کنه. این مکث‌ها رو به درخواست‌هایی که باید دوباره امتحان می‌شدن اضافه کن، تقریباً دقیقاً همون ۱۱۰ ثانیه‌ی اضافه‌ای درمیاد که گزارش شده بود. سرور هیچ‌وقت کند نبود. بیلدها کند بودن، چون کلاینت بین شکست‌ها مؤدبانه صبر می‌کرد.

می‌تونستم یه ساعت وقت بذارم روی IOPS دیسک gp3 و سایز اینستنس و هیچی پیدا نکنم، چون دیسک و پردازنده مشکلی نداشتن. این درس فقط مال npm نیست: وقتی «از X به بعد کندتر شده» در نهایت یه فاصله‌ی ثابت از آب درمیاد و نه جابه‌جا شدن توزیع زمان‌ها، اندازه‌گیری سرور رو ول کن و برو تنظیمات تلاش دوباره‌ی کلاینت رو بخون. اول کد وضعیت، بعد زمان‌ها، بعد داشبوردها.

یه ردیف از ۶۳٬۰۰۰ تا

همه‌ی خطاهای ۵۰۰ یه استثنای یکسان داشتن:

RuntimeError: Object Storage is not enabled for Packages::Npm::MetadataCacheUploader

متادیتای npm هر پکیج، یعنی packument، رو GitLab توی جدولی به اسم packages_npm_metadata_caches کش می‌کنه. مثل هر چیزی که GitLab از طریق CarrierWave ذخیره می‌کنه، هر ردیف یه ستون store داره: 1 یعنی دیسک لوکال، 2 یعنی آبجکت استوریج. روی این اینستنس آبجکت استوریج به‌طور کلی خاموش بود. یه ردیف توی اون جدول می‌گفت file_store = 2، پس هر درخواستی برای متادیتای اون پکیج از CarrierWave می‌خواست از بک‌اندی بخونه که وجود نداشت، و درخواست با خطای ۵۰۰ می‌مرد.

یه بار، توی ژوئیه، آبجکت استوریج رو امتحان کرده بودیم و رول‌بکش کرده بودیم. اون رول‌بک از یه جهت دقیق بود و از یه جهت کور، که موضوع بخش بعدیه. چیزی که این‌جا مهمه، بررسی کامله: از information_schema همه‌ی جدول‌هایی رو که ستون store داشتن پیدا کردم و همه‌شون رو چک کردم، ۶۲ جدول و حدود ۶۳٬۰۰۰ ردیف، و دقیقاً یه ردیف پیدا کردم که به استوریج ریموت اشاره می‌کرد. کل حادثه همون یه ردیف بود. ۵۵۴ فایل واقعی پکیج همه لوکال بودن، و برای همین دانلود فایل‌های tarball در تمام این مدت با کد ۲۰۰ تو ۶۰ میلی‌ثانیه برمی‌گشت: رجیستری واقعاً سالم بود. فقط مسیر خوندن کش متادیتا خراب بود، و فقط برای پکیج‌هایی که ردیف کش‌شون عوض شده بود.

چک وجود داشت؛ لیست نه

بخش ناخوشایند ماجرا اینه که این شکست از قبل مستند شده بود. روال رول‌بکِ آزمایش آبجکت استوریج، که توی ژوئیه نوشته شده بود، با یه بررسی درست تموم می‌شه: مطمئن شو آبجکت استوریج خاموشه و کوئری بگیر که هیچ ردیفی با file_store = 2 نمونده باشه. چک وجود داشت. حتی چک درستی هم بود.

این چک شکست خورد، چون قدم قبلیش یه لیست دست‌نویس از اسم مدل‌ها رو مرور می‌کرد. هر کی ران‌بوک رو نوشته بود، جدول‌هایی رو لیست کرده بود که یادش بود فایل ذخیره می‌کنن: آپلودها، آرتیفکت‌ها، فایل‌های پکیج و از این قبیل. Packages::PackageFile توی لیست بود. Packages::Npm::MetadataCache نبود، چون توی ژوئیه هیچ‌کس کش متادیتا رو جایی برای ذخیره‌ی فایل حساب نمی‌کرد. پس هیچ‌وقت بررسی نشد، و تنها ردیفِ عوض‌شده‌اش از رول‌بک جون سالم به در برد، در حالی که به باکتی اشاره می‌کرد که قرار بود به‌زودی پاک بشه.

چکی که وجود داره ولی همون چیزی رو که خراب می‌شه پوشش نمی‌ده، از نبودِ چک بدتره، چون اعتمادی می‌خره که حقش رو نداره. راه‌حل مکانیکیه: هر ادعایی درباره‌ی پوشش باید از روی اسکیما فهرست بشه، نه از روی حافظه. یه کوئری روی information_schema همه‌ی جدول‌های کاندیدا رو پیدا می‌کنه، فارغ از اینکه نویسنده‌ی ران‌بوک موقع نوشتن چی یادش بوده. اگه توی قدم بررسیت یه لیست صریح از اسم جدول‌ها هست، اون لیست یه حدسه و باید مثل یه حدس باهاش رفتار کرد.

پیدا کردن تاریخ مین

پیدا کردن مقصر این قطعی سه دور طول کشید، و دو دور اول در دو جهت مخالف اشتباه بودن.

این ردیف هفت هفته از جابه‌جایی سپتامبر قدیمی‌تر بود، و توی هیچ‌کدوم از دو اکانت هیچ باکت آبجکت استوریجی وجود نداشت، برای همین اولین جوابم این بود: «احتمالاً قبل از جابه‌جایی خراب شده». بعد جاب پس‌زمینه کل ردیف رو برگردوند، و معلوم شد last_downloaded_at سه دقیقه بعد از updated_at ثبت شده. این برچسب زمانی فقط توی مسیر موفقیت نوشته می‌شه، پس ثابت شد که کش یه زمانی با موفقیت سرو شده، و جوابم رو اصلاح کردم: «احتمالاً جابه‌جایی محرکش بوده».

ژورنال تکلیف رو روشن کرد. آزمایش آبجکت استوریج و برگردوندنش هر دو تاریخ ۲۴ ژوئیه رو دارن. آخرین خوندن موفق اون ردیف ۲۲ ژوئیه بود، دو روز زودتر، وقتی هنوز لوکال بود. پس ترتیب این بود: مهاجرت ژوئیه ردیف رو به ریموت عوض کرد، رول‌بک جاش انداخت، باکت پاک شد، و ردیف هفت هفته بی‌صدا موند، چون یه ردیف با file_store = 2 فقط وقتی منفجر می‌شه که یه چیزی دقیقاً همون آبجکت رو بخونه. تا همین هفته هیچ‌کس اون پکیج رو نگرفته بود. جابه‌جایی سپتامبر بی‌گناه بود؛ فقط دیتابیسی رو با خودش آورد که از قبل اون مین رو توش داشت. ارتباطی که تیم دیده بود صادقانه بود و اشتباه، و من هم قبل از اینکه چک کنم، تقویتش کردم.

یه جزئیات ارزشش رو داره که جمله‌ی خودش رو داشته باشه: عوض کردن store با update_column انجام شده بود، که برچسب‌های زمانی رو به‌روز نمی‌کنه. پس updated_at اون ردیف به یه فعالیت بی‌ربط اشاره می‌کنه، و هر کسی رو که بخواد فقط از روی خود ردیف تاریخ تغییر رو پیدا کنه، مستقیم گمراه می‌کنه. وقتی یه برچسب زمانی مهمه، قبل از اینکه بهش اعتماد کنی، چک کن اون ستون چطور نوشته شده.

بخش خطرناک، پاک کردنش بود

مشکل یه ردیف بود، پس راه‌حلش هم یه حذف بود. ولی اون حذف تله‌ی خودش رو داشت: مدل‌های CarrierWave موقع destroy یه کال‌بک حذف اجرا می‌کنن، و اون کال‌بک سعی می‌کنه فایل رو از بک‌اندی که براش تنظیم شده پاک کنه. این دقیقاً همون عملیاتیه که همون خطایی رو می‌ده که داشتیم سعی می‌کردیم از شرش خلاص بشیم. ردیف باید با delete_all حذف می‌شد، که کال‌بک‌ها رو کلاً رد می‌کنه.

اول سه لایه بکاپ گرفتیم: یه اسنپ‌شات RDS، که در اصل همون جاییه که ردیف توش نگه داشته می‌شه، اسنپ‌شات از هر دو ولوم EBS، و یه دامپ از خود ردیف همراه با یه دستور INSERT آماده. همه‌شون قبل از دست زدن به هر چیزی بررسی شدن. API کش رو با metadata_cache&.file می‌خونه، پس اگه ردیف نباشه، مستقیم می‌ره سراغ مسیر بازسازی: packument از روی فایل‌های پکیج دوباره ساخته می‌شه و از نو ذخیره می‌شه.

بخش لذت‌بخش، بررسی آخر بود. کش بازسازی‌شده با file_store = 1 روی دیسک لوکال نشست، دقیقاً با ۶٬۷۸۶ بایت، هم‌اندازه‌ی کش ژوئیه. این مدرک خوبیه که محتوا واقعاً درست بازسازی شده، نه اینکه فقط خطا دادنش قطع شده باشه. بعدش در کل اینستنس: صفر خطای 5xx، صفر ردیف روی استوریج ریموت، و بیلدها دوباره زیر دو دقیقه.

چی رو باید نگه داشت

دو تا قاعده از این ماجرا موند. وقتی یه کندی به شکل یه تأخیر ثابتِ اضافه ظاهر می‌شه، قبل از دست زدن به منابع سرور، رفتار تلاش دوباره‌ی کلاینت رو بخون؛ یه خطای ۵۰۰ تو ۴۵ میلی‌ثانیه که بعدش دو دقیقه تأخیر میاد، یعنی کلاینت داره بک‌آفش رو طی می‌کنه، نه اینکه سرور داره جون می‌کنه. و وقتی یه قدم بررسی پوشش رو از روی حافظه فهرست می‌کنه، لیست رو با یه کوئری روی اسکیما عوض کن؛ جدولی که هیچ‌کس یادش نبود، همون جاییه که حادثه‌ی بعدی از همین حالا توش نشسته.

$ cat KAFKA .md
· 9 دقیقه مطالعه

خطا ۲۵ ساعت قدیمی بود. کلاینت تمام این مدت سالم بود.

رپری دور کلاینت Kafka که با شمردن خطاها و پنیک کردن بعد از یه آستانه بازیابی می‌شه، بازیابیش متناسب با ترافیکه: پردازشگرهای استریم تو چند ثانیه به آستانه می‌رسن، پرودیوسرهای کم‌ترافیکی که فقط با درخواست کار می‌کنن هیچ‌وقت نمی‌رسن، و برای همین روی آخرین خطا قفل می‌کنن و تا ابد همون رو برمی‌گردونن، در حالی که همه‌ی سیگنال‌های سلامت سبزن. سرنخ توی رقم‌های خود خطاست: مقدار زمان سپری‌شده‌ای که بین دفعه‌های مختلف بایت‌به‌بایت یکیه، یعنی یه رخداد کش‌شده، نه یه خرابی تکرارشونده.

kafka resilience mechanism reliability observability
$ cat OBSERVABILITY .md
· 9 دقیقه مطالعه

۵۰ میلیون اسپن از دست دادیم و هیچی لاگش نکرد.

یه دیپلوی تریس‌های همه‌ی سرویس‌ها رو فرستاد سمت یه کالکتور جدید که برای یه جریان باریک سایز شده بود. کالکتور بلاک شد، SDK سرویس‌ها سرریز رو دور ریخت، و حدود ۵۰ میلیون اسپن توی دو ساعت غیب شدن، بی‌هیچ شمارنده و بی‌هیچ خط لاگی در هیچ جا. تنها هشداری که اومد، درباره‌ی یه چیز دیگه بود. این‌جا می‌گم این از دست رفتن چطور نامرئی موند، چطور چیزی رو اندازه گرفتم که هیچ‌چیز نشمرده بودش، و چرا گلوگاه واقعی اونی نبود که اول سراغش رفتم.

observability opentelemetry kubernetes devops mechanism
$ cat GIT .md
· 7 دقیقه مطالعه

۸۴ ریپو غیب شدن. راه‌حلش mkdir بود.

توی S3 دایرکتوری خالی وجود نداره، و توی یه ریپوی git که کامل پک شده، دایرکتوری‌های refs دقیقاً همین‌ان: خالی. یه سینک فایل‌به‌فایل همه‌ی آبجکت‌ها رو سالم منتقل کرد و اون دو تا دایرکتوری‌ای رو که git لازم داره تا چیزی رو ریپو حساب کنه جا انداخت؛ برای همین ۸۴ تا از ۵۱۷ ریپو غیرقابل‌خوندن برگشتن، در حالی که دیتابیس هنوز می‌گفت کامیت دارن. چک‌های سلامت مهاجرت کل این مدت سبز موندن، چون هیچ‌کدومشون هیچ‌وقت یه ریپو رو باز نمی‌کنن.

git aws s3 gitlab mechanism