۲۴ مهر ۲۵۸۵ · 9 دقیقه مطالعه
۵۰ میلیون اسپن از دست دادیم و هیچی لاگش نکرد.
آلرتی که فعال شد، یه هشدار دربارهی اشباع شدن صف اکسپورت بود. توضیحش میگفت منتظر تأخیر مصرفکننده توی بالادست باش. این تنها سیگنال بود، و داشت به مشکل اشتباهی اشاره میکرد. تا وقتی فهمیدم چی شده، یه پایپلاین مشاهدهپذیری دو ساعت بیصدا همون دادهای رو دور ریخته بود که اصلاً برای جمع کردنش وجود داره: حدود ۴۵ تا ۵۰ میلیون اسپن، که حدود ۶۰۰٬۰۰۰ تاش اسپنهای بیلینگ بودن. نه هیچ شمارندهای بالا رفت، نه هیچ خطایی توی هیچکدوم از سرویسها لاگ شد.
محرکش پیشپاافتاده بود. یه دیپلوی صبحگاهی، متغیر OTEL_EXPORTER_OTLP_ENDPOINT همهی سرویسها رو از مسیر قدیمی تریس به سمت یه کالکتور جدید عوض کرد که به شکل StatefulSet اجرا میشد. کالکتور جدید از هر نظر درست بود بهجز یکی: برای یه جریان باریک سایز شده بود، و این جابهجایی یهدفعه کل سیل داده رو تحویلش داد.
چرا از دست رفتن داده هیچ ردی نذاشت
اکسپورترِ کالکتور جدید یه صف ارسالِ پایدار با ظرفیت ۱۰۰ رکورد داشت و از block_on_overflow استفاده میکرد. همین یه تنظیم، کل دلیل نامرئی موندن این حادثهست.
وقتی صف پر میشه، block_on_overflow باعث میشه ریسیور تا وقتی یه جا خالی نشده، دیگه داده قبول نکنه. فشار برگشتی از مسیر استریم gRPC برمیگرده تا SDK مربوط به OpenTelemetry توی سرویس، و SDK همون کاری رو میکنه که هر SDK وقتی نتونه یه اسپن رو تحویل بده میکنه: دورش میریزه. شمارندههای از دست رفتنِ خود کالکتور، همونهایی که روشون آلرت میذاری، همه دقیقاً روی صفر موندن، چون کالکتور هیچوقت چیزی دور نریخت. فقط خیلی تمیز از قبول کردن سر باز زد، و از دست رفتن یه قدم عقبتر توی مسیر اتفاق افتاد، داخل صدها پروسهی اپلیکیشن، جایی که هیچچیز نمیشمرد.
لاگهای ۲۳۰ تا پاد رو دنبال خطای اکسپورت گشتم. هیچی نبود. کتابخونههای SDK بهطور پیشفرض بیصدا دور میریزن؛ اسپنِ دورریختهشده متریکیه که باید بری دنبالش بگردی، نه خطی که خودش توی لاگ ظاهر بشه. این همون تلهایه که باید ملکهی ذهنت بشه: توی یه پایپلاین OTLP، از دست رفتن داده جایی اتفاق نمیافته که داری نگاهش میکنی. کالکتور جای بدیهی برای مانیتورینگه، و دقیقاً همون جزئیه که توی کل این ماجرا تمیز موند.
اندازه گرفتن چیزی که هیچچیز نشمرده بود
وقتی هیچ شمارندهای برای خوندن نبود، تنها راه اندازه گرفتن این خسارت، پایستگی بود: اسپنهایی رو که رسیده بودن با اسپنهایی که باید میرسیدن مقایسه کنی. بکاند تریسینگ هنوز دادههای پذیرفتهشده رو داشت، پس نرخ اسپن هر سرویس رو برای همون بازهی ساعتی توی سه روز درآوردم: روز حادثه، روز قبلش، و یه هفته قبلش.
از این مقایسه دو چیز دراومد. اول، شکلش. سرویسهای پرحجم توی اون بازه ۴۵ تا ۸۵ درصد اسپنهاشون رو از دست داده بودن، در حالی که سرویسهای کمحجم تغییری نکرده بودن. یه قطعی یکنواخت این شکلی نیست؛ فشار برگشتی این شکلیه، چون سرویسهایی که بیشترین تولید رو دارن، اول از همه به در بسته میخورن. دوم، اندازهاش: حدود ۲۵٫۵ میلیون اسپن توی اون بازهی دو ساعت و ده دقیقهای رسیده بود، در مقابل ۷۳٫۸ میلیون روز قبل و ۷۷٫۶ میلیون یه هفته قبل. با نسبتِ قبل از جابهجایی مقیاسش کردم، و خسارت شد ۴۵ تا ۵۰ میلیون اسپن، بهعنوان حد بالا. مسیر بیلینگ هم همین داستان رو در مقیاس کوچیکتر تعریف میکرد: ۳۹۱٬۰۰۰ اسپن بیلینگ اکسپورت شده بود، در مقابل حدود یه میلیون توی هر دو روزِ مقایسه.
یه جزئیات این روش، یه مین همیشگیه. بازههای مقایسه باید بازههای نیمباز صریح باشن، [from, to)، با مرزهای یکسان برای همهی روزها. یه کوئری شلخته که با «ساعت ۱۰» مچ میشه، آخرش دو تا ساعت متفاوت رو توی دو روز مختلف حساب میکنه و بیسروصدا تفاوتی رو گزارش میده که در اصل فقط ناهماهنگی بازههاست. قبلاً هم دقیقاً همین بلا سرم اومده بود، و اینجا هم قبل از اینکه بازهها رو دقیق ثابت کنم، دوباره سرم اومد.
گلوگاه اونی نبود که اول سراغش رفتم
اولین توضیحم این بود که صفِ ۱۰۰ رکوردی سقف توان عملیاتیه. توی یه صف پایدار، تعداد درخواستهای در جریان به عمق صف محدوده، پس بالا بردنش به ۱۰۰۰ و چهار برابر کردن تعداد مصرفکنندهها پچِ زندهی بدیهی بود، و کمک هم کرد: نرخ هر رپلیکا از حدود ۱٬۰۰۰ اسپن در ثانیه رسید به حدود ۴٬۰۰۰. ولی بالا بردن صف بیشتر از نقطهای که دیگه سرریز نمیکرد، هیچ چیز بیشتری نداد، یعنی عمق صف سقف واقعی نبود.
سقف واقعی توی نحوهی حرف زدن اکسپورتر با بروکر بود. بروکرِ پاییندست پشتش S3 هست و نوشتنها رو توی یه پنجرهی تقریباً یکثانیهای دسته میکنه، و اکسپورتر برای هر بروکر فقط یه درخواست produce در جریان نگه میداره، و توی نسخهای که ما اجرا میکنیم هیچ تنظیمی برای عوض کردنش نیست. پس هر رپلیکا میتونست تقریباً ثانیهای یه produce رو تموم کنه، و اسپنی که وسط یه produce میرسید، باید منتظر produce بعدی میموند. اهرم هیچوقت عمق صف یا تعداد مصرفکنندهها نبود. این بود که توی هر produce چند تا اسپن سوار میشه.
هر رکورد یه دستهی ۲۰تایی اسپن داشت، عددی که از مسیر قدیمی به ارث رسیده بود؛ اونجا هر رکورد چند مگابایت بود و ۲۰ تا خودش زیاد بود. ولی اسپنهای زندهای که از SDK میان حدود ۱٫۲ کیلوبایتن، نه چند مگابایت، پس یه رکورد ۲۰ اسپنی خیلی کوچیک بود و محدودیت produce در ثانیه به یه نرخ اسپنِ بهطرز خندهداری پایین تبدیل میشد. بالا بردن دسته به ۱۰۰ اسپن در هر رکورد سقف هر رپلیکا رو از حدود ۴٬۰۰۰ اسپن در ثانیه رسوند به حدود ۵۰٬۰۰۰. روی ۱۰۰ وایستادم و بالاتر نرفتم، چون سایزبندی باید جلوی بدترین حالت دووم بیاره، نه حالت میانگین: بزرگترین رکورد، بر اساس میانگین یکدقیقهای، توی هفتهی قبل ۲٫۸ مبیبایت بود. با ۱۰۰ اسپن یه حاشیهی ۹ برابری زیر سقف ۱۲۸ مبیبایتیِ رکورد توی بروکر میمونه، در حالی که ۲۰۰ اسپن این حاشیه رو به ۴٫۵ برابر میرسوند و ارزشش رو نداشت.
بخش لذتبخش، بررسی هزینه بود. دستههای بزرگتر یعنی رکوردهای کمتر و بزرگتر، و انتظار داشتم یه جایی بابتش هزینه بدم. با نرخ اسپن یکسان، قبل و بعد، توان عملیاتی بایتهای فشرده، ترافیک خروجی پادها، نرخ درخواستهای آبجکت استوریجِ بروکر و دریافت داده توی بکاند همه ثابت موندن. بروکر برای هر پنجرهی دستهبندی یه آبجکت مینویسه، مهم نیست چند تا رکورد توی اون پنجره برسه، پس جا دادن اسپنهای بیشتر توی هر رکورد تقریباً مجانیه. راهحلی که واقعاً مهم بود، هیچ هزینهای نداشت.
پیچ داستان: دور ریختن بدترین نتیجه نیست
این ماجرا یه لبهی تیزتر از «داده از دست دادیم» هم داره، و به شکل یه ناهنجاری خودش رو نشون داد که نزدیک بود نادیدهاش بگیرم. بعد از اینکه پایپلاین برگشت، حجم اسپنها فقط به حالت عادی برنگشت؛ یه مدت خیلی بالاتر از عادی بود، که برای ماجرایی که قرار بود اسپن از دست داده باشه، هیچ معنیای نداشت.
علتش یه اینتگریشن بالادستی بود که خوانندهاش زیر فشار برگشتی دور نمیریخت. بلاک میشد. توان عملیاتی خودش فروریخت، تأخیر پردازشش بالا رفت، و وقتی کالکتور بالاخره آزاد شد، کل عقبافتادگیش رو با حداکثر سرعتش دوباره فرستاد، که برای یه مدت کوتاه حدود ۲٫۳ برابر حجم عادی بود. برای همین یه منبع داده، فشار برگشتی اسپنها تبدیل شده بود به تأخیر واقعی توی پردازشهای کسبوکار، یعنی داده دیر رسیده بود، نه اینکه اصلاً نرسیده باشه.
این همون سؤال طراحی ناخوشایندیه که این حادثه رو کرد. «هیچوقت یه اسپن پروداکشن رو از دست نده» و «هیچوقت دادهی پروداکشن رو معطل نکن» یه هدف نیستن، و وقتی کالکتور عقب افتاده، در دو جهت مخالف میکشن. یه SDK که روی دور ریختن تنظیم شده، از تأخیر اپلیکیشن محافظت میکنه و تلهمتری رو قربانی میکنه. یه SDK که روی بلاک کردن تنظیم شده، از تلهمتری محافظت میکنه و به هر چیزی که داره تولیدش میکنه تأخیر تزریق میکنه. اینکه کدوم درسته، تصمیمیه که تیم اپلیکیشن باید بگیره، بر اساس اینکه اون سرویس مشخص چی رو میتونه تحمل کنه؛ تصمیمی نیست که یه پیشفرضِ مشاهدهپذیری بیصدا از طرف همه بگیره.
چی واقعاً جلوی تکرارش رو میگیره
تغییر اندازهی صف و تغییر دستهبندی، مشکل توان عملیاتی رو حل کردن. ولی هیچکدوم جلوی تکرار این ماجرا رو نمیگرفتن، چون شکست این نبود که یه صف خیلی کوچیک بود؛ این بود که هیچکس از پر شدن صف خبردار نشد، تا وقتی دو ساعت پر مونده بود.
پس راهحل ماندگار یه آلرت بحرانی جدید بود که مستقیم صف اکسپورترِ زنده رو زیر نظر داره و وقتی پنج دقیقه بالای ۹۵ درصد پر بمونه، برای هر رپلیکا جدا فعال میشه، قبل از اینکه SDK سرویسهای بالادست شروع کنن به رد کردن تحویلها. آلرت عمومی اشباع که اول کار اشتباه فعال شده بود، حالا صراحتاً این اکسپورتر رو مستثنی میکنه، تا این دو تا آلرت حرف هم رو قطع نکنن.
یه آلرت مقایسهی روزبهروز برای حجم ورودی هم سعی کردم اضافه کنم، یعنی «اسپنهای امروز خیلی کمتر از دیروزه»، و نتونستم. ذخیرهساز متریک پروداکشن فقط ۴۸ ساعت داده نگه میداره، و ترافیک یه الگوی هفتگی قوی داره: صبح شنبه بهطور طبیعی یهسوم جمعه ترافیک داره. برای قاعدهای که نمیتونه هفتهی پیش رو ببینه، هیچ آستانهی صادقانهای وجود نداره. به جاش این مقایسه روی یه داشبورد قرار گرفته که پشتش یه ذخیرهساز بلندمدتتره، و حجم ورودی رو کنار همون بازهی هفتهی قبل نشون میده تا یه آدم با یه نگاه بتونه چالهای رو ببینه که شکلش داد میزنه کار یه جابهجاییه.
چی رو باید نگه داشت
- توی یه پایپلاین OTLP، فرستندهها رو مانیتور کن، نه فقط کالکتور رو. تنظیم
block_on_overflowاز دست رفتن داده رو منتقل میکنه به SDK اپلیکیشنها، جایی که شمارندههای تمیزِ کالکتور هیچوقت نمیبیننش. روی پر شدن صف آلرت بذار، بالادستِ جایی که دور ریختن اتفاق میافته. - عمق صف بهندرت سقف توان عملیاتیه. وقتی بالا بردن صف از نقطهی سرریز چیزی اضافه نمیکنه، محدودیت یه جای دیگهست؛ اینجا یه produce در جریان برای هر بروکر بود، و اهرم واقعی تعداد اسپن در هر رکورد بود.
- دور ریختن و بلاک کردن دو جور شکست متفاوتن. یکی تلهمتری رو از دست میده، اون یکی دادهی کسبوکار رو معطل میکنه. برای هر سرویس آگاهانه انتخاب کن؛ نذار یه پیشفرض به جات انتخاب کنه.
- دستهها رو بر اساس بدترین حالت سایز کن، نه میانگین. سقف اندازهی رکورد یه سقف سخته، و بزرگترین رکوردِ یه هفته همونیه که باید زیرش جا بشه.