۱۷ شهریور ۲۵۸۵ · 9 دقیقه مطالعه
خطا ۲۵ ساعت قدیمی بود. کلاینت تمام این مدت سالم بود.
یه پرودیوسر تو پروداکشن بیشتر یه روز همهی درخواستها رو رد کرد. تمام این مدت همهی سیگنالهای سلامت سبز موندن: تعداد ریاستارت ۰، سشنهای TCP به بروکرهای Kafka در وضعیت ESTABLISHED، و پرابهای liveness و readiness همه پاس. خطایی که برمیگردوند بایتبهبایت با خطایی یکی بود که کلاینت زیرینش ۲۵ ساعت قبل داده بود، حتی مقدار زمان سپریشدهش. کلاینت چند دقیقه بعد از حادثه بازیابی شده بود. رپر هیچوقت متوجه نشد.
الگویی که جواب میده
مثل خیلی از پلتفرمها، ما هم کلاینتهای Kafka رو پشت یه کتابخونهی رپر مشترک اجرا میکنیم، و جواب رپر به از دست رفتن بروکر عمداً زمخته: خطاها رو بشمر، و وقتی از یه آستانه رد شد، پنیک کن. ارکستریتور پروسه رو ریاستارت میکنه و سرویس سرد و تمیز برمیگرده.
مسخره کردن «کرش کن تا بازیابی بشی» راحته، تا وقتی که یه کلاینت نیمهخراب رو دیباگ کرده باشی؛ کلاینتی که یه گوشه از ماشین حالت اتصال مجددش گیر کرده، گوشهای که هیچ تستی پوشش نمیده و هیچ رانبوکی اسمی ازش نبرده. پنیک یه فضای بیانتها از این حالتها رو تبدیل میکنه به دقیقاً یه حالت: یه پروسهی تازه. با سازوکاری هم که پلتفرم از قبل داره جور درمیاد. رپر بازیابی رو از نو پیاده نمیکنه؛ کار رو میسپره به ریاستارت، یعنی همون تنها مسیر بازیابیای که همه از قبل روش سرمایهگذاری کردن.
وسط حادثهای که این پست حولش میچرخه، پلتفرم بروکرهاش رو یکییکی ریاستارت کرد، و سرویسهای پرکاری که از این رپر استفاده میکردن دقیقاً همونطور که طراحی شده بود رفتار کردن. یه پردازشگر استریم مدام با Kafka سروکار داره، پس ریاستارت چرخشی بروکرها چند بار در ثانیه خطا تولید میکنه؛ آستانه تو چند ثانیه رد میشه، پروسه پنیک میکنه، ارکستریتور جایگزینش میکنه، و سرویس تو کمتر از یه دقیقه تمیز برمیگرده. بیش از دوازده سرویس با همون نسخهی کتابخونه دقیقاً همین کار رو کردن، درست همون ثانیهای که بروکرشون خاموش شد. اون شب «کرش کن تا بازیابی بشی» حق خودش رو ادا کرد.
چرا بیکاری خرابش میکنه
آستانه خطاها رو میشمره، و خطا فقط وقتی پیش میاد که سرویس کاری انجام بده. کل ایراد همینه.
یه پردازشگر استریم اونقدر سریع خطا تولید میکنه که از هر آستانهای که دلت بخواد رد بشه. یه پرودیوسر درخواستمحور، یعنی سرویسی که فقط وقتی کسی صداش میزنه با Kafka کار داره، و کسی هم تقریباً روزی یه بار صداش میزنه، حدوداً روزی یه خطا تولید میکنه. شمارنده هیچوقت از هیچ آستانهای رد نمیشه. و رفتار رپر برای آستانهای که هیچوقت فعال نمیشه «تلاش رو ادامه بده» نیست. اینه که روی آخرین خطا قفل کنه و همون رو برای همهی تلاشهای بعدی برگردونه، تا ابد. یکیشون رو دیدیم که ۲۲ ساعت همین کار رو کرد، و فقط به این دلیل تموم شد که یه آدم پاد رو ریاستارت کرد.
بازیابیای که متناسب با ترافیکه، بازیابی نیست. سرویسهایی که کمتر از همه بهش نیاز دارن ازش بهره میبرن؛ اونهایی که بیشتر از همه نیاز دارن، هیچوقت. سرویس کمصدا دقیقاً همون سرویسیه که خرابیش دیده نمیشه، و سرعت سازوکاری که برای نجاتش ساخته شده، به همون یه چیزی بستهست که این سرویس نداره: ترافیک.
دو بار اشتباه
مسیر رسیدن به جواب درست از دو تا جواب غلط رد شد، که هر دوش ارزش نگه داشتن داره.
اولی همبستگی بود که لباس علت پوشیده بود. لاگهای بروکر نشون میدادن یه کاربر چند هفتهست که هر روز هزاران بار، با یه نرخ ثابت، تو احراز هویت شکست میخوره. لاگ ممیزی هم ماجرا رو روشن کرد: یه جاب خودکار پاکسازی، اعتبارنامهی همون کاربر رو پاک کرده بود. دقیقاً یه اعتبارنامه پاک شده بود، و دقیقاً یه کاربر شکست میخورد. اعتبارنامه رو برگردوندم، دیدم شکستها متوقف شدن، و گزارش دادم که علت ریشهای قطعی پیدا شده.
قطعی اون نبود. سرویسی که از کار افتاده بود با یه کاربر کاملاً متفاوت احراز هویت میکرد، و یه نگاه به تنظیمات دیپلویش، قبل از اینکه کسی به چیزی دست بزنه، همین رو نشون میداد. برگردوندن اعتبارنامه بیضرر بود، و یه کلاینت واقعاً خراب رو هم درست کرد، ولی اون یه کلاینت دیگه بود. «فقط یه چیز خراب شد و فقط یه چیز تغییر کرد» ویژگی جستوجوی توئه، نه ویژگی سیستم. یکتا بودن یه تلنگره برای راستیآزمایی، نه اثبات.
یه جزئیات هم اون دور اول رو حسابی گمراه کرد: سرویسی که همه داشتن لاگهاش رو میخوندن، اون سرویسی نبود که روی Kafka پیام میفرستاد. خطای پرودیوسر رو تو بدنهی یه پاسخ HTTP 500 گرفته بود و به اسم خودش لاگ کرده بود، برای همین یه استکترِیس جاوا داشت رشتهی خطای یه کتابخونهی C رو حمل میکرد. گزارشدهنده و عامل دو تا سرویس جدا بودن، و لاگی که همه داشتن توش جستوجو میکردن به سؤالی جواب میداد که با سؤال مطرحشده فرق داشت.
جواب غلط دوم نسخه بود. سرویس سالم نسخهی جدیدتری از کتابخونهی کلاینت رو اجرا میکرد تا سرویس گیرکرده، پس به نظر میرسید ارتقای نسخه راهحله، و یه تیکت هم براش باز شد. بعد نوبت فهرستبرداری از کل سرویسها رسید: اطلاعات بیلد Go رو که توی /proc/1/exe جاسازی شده، روی همهی پادها بیرون بکش، و دقیقاً میفهمی هر سرویس کدوم نسخهی کتابخونه رو اجرا میکنه. دهها سرویس روی این رپر بودن، بیشترشون با همون نسخهی سرویس گیرکرده، و بیش از دوازده تا از همین سرویسهای همنسخه موقع ریاستارت بروکرها پنیک کرده بودن و خودشون رو درست کرده بودن. نسخه هیچ تمایزی ایجاد نمیکنه.
هیچکدوم از دو جهت استدلال معمول از این جون سالم به در نمیبره. «یه سرویس دیگه با همین نسخه سالم بود» هیچچیز رو تبرئه نمیکنه، و «سرویس سالم نسخهی جدیدتری داره» هیچچیز رو محکوم نمیکنه. قبل از اینکه سراغ مقایسهی نسخهها بری، سرویسها رو بر اساس الگوی ترافیکشون دستهبندی کن. اگه این رو اشتباه بگیری، یه نفر رو میفرستی سراغ ارتقایی که نمیتونه مشکل رو حل کنه. چیزی که این رو رو کرد، یه همکار بود که با یه بازهی کرش از لاگهای خود کلاینت مخالفت کرد؛ بازهای که داستان من جایی براش نداشت.
مدرک توی رقمها
مدرک تعیینکننده تمام مدت توی رشتهی خطا نشسته بود.
خطای پرودیوسر گیرکرده بایتبهبایت با خطایی یکی بود که کلاینت زیرین موقع ریاستارت بروکرها داده بود، و منظورم یکی بودن تا خود مقدار زمان سپریشدهست، همون تیکهی «after N milliseconds». کلاینت زیرین از اون موقع هیچ لاگی ثبت نکرده بود، چون چند دقیقه بعد بهطور عادی دوباره وصل شده بود. رپر شیء خطا رو کش کرده بود و یه روز تمام همون رو دوباره تحویل میداد.
رقمهای یکسان زمان سپریشده نمیتونن مال دو رخداد مستقل باشن. زمان سپریشده یه اندازهگیریه، و دو تا اندازهگیری تا آخرین رقم با هم یکی درنمیان. وقتی این رو بفهمی، سؤال دیگه «چرا مدام شکست میخوره» نیست، میشه «چرا خطا هیچوقت پاک نمیشه»، و این سؤال جواب داره. وقتی یه پیام خطا یه مدتزمان یا یه شمارنده با خودش داره، اون رقمها رو بین دفعههای مختلف مقایسه کن. رقمهای یکسان یعنی یه خطای کششده که دوباره و دوباره تحویل داده میشه. هیچ هزینهای نداره، و مسیر بررسی رو کلاً برمیگردونه.
پروسهای که روی خطا قفل شده چه شکلیه
هیچچیز تو داشبورد استاندارد پروسهی گیرکرده رو از پروسهی بیکار جدا نمیکنه.
تعداد ریاستارت ۰ هست، چون از نظر منطق خود پروسه هیچوقت نیازی به نجات نبود. سوکتها به بروکرها در وضعیت ESTABLISHED هستن، چون لایهی انتقال واقعاً بازیابی شده بود؛ وضعیت سوکت مدرکیه از یه لایه پایینتر از ادعایی که داری بررسیش میکنی، و من یه بار قبلاً بر اساس همین مدرک اعلام کرده بودم که مشکل حل شده، که زودهنگام بود. پرابهای liveness و readiness پاس میشن، چون هیچکدوم ارسال پیام رو امتحان نمیکنن. لاگها هیچچیز نشون نمیدن، چون یه سرویس کمصدا چه خراب باشه چه فقط ساکت، هیچ لاگی نمینویسه. تلاشهای مجدد سطح اپلیکیشن هم چند ثانیه بعد همون خطای کششده رو میگیرن، و برای همینه که «تلاش مجدد اضافه کن» واکنش غلطیه. با تلاش مجدد نمیتونی از یه کش بیرون بیای.
راه بستنش
سه تا اصلاح، به ترتیب از باارزشترین.
وضعیت خطا رو بعد از موفقیت پاک کن. یه ارسال موفق، یا یه اتصال مجدد موفق، باید خطای کششده رو کنار بذاره. کل باگ همین پاک نشدنه؛ بقیهی چیزها فقط کاهش آسیبه.
کاری کن پراب سلامت مسیر ارسال پیام رو امتحان کنه. ادعای آمادگی یه پرودیوسر اینه که «میتونم پیام بفرستم»، پس پراب هم باید همین رو تست کنه. پرودیوسری که خودش رو سالم گزارش میده در حالی که همهی ارسالها رو رد میکنه، دقیقاً روی همون محوری دروغ میگه که همه دارن چکش میکنن.
آستانه رو علاوه بر تعداد، بر اساس زمان هم تعریف کن. اینطوری یه سرویس کمصدا هم بالاخره به همون روشی بازیابی میشه که یه سرویس پرکار، با ساعت بهجای شمارنده.
و این رو بپذیر که این محرک تکرار میشه، چون از بین نمیره. یه پلتفرم مدیریتشدهی Kafka بروکرهاش رو طبق برنامهی نگهداری ریاستارت میکنه، تو مورد ما ماهی یه بار، و هر ریاستارت همین آزمایش رو روی همهی کلاینتها تکرار میکنه. بعد از هر ریاستارت سمت ارائهدهنده، پرودیوسرهای درخواستمحور همونهاییان که باید چکشون کنی، و تنها راه مطمئن چک کردن اینه که یه درخواست ازشون رد کنی یا ریاستارتشون کنی. یه تعداد کمی پرودیوسر ساکت و کمترافیک هست که بدون رد کردن یه درخواست ازشون نمیشه فهمید گیر کردن یا نه؛ اینها میرن تو فهرست ریاستارت بعدی.
کجاها این قاعده عمومیت داره، و تله کجاست
هر سازوکار بازیابیای که محرکش بر اساس نرخه، همین حالت شکست رو داره. سرکیتبریکرها برای فعال شدن به شکست نیاز دارن. واچداگها رخدادها رو میشمرن. کانکشنپولها موقع تحویل دادن اتصال اعتبارسنجی میکنن، پس پولی که کسی ازش اتصال نمیگیره هیچوقت چیزی رو اعتبارسنجی نمیکنه. چکهای سلامتی که فقط مسیر موفق رو امتحان میکنن، کنار یه مسیر خراب تا ابد پاس میشن. ترافیک کم هر کدوم از اینها رو بیاثر میکنه، اون هم بیصدا: هیچچیز غیرفعال نشده، هیچچیز اشتباه تنظیم نشده، سازوکار فقط منتظر مدرکیه که قرار نیست برسه.
از این صفحه دو تا قاعده با خودت ببر. وقتی یه سازوکار بازیابی بر اساس نرخه، بپرس وقتی ترافیک به اون نرخ نمیرسه چی میشه. و وقتی یه خطا یه شمارنده با خودش داره، اون شمارنده مدرکه.
تله اینه که بازیابی رو ویژگی خرابی بدونی. بازیابی ویژگی ترافیکه. کلاینتی که فقط موقع شکست خوردن بازیابی میشه، دقیقاً وقتی بازیابی میشه که به اندازهی کافی زیاد شکست بخوره، و سرویسی که اونقدر ساکته که به اندازهی کافی شکست نمیخوره هیچوقت این فرصت رو پیدا نمیکنه. همونجا میشینه، روی همهی داشبوردها سالم، و خطای دیروز رو تحویل میده.