۲۹ مرداد ۲۵۸۵ · 8 دقیقه مطالعه
پایپلاین جدید انگار اسپن گم میکرد. پایپلاین قدیمی حدود ۴۷ هزار ردیف تکراری داشت.
وسط یه اعتبارسنجی با اجرای موازی، مقایسهی کنار همِ تعداد اسپنهای هر سرویس نشون میداد که پایپلاین جدید توی یه بازهی ۶۰ دقیقهای، برای هر سرویس تقریباً ۰٫۲٪ از اسپنها رو از دست میده. اگه این رو پسرفتِ پایپلاین جدید میخوندیم، کار به رولبک میکشید. با خوندن درست، ماجرا این بود که پایپلاین قدیمی توی یه بازهی چندثانیهای دهها هزار ردیف تکراری ثبت کرده بود، و وقتی تکراریها کنار گذاشته شدن، پایپلاین جدید اسپن به اسپن باهاش جور بود. درس ماجرا این نیست که پایپلاین جدید مشکلی نداشت. درس اینه که وقتی ذخیرهسازی روی چیزی که شمرده میشه قید یکتایی نداره، واحدی که به اسم «تعداد» نشون میده اون واحدی نیست که اپراتور فکر میکنه.
مدرک اول: اختلاف نگرانکننده در هر سرویس
پنل count() توی Traces Explorer تعداد ردیفها رو گزارش میده. برای هر سرویس، پایپلاین جدید توی اون بازه حدود ۰٫۲٪ کم داشت. شکل این کمبود بین همهی سرویسها یکسان بود، و همین بود که شبیه یه سیگنال واقعی به نظر میرسید. کمبود یکسان در همهی سرویسها امضای یه مشکل سیستمیه، نه یه جزء که داره بدرفتاری میکنه، و واکنش طبیعی این بود که «پایپلاین جدید داره اسپنها رو دور میریزه». کل این پست دربارهی همین واکنشه، چون جهتش اشتباه بود. پایپلاین جدید چیزی رو دور نمیریخت. پایپلاین قدیمی داشت تکراری ثبت میکرد، و تکرار توی پایپلاین قدیمی، از دید پایپلاین جدید، دقیقاً شبیه گم شدنه.
این غریزه که کمبود یکسان رو پسرفت بخونی احمقانه نیست؛ توی بیشتر حالتهای خرابی واکنش درستیه. وقتی یکی از دو پایپلاین مشکل داره، همین واکنش رو باید داشته باشی. مشکلش اینه که فرض میکنه یکی از دو پایپلاین منشأ اختلافه و اون یکی رو مرجع حقیقت حساب میکنه. چیدمان اجرای موازی، پایپلاین قدیمی رو فقط به این دلیل که زودتر اونجا بوده مرجع کرده بود، و کمبود در برابر مرجع اینطور به نظر میاد که پایپلاین آزمایشی ایراد داره، نه خود مرجع. همین عدم تقارنه که بهعنوان پسرفت خونده میشه.
مدرک دوم: بررسی جزئیتری که تصویر رو وارونه کرد
تعدادها رو ساعت به ساعت حساب کردیم و کنار هم گذاشتیم، مستقیم روی دیتابیسهای هر دو پایپلاین. بیست ساعت پشت سر هم اسپن به اسپن جور بودن. یه ساعت جور نبود.
برای اون برش باریکی که بررسی جزئی داخل همون ساعت جدا کرد، count() پایپلاین قدیمی حدود ۶۲۰ هزار نشون میداد، در حالی که uniqExact(spanID) همون پایپلاین حدود ۵۸۰ هزار بود. هر دو عدد پایپلاین جدید حدود ۵۸۰ هزار بودن. کمبود توی پایپلاین جدید نبود. کمبود در واقع این بود که پایپلاین قدیمی توی اون ساعت دهها هزار ردیف تکراری داشت، و این تکرارها توی چند ثانیه از همون برش جمع شده بودن. همین تکرارها، وقتی روی کل ساعت و همهی سرویسها پخش میشدن، به شکل همون فاصلهی حدود ۰٫۲٪ برای هر سرویس دیده میشدن؛ داخل برش، همون فاصلهی بین ۶۲۰ هزار و ۵۸۰ هزار بودن. برای هر سرویس، count() پایپلاین جدید دقیقاً برابر uniqExact(spanID) پایپلاین قدیمی بود، و همین رابطهست که تشخیص رو برعکس میکنه. پایپلاین جدید از قدیمی کوچیکتر نبود. پایپلاین قدیمی دقیقاً به اندازهی تعداد ردیفهایی که دو بار ثبت کرده بود بزرگتر بود.
این بررسی جزئی مهم بود، چون سطح ساعتی همون سطحی بود که واکنش اشتباه میتونست توش گیر کنه. بررسی در سطح بازهی کوچیک بود که تکرار رو نشون داد؛ جور بودن تکتک سرویسها بود که جهت رو نشون داد. هر دو تیکه لازم بودن؛ هر کدوم بهتنهایی تشخیص رو مبهم میذاشت. شکل این ناهمخوانی (count() قدیمی بیشتر از واقع گزارش میده؛ uniqExact قدیمی با جدید یکیه) اثر انگشت یه مسیر درج تکراریه، نه اثر انگشت مسیری که اسپنها رو گم میکنه.
مدرک سوم: گشتن لاگها و پیدا کردن مدرک قطعی
لاگهای کالکتور قدیمی رو دنبال خطاهای داخل اون بازه گشتیم. یه MEMORY_LIMIT_EXCEEDED موقع درج توی جدول خطا پیدا شد، که بعد از این رخ داده بود که درج همون بچ توی جدول ایندکس با موفقیت انجام شده بود. اکسپورتر کل بچ رو دوباره فرستاد. نوشتن غیرتراکنشی روی چند جدول بهعلاوهی تلاش دوباره، همون سازوکار تکراره: جدول ایندکس کامیت میشه، جدول خطا به سقف حافظهش میخوره و شکست میخوره، و تلاش دوباره جدول ایندکس رو یه بار دیگه کامیت میکنه. این پایگاه دادهی ستونی هیچ قید یکتایی روی spanID نداره و موقع درج هم تکراریها رو حذف نمیکنه، پس کامیت دوم به شکل دو تا ردیف یکسان ثبت میشه. شمارندههای خطای خودِ دیتابیس قدیمی خیلی بیشتر از صد مورد قبلی از MEMORY_LIMIT_EXCEEDED نشون میدن، یعنی این تکرار مدام اتفاق میافته و استثنا نیست.
خود سقف حافظه ماشهست، و به بار کاری بستگی داره. درج توی جدول خطا وقتی شکست میخوره که بچ خطاها اونقدر بزرگ باشه که از بودجهی حافظه بزنه بیرون. این موقع جهش ترافیک محتملتره، و جهش ترافیک هم به احتمال زیاد همون بازهایه که یکی داره به تعداد اسپن هر سرویس دقت میکنه. این تکرار نویز نیست؛ با همون الگوی کاری همبستگی داره که اختلاف رو آشکار میکنه، و همینه که این علامت رو اینقدر قانعکننده شبیه پسرفت پایپلاین جدید میکنه.
چرا شمارش ساده با شمارشِ آگاه از یکتایی جور درنمیاومد
پنل count() توی Traces Explorer تعداد ردیفها رو گزارش میده. ستون spanID توی این پایگاه داده کلید اصلی نیست؛ هیچچیز جلوی درج تکراری رو نمیگیره. این دو عدد، count() و uniqExact(spanID)، وقتی پایپلاین سالمه با هم یکیان و وقتی سالم نیست از هم فاصله میگیرن. این فاصله جهت باگ رو نشون میده: count() بیشتر از واقع گزارش میده، چون تکراریها رو هم میشمره. دو عدد پایپلاین جدید دقیقاً با هم یکی بودن، چون توی اون بازه هیچچیز سمت جدید وسط یه بچ شکست نخورد، پس هیچچیز هم دوباره فرستاده نشد. ناهمخوانی بین دو پایپلاین پسرفتِ پایپلاین جدید نبود. بیششماری پایپلاین قدیمی، که از تکرارها میاومد، به اشتباه کمشماری پایپلاین جدید خونده شده بود.
این بخشیه از پست که به جاهای دیگه هم تعمیم پیدا میکنه. شمارش ردیفها و شمارش بر اساس کلید یکتا دو اندازهگیری متفاوت از یه ذخیرهسازیان، و فقط وقتی معادلن که ذخیرهسازی تکراریها رو رد کنه. همون لحظهای که ذخیرهسازی تکراری قبول کنه، این دو اندازهگیری از هم فاصله میگیرن، و همین فاصله سیگناله. جهت این فاصله بهت میگه کدوم طرف داره تکراری ثبت میکنه، نه اینکه کدوم طرف داره دور میریزه. پنلی که در برابر مرجع کم نشون میده، ممکنه دلیلش این باشه که طرف کم داره دور میریزه، یا مرجع داره تکراری ثبت میکنه، یا هر دو؛ ناهمخوانی بین count() و uniqExact در سمت مرجع همون نشونهایه که بهت میگه کدومه.
تلهی خطای تکرارشونده
همین که MEMORY_LIMIT_EXCEEDED قبلاً خیلی بیشتر از صد بار رخ داده، یه جلسهی دیباگ یهباره رو به یه قاعدهی قابل انتقال تبدیل میکنه. بچی که بعد از شکست وسط کار دوباره فرستاده میشه یه اتفاق گذراست؛ اینکه همون مسیر بچ هر بار که بار کاری به اوج میرسه شکست بخوره، یه ویژگی پایپلاین قدیمیه. اجرای موازی هر بار که مسیر خطای پایپلاین قدیمی فعال بشه همون الگوی «پایپلاین جدید داره اسپن گم میکنه» رو نشون میده، و این فاصله در طول بازهی اعتبارسنجی روی هم انباشته میشه.
راهحل غریزی اینه که «با uniqExact مقایسه کن». این فقط درمان علامته. قاعده گستردهتره: معیار مقایسهای رو انتخاب کن که به رفتار تلاش دوبارهی پایپلاین قدیمی وابسته نباشه. شمارش بر اساس کلید یکتا یکی از این معیارهاست؛ معیاری بر اساس شمارش ردیفهای رویدادهای خطا هم بهت میگه تکرار اتفاق افتاده؛ معیاری بر اساس شمارش شناسههای تریسِ متمایز بهت میگه تکرار روی گراف تریس اثری نذاشته. هر معیاری که تعریفش با درج تکراری تغییر نکنه، در برابر این دسته از باگها مقاومه. شمارش ردیفها اینطور نیست، و اگه بهعنوان معیار مقایسه در اجرای موازی ازش استفاده کنی، تضمین میشه که هر بازهای که با یه رویداد تکرار همپوشانی داشته باشه، به شکل پسرفت پایپلاین آزمایشی خونده بشه.
قاعده و تله
وقتی یه شمارش ساده و یه شمارش آگاه از یکتایی با هم نمیخونن، لایهی ذخیرهسازی داره بهت میگه از کدوم استفاده کنی، و خود این ناهمخوانی سیگناله. نوشتن غیرتراکنشی روی چند جدول بهعلاوهی تلاش دوباره یه مسیر تکراره، چه فعال بشه چه نشه. وقتی فعال میشه که یکی از جدولها وسط یه بچ به سقفش بخوره، و وقتی فعال شد، تکرار برای همیشه توی ذخیرهسازی میمونه، چون هیچچیز موقع درج ردش نمیکنه.
دفعهی بعد که یه پنل کنار هم نشون داد یکی از پایپلاینها یه درصد کوچیک و یکسان کم داره، سؤال این نیست که «کدوم پایپلاین داره دور میریزه». سؤال اینه که «کدوم پایپلاین داره دو بار میشمره»، و جوابش اونیه که توی همون بازه تعداد ردیفهاش از شمارش بر اساس کلید یکتاش بیشتره. دو پایپلاین توی اجرای موازی متقارن نیستن: طرف مرجع، همونی که زودتر اونجا بوده، وقت بیشتری داشته تا هر خرابیای رو که مسیر درجش مستعدشه روی هم جمع کنه. کسری طرف کم، توی حالت معمول، همون مازاد طرف مرجعه که از جهت اشتباه دیده شده.