کانفیگ بایت به بایت یکی بود. همین، چیز اشتباهی رو ثابت کرد.

opentelemetry kafka terraform devops troubleshooting

داشتیم یه OpenTelemetry Collector رو به کد تبدیل می‌کردیم که دستی نصب شده بود و هیچ‌وقت توی هیچ ریپویی ثبت نشده بود. راه امنِ این کار اختراع یه کانفیگ جدید نیست؛ بازتولید همونیه که الان داره اجرا می‌شه. پس از روی همون دوباره ساختیمش، و بعد کارمون رو با سخت‌گیرانه‌ترین روشی که بلد بودیم چک کردیم: نتیجه رو بایت به بایت با کانفیگ زنده‌ی پروداکشن مقایسه کردیم. دقیقاً یکی بود. فایل YAML بدون خطا پارس شد. خروجی terraform validate تمیز بود، لینت تمیز بود، و چند بازبینی مستقل هم هیچ ایرادی پیدا نکردن.

بعد بالا اومد و افتاد توی کرش‌لوپ.

هر چیزی که قرار بود جلوی یه کانفیگ خراب رو بگیره اجرا شده بود و پاس شده بود، و کانفیگ باز هم خراب بود. فاصله‌ی بین این دو واقعیت کل حرف این پسته، و مخصوص کالکتورها یا Kafka هم نیست. حرف اینه که «بایت به بایت یکی» واقعاً چی رو ثابت می‌کنه. معلوم شد با چیزی که همه‌ی کسایی که اون‌جا بودن فکر می‌کردن ثابت می‌کنه، فرق داره.

«بایت به بایت یکی» چی رو تأیید کرد

مقایسه واقعی بود و به درد هم خورد. ثابت کرد که تبدیل کانفیگِ در حال اجرا به نسخه‌ی کدشده وفادار بوده. چیزی جا نیفتاده بود، چیزی بازنویسی نشده بود، هیچ کلیدی وسط ترجمه جابه‌جا نشده بود. اگه نگرانیت اینه که «منبع رو دقیق بازتولید کردیم یا نه»، یه دیف بایت به بایت جواب کامل و صادقانه‌ایه.

ولی این حرفیه درباره‌ی کپی. کانفیگ جدید رو به قدیمی ربط می‌ده و می‌گه این دو یکی‌ان. درباره‌ی یه ویژگی دوم و کاملاً جدا هیچی نمی‌گه: این‌که اون کانفیگ برای چیزی که حالا باید باهاش اجرا بشه معتبره یا نه. این‌ها دو سؤال متفاوتن: وفاداری کپی، و اعتبار برای هدف. از قضا هر دو همون رنگ سبز رو نشون می‌دن، برای همین راحت می‌شه اولی رو چک کرد و خیال کرد جواب دومی هم داده شده.

و این‌جا این دو حسابی از هم فاصله گرفته بودن.

شکافی که کپی نمی‌تونست ببینه

کانفیگ برای یه نسخه از کالکتور نوشته شده بود. ایمیجی که توی یونیت پین شده بود تقریباً دو جین نسخه‌ی مینور جلوتر بود. باینری‌ای که رفتارش رو کانفیگ تعیین می‌کنه با کانفیگش یه قرارداد داره، و اون قرارداد زیر پای کانفیگی که ثابت مونده بود جابه‌جا شده بود. توی این نسخه‌ها سه چیز خراب شده بود:

  • یه فیلد تلمتری که کانفیگ هنوز بهش ارجاع می‌داد حذف شده بود. برای باینری جدیدتر این فقط یه کلید ناشناخته‌ست، و کلید ناشناخته موقع راه‌اندازی کشنده‌ست، نادیده گرفته نمی‌شه.
  • مقدار topic توی ریسیور Kafka از یه رشته‌ی تکی به یه لیست تغییر کرده بود، در حالی که اکسپورتر Kafka همون شکل مفرد رو نگه داشته بود. این عدم تقارن از بدترین نوع‌هاست: یه جست‌وجو و جایگزینی سرسری توی کل فایل، هر دو جایی که ریسیور استفاده شده رو «درست» می‌کنه و هر هشت جای اکسپورتر رو خراب می‌کنه، یا برعکس، و در هر دو حالت هم مرتب و تمیز به نظر می‌رسه.
  • یه تنظیم اندازه‌ی پیام توی پرودیوسر حالا از سقف جدید نوشتن سمت بروکر بیشتر بود، پس حتی اگه کالکتور تمیز بالا میومد، اولین باری که می‌خواست پیامی بفرسته شکست می‌خورد.

هیچ‌کدوم از این‌ها انحراف توی کپی ما نبود. تک‌تکشون با وفاداری و درستی از منبعی بازتولید شده بودن که خودش دیگه برای هدف معتبر نبود. دیف دقیقاً داشت کار خودش رو می‌کرد و هیچ چیزی که لازم بود بشنویم بهمون نمی‌گفت.

چرا همه‌ی چک‌ها سبز بودن

این بخشیه که ارزش داره ملکه‌ی ذهنت بشه، چون چک‌ها کوتاهی نکرده بودن. هر کدوم داشت به سؤال خودش درست جواب می‌داد.

دستور terraform validate چک می‌کنه که کانفیگ و پلن درست شکل گرفته باشن. کامپوننتی رو که کانفیگ توصیفش می‌کنه نمی‌سازه، ایمیج پین‌شده رو دانلود نمی‌کنه، و هیچ خبر نداره باینری اون ایمیج چه فیلدهایی رو قبول می‌کنه. اعتبارسنجی YAML ساختار رو چک می‌کنه: این مپه، اون لیسته، کوتیشن‌ها جفت‌وجورن یا نه. نمی‌تونه بدونه که topic توی این نسخه باید لیست باشه در حالی که توی نسخه‌ی قبلی رشته بود، چون «کدوم نسخه» اصلاً توی YAML نیست. بازبینی‌ها هم چک کردن که کانفیگ کدشده با پروداکشن می‌خونه، که بی‌نقص می‌خوند.

و عمیق‌ترین دلیل یه لایه پایین‌تره. این کانفیگ رو باینری کالکتور موقع راه‌اندازی می‌خونه، نه یه admission webhook و نه هیچ چکی توی کنترل‌پلین. پس کانفیگی که برای اون باینری نامعتبره، باز هم بی‌دردسر اعمال می‌شه. ریسورس ساخته می‌شه، آبجکت پذیرفته می‌شه، همه‌چیز گزارش موفقیت می‌ده، و بعد پروسه یه ثانیه بعد کانفیگ خودش رو می‌خونه و می‌میره. خطا بعد از همه‌ی دروازه‌هایی رخ می‌ده که فرصت داشتن جلوش رو بگیرن، چون هیچ‌کدوم از اون دروازه‌ها اصلاً خودِ کامپوننت پین‌شده رو بالا نمیارن.

بایت به بایت یکی، YAML معتبر، پلن تمیز، بازبینی تأییدشده. چهار جمله‌ی درست، که هیچ‌کدومشون «این بالا میاد» نیست.

تنها چکی که واقعاً معنی داره

راه‌حل یه لینتر بهتر نبود. راه‌حل این بود که خودِ چیز واقعی رو اجرا کنیم: باینری واقعیِ پین‌شده رو بگیریم، اون هم توزیع درستش رو (یه بیلد دیگه از همین کالکتور مجموعه‌ی دیگه‌ای از کامپوننت‌ها داره، پس اگه توزیع اشتباه رو برداری، با اطمینان کامل یه پاسِ دروغین بهت می‌ده)، با محیط واقعی به کانفیگ واقعی وصلش کنیم، و بذاریم بالا بیاد. این اولین چک توی کل زنجیره‌ست که کامپوننت‌هایی رو که کانفیگ اسم برده واقعاً می‌سازه و قراردادی رو که نسخه‌ی پین‌شده تعریف کرده اعمال می‌کنه. فیلد حذف‌شده، تغییر لیستِ ریسیور و خطاهای زبان کانفیگ رو می‌گیره، یعنی همون چیزهایی که validate به‌خاطر ساختارش نمی‌تونه بگیره، چون validate هیچ‌وقت کامپوننتی نمی‌سازه.

پس «باینری پین‌شده رو با این کانفیگ بالا بیار» شد یه مرحله‌ی اجباری قبل از apply، و این فقط مخصوص اولین بار کد کردن نیست. هر بار که نسخه‌ی ایمیج رو بالا می‌بری، قرارداد رو جابه‌جا کردی و کانفیگ رو ثابت نگه داشتی. هر بار که یه فایل spec رو از یه جا به جای دیگه کپی می‌کنی، یه کانفیگ رو از مرز یه نسخه رد کردی که شاید متوجهش نشده باشی. هر دو حالت همون شرایط باگ اصلی‌ان.

یه نسخه‌ی کوچیک‌ترِ همین مشکل هم هست که به شکل هشدار ظاهر می‌شه، نه کرش. وقتی باینری جدیدتر لاگ می‌کنه که یه فیلد یا اسم کامپوننت منسوخ شده و باید از شکل فعلیش استفاده کرد، این نویزی نیست که ازش رد بشی. این دقیقاً همون خطاست، یه نسخه زودتر، که داره خودش رو اعلام می‌کنه، اون هم وقتی که درست کردنش هنوز هزینه‌ای نداره. تا وقتی سیستم بیکاره اسمش رو عوض کن، اون موقع ری‌استارت هیچ هزینه‌ای نداره. اگه ولش کنی، نسخه‌ای که بالاخره نام مستعار رو حذف می‌کنه، کانفیگی رو که هیچ‌کس دست بهش نزده تبدیل می‌کنه به کانفیگی که دیگه بالا نمیاد.

از این ماجرا واقعاً چی باید برداشت

وقتی یه نسخه رو پین می‌کنی و یه کانفیگ رو کپی می‌کنی، بی‌سروصدا دو چیز ساختی که باید با هم بخونن ولی جدا جدا تأیید شدن: یه کپی که به منبعش وفاداره، و یه منبع که شاید دیگه برای هدفش معتبر نباشه. یه دیف بایت به بایت، یه validate موفق، یه لینت سبز و یه بازبینی تمیز همه می‌تونن اولی رو تأیید کنن، در حالی که هیچ‌کدومشون دومی رو نمی‌بینه.

درستی کار رو با همون چیزی بسنج که پین کردی، نه با چیزی که ازش کپی کردی. قانع‌کننده‌ترین چراغ سبزِ پایپ‌لاین، جوابی صادقانه بود به سؤالی که هیچ‌کس اون‌جا واقعاً نمی‌پرسید.

$ cat KAFKA .md
· 8 دقیقه مطالعه

سه تا چیز رو درباره‌ی یه سیستم زنده استنباط کردم. دو تاشون درست نبودن.

توی یه هفته، سه بار درباره‌ی یه مایگریشن زنده ادعایی کردم که از خوندن یه فایل کانفیگ، یه پیشوند اسم یا یه تمپلیت اومده بود، و دو بار ادعام اشتباه بود. آرتیفکت و سیستم زنده دو تا نمای مختلف از یه چیزن، و می‌تونن به دلایلی با هم بخونن که آرتیفکت نمی‌تونه بهت بگه. فقط یکی از این دو نما حقیقته.

kafka opentelemetry terraform troubleshooting devops
$ cat TERRAFORM .md
· 10 دقیقه مطالعه

پلن وقتی سبزه که دو تا از سه تصویر با هم جور باشن. تصویر سوم حقیقته.

یه terraform plan برای یه استک مشاهده‌پذیری مدیریت‌شده، فیکس یه حادثه رو به شکل یه تغییر در انتظار نشون داد، در حالی که اون فیکس از همون حادثه روی لایو بود و فقط استیت عقب مونده بود. توی روزهایی که فایل هنوز به‌روز نشده بود، همین پلن سبز می‌اومد و اپلای بعدی فیکس رو برمی‌گردوند. پلن دیف بین دو تا تصویره، ولی سیستم سه تا تصویر داره. خوندن هر سه قبل از پلن گرفتنه که دیف رو از یه حدس به یه تصمیم تبدیل می‌کنه.

terraform helm eks state troubleshooting devops
$ cat CDKTF .md
· 6 دقیقه مطالعه

باگی که تقصیرش رو انداختم گردن پرووایدر

چند هفته، terraform plan روی یه باکت S3 که از قبل درست تنظیم شده بود دریفتی نشون می‌داد که از پس درست‌کردنش برنمی‌اومدم. گذاشتمش به حساب «یه رفتار عجیب پرووایدر AWS» و دورش زدم. پرووایدر بی‌گناه بود. کد خودم، قبل از این‌که Terraform اصلاً چیزی ببینه، داشت بهم دروغ می‌گفت.

cdktf terraform iac typescript devops troubleshooting