سه تا چیز رو درباره‌ی یه سیستم زنده استنباط کردم. دو تاشون درست نبودن.

kafka opentelemetry terraform troubleshooting devops

توی یه هفته، وقتی روی یه مایگریشن کار می‌کردم، سه بار با خوندن یه فایل درباره‌ی یه سیستم زنده ادعایی کردم. دو تا از این سه ادعا اشتباه بودن. سومی از یه واقعیت درست شروع می‌شد ولی نتیجه‌ی غلطی ازش می‌گرفت، و یه چک یه‌خطی با هزینه‌ی کم گرفتش. سازوکاری که همه‌شون رو به هم وصل می‌کنه اینه که آرتیفکت و سیستم زنده دو تا نمای مختلف از یه چیزن، و می‌تونن به دلایلی با هم بخونن که آرتیفکت نمی‌تونه بهت بگه. فقط نمای زنده مرجع حقیقته.

کانسیومر هفتم

یه مایگریشن کاناری سه تا سیگنال سبز داشت. کالکتور جدید اولین ترافیکش رو لاگ کرده بود. پراسسورهای اسپن داشتن روی بروکر جدید می‌نوشتن. شش تا سرویسی که اون متریک‌ها رو به ردیف‌های دیتابیس تبدیل می‌کنن داشتن داده می‌گرفتن. فیکس رفت روی پروداکشن. فقط بعدش بود که یه بررسی گسترده‌تر یه سرویس هفتم پیدا کرد، یه کانسیومر صورت‌حساب، که کل هفته به همون شکل و با همون سازوکار قطع بوده، و اسکنی که بر اساس اسم سرویس‌ها پاک‌سازی رو هدایت می‌کرد ازش جا مونده بود.

دو تا حقیقت هم‌زمان برقرار بودن. همه‌ی سیگنال‌های موجود واقعی بودن، و سیستمی که داشت تغییر می‌کرد یه حفره داشت که پاک‌سازی روش رو پوشونده بود. این پست درباره‌ی همین فاصله‌ست.

چرا اسکن ازش جا موند

دامنه‌ی فیکس با یه پیشوند اسم کانسیومر تعیین شده بود. شش تا سرویس باهاش جور بودن. هفتمی اون پیشوند رو نداشت، پس بررسی ندیدش. سازوکارش ارزش داره بلند گفته بشه: تاپیک‌ها قراردادن، اسم‌ها یه عُرفن، و عرف می‌تونه اشتباه باشه. وقتی اشتراک‌های کانسیومرها رو بر اساس پیشوند اسم سرویس پیدا می‌کنی، فضای نام رو قرارداد فرض کردی. فضای نام دروغ گفت.

هزینه‌ش جلوی چشم قایم می‌شه، چون تطبیق روی مواردی که می‌بینه موفقه، و موردی که نمی‌بینه دقیقاً همونیه که توی گزارش نمیاد. بررسیِ سبز با بررسیِ کامل یکی نیست. فقط ثابت می‌کنه مواردی که عرف نام‌گذاریت پوشش می‌ده پوشش داده شدن. درباره‌ی مواردی که عرف ازشون رد شده ساکته، که مجموعه‌ی کوچیک‌تریه ولی هیچ تعهدی نداره خالی باشه.

پس گرفتنی که فقط عوض کردن جواب نبود

همون هفته، یه آرتیفکت دیگه، همون نوع خطا. از روی تمپلیت‌های کانفیگ نتیجه گرفته بودم که کانسیومر گروپ‌های Kafka مال کالکتور پیشوند استیج ندارن و برای همین، وقتی فهرست‌های کنترل دسترسی (ACL) سمت بروکر اعمال بشن، دسترسیشون رد می‌شه. وقتی روی کلاستر زنده فهرستشون کردم، همه‌شون پیشوند داشتن و پوشش داده شده بودن.

اصل کلی هنوز سر جاش بود. یه کانسیومر سمت صورت‌حساب واقعاً بی‌پیشونده و وقتی قوانین سفت‌تر می‌شد واقعاً خراب می‌شد. خطا حدس و گمان نبود؛ از یه ادعای مشخص درباره‌ی همین N تا گروه می‌اومد که داده‌ی زنده پشتش نبود. تمپلیت‌ها شبیه حقیقت به نظر میان، چون آرتیفکتی‌ان که پلتفرم دستت می‌ده، ولی برداشت یه نفر از نیتن، نه قراردادی با بروکر. دلیل این‌که این پس گرفتن به موقع خودش رو گرفت این بود که تصویر کلی‌تر قبلاً یه جای دیگه از همین مایگریشن شکسته بود، و خوندن کلاستر زنده دیگه واکنش غریزیم شده بود.

شکل جالب این اشتباه اینه که ارزون انجام می‌شد و راحت به پروداکشن می‌رسید: یه پاراگراف با اعتمادبه‌نفس توی یه ران‌بوک، یه تیک توی یه ریویو، یه تغییر قرارداد نام‌گذاری ثابت که روی کل ناوگان اعمال می‌شد. هزینه‌ی اشتباه بودن صفر بود، تا لحظه‌ای که یه کوئری کانسیومر دیگه به اون گروه بی‌پیشوند می‌رسید و قانونی که هیچ‌وقت واقعاً اعمال نشده بود بی‌صدا راهش رو می‌بست. هزینه‌ی درست بودن یه پاراگراف بود که هیچ‌کس دو بار نمی‌خوندش.

سومیِ ارزون

با گذاشتن مستقیم یوزرنیم SASL مربوط به Kafka توی یه فایل values مخالفت کردم، چون SSM سکرت‌ها رو رمزنگاری‌شده نگه می‌داره. اعتراضی بود که منطقی به نظر می‌رسید، و با یه چک یه‌خطی پسش گرفتم: کدبیس از قبل دقیقاً یه همچین مقدار صریحی رو توی یه فایل values دیگه داشت. این عرف وجود داشت؛ من از یه پیش‌فرض یه سیاست استنباط کرده بودم. این یکی ارزون پیدا شد و از دست دادنش تقریباً ارزون‌تر بود، چون سومین بار در سه روز بود که تطبیق الگو شده بود حرکت اصلیم، و سومین خطای یه هفته همونیه که یه اپراتور خسته دیگه برای خودش علامت نمی‌زنه، چون مغزش از قبل داره اولویت‌بندیشون می‌کنه.

شکل همه‌ی این‌ها یکیه: یه ادعای با اعتمادبه‌نفس درباره‌ی سیستم زنده، که از آرتیفکت اومده، در حالی که آرتیفکت واقعاً نمی‌تونه جوابش رو بده. همون شکل، در طول یه هفته سه تا لباس مختلف پوشید.

چرا «از روی فایل استدلال کردم» جمله‌ی کاملی به نظر نمی‌رسه

آرتیفکت و سیستم زنده دو تا نمای یه چیزن، و دو تا نما می‌تونن به دلایل خیلی متفاوتی با هم بخونن. ممکنه با هم بخونن چون از هم مشتق شدن، که حالت استاندارده و تنها حالتیه که «فایل رو خوندم» یه جواب کامله. ممکنه با هم بخونن چون یکیشون ویرایش شده و اون یکی نه، که همون شکل ادغام سه‌طرفه‌ست و terraform plan اون رو به یه دیف واحد تبدیل می‌کنه که شبیه دریفت معمولیه. یا ممکنه با هم بخونن چون یکیشون جوری ویرایش شده که اون یکی نمی‌تونسته ببینه، که پسرعموی «بایت به بایت یکسان» این پسته: کانفیگی که به منبعی وفاداره که حالا یه باینری دیگه داره می‌خونتش.

خوندن آرتیفکت بهت می‌گه قرار بوده چی باشه. فقط سیستم زنده بهت می‌گه چی هست. هر دو حس مرجع حقیقت رو می‌دن. یکیشون خیلی کمتر از اون‌چه هر کدوم به نظر میان درست از آب درمیاد.

چک‌ها واقعاً چه شکلی‌ان

اصلی که توی بخش قبل گفتم باید به چیزی برسه که بشه تایپش کرد. سه تا خوندن کوچیک، یکی برای هر لایه از سیستم Kafka، که هیچ‌کدوم به تمپلیت، پیشوند یا فایل کانفیگ وابسته نیست. پایین هر کدوم رو کنار چیزی گذاشتم که برات می‌خره، که از مجموعه‌ی فلگ‌ها مهم‌تره.

کانسیومر گروپ‌ها رو مستقیم از کلاستر فهرست کن. شکلی که کانسیومر هفتم رو پیدا می‌کنه:

kafka-consumer-groups.sh \
  --bootstrap-server "$BROKER" \
  --describe --all-groups

فلگ --all-groups همون بخشیه که کانسیومرِ جامونده رو می‌گیره، چون روی پیشوند اسم تطبیق الگو نمی‌کنه؛ هر گروهی رو که کلاستر می‌شناسه فهرست می‌کنه، از جمله گروه‌هایی که اسمشون با عرف جور نیست. چون هیچ فیلتر --group محدودش نمی‌کنه، خروجی همه‌ی تاپیک‌ها و پارتیشن‌هایی رو هم نشون می‌ده که هر گروه واقعاً می‌خونه، نه فقط اون‌هایی که کانفیگ کانسیومرت از قضا اعلام کرده.

این همون خوندنیه که جای بررسی با پیشوند اسم سرویس رو می‌گیره. هر دو شبیه سیاهه‌برداری‌ان. فقط یکیشون کلاستر رو مرجع حقیقت می‌گیره.

فهرست تاپیک‌ها رو به‌عنوان قرارداد بیرون بکش. وقتی آرتیفکت می‌گفت کانسیومرها با هم هماهنگ نیستن، اولین چیزی که باید چک کنی اینه که واقعاً چه تاپیک‌هایی روی کلاستر هست و تعداد پارتیشن‌هاشون چنده:

kafka-topics.sh \
  --bootstrap-server "$BROKER" \
  --list --exclude-internal

و بعدش، وقتی تعداد مهمه، --describe برای تاپیک یا تاپیک‌های مورد نظر:

kafka-topics.sh \
  --bootstrap-server "$BROKER" \
  --describe --topic "spans.${STAGE}"

این‌ها قرارداد رو از بروکر می‌خونن، همون‌جایی که قرارداد زندگی می‌کنه. تمپلیت‌های کانفیگ بهت می‌گن چی باید وجود داشته باشه، و این همون چیزیه که تو رو به پسرعموی «بایت به بایت یکسان» این پست می‌کشونه؛ دستورهای فهرست تاپیک بهت می‌گن چی وجود داره. این دو تا زیاد با هم فرق می‌کنن، و وقتی فرق کنن، حق با بروکره.

فهرست‌های کنترل دسترسی رو از کلاستر زنده بخون. وقتی خطای دوم می‌گفت «کانسیومر گروپ‌ها وقتی قوانین دسترسی سفت بشن رد می‌شن»، خوندنی که با یه دستور قضیه رو فیصله می‌داد این بود:

kafka-acls.sh \
  --bootstrap-server "$BROKER" \
  --list --topic "spans.${STAGE}"

این همون خوندنیه که استنباط از روی تمپلیت سعی داشت جاش رو بگیره، و برای جواب دادن به سؤال نه پیشوند استیج لازم داره نه بلاک کانفیگ. هر چی کلاستر بگه این پرینسیپال اجازه‌ی انجامش رو داره، همون کاریه که قانون واقعاً می‌کنه. اگه محیطت به‌جای اسم دقیق منابع از قوانین دسترسی پیشوندی استفاده می‌کنه، این رو با --resource-pattern-type prefixed همراه کن، چون --list به‌طور پیش‌فرض فقط الگوهای اسم دقیق رو نشون می‌ده و مجوزهای پیشوندی رو بی‌صدا پنهان می‌کنه.

سه تا خوندن. هیچ‌کدوم دسترسی‌ای بیشتر از چیزی که یه اپراتور با دسترسی فقط‌خواندنی به کلاستر از قبل داره نمی‌خواد. هیچ‌کدوم بیشتر از چند ثانیه طول نمی‌کشه. هیچ‌کدوم سخت یادت نمی‌مونه. بخش سخت اینه که یادت بمونه قبل از رفتن سراغ فایل، سراغ این‌ها بری.

قاعده و چک

از آرتیفکت استنباط کن، با سیستم زنده تأیید کن. اولی رو فرضیه حساب کن، نه مدرک.

کانسیومر هفتم همون چیزیه که این قاعده برات می‌خره، و چک همونیه که بالاتر گفتم و پیداش کرد: کانسیومر گروپ‌ها رو روی کل کلاستر فهرست کن، همه‌ی گروه‌ها و همه‌ی تاپیک‌هایی که می‌خونن، بدون درخواست دسترسی، با پنج ثانیه زمان واقعی. این تیکه دستور تقریباً شبیه همون بررسی پیشوندیه که جاش رو می‌گیره؛ فقط حرف عرف رو درباره‌ی این‌که چه اشتراک‌هایی وجود دارن قبول نمی‌کنه. پیشوند یه حدس درباره‌ی قرارداد بود؛ تاپیک خود قرارداد بود.

چکه که به هفته‌ی بعد می‌رسه. مثاله که به یاد موندنیش می‌کنه. اسم بردن از هر دو با هم همون چیزیه که سه تا لحظه‌ی بعدیِ «صبر کن، این هم یکی از همون‌هاست؟» رو برات به دست میاره، وقتی آرتیفکت و سیستم زنده برای اولین بار با هم نمی‌خونن، قبل از این‌که مغز وقت کنه برگرده سراغ واکنش غریزی.

$ cat OPENTELEMETRY .md
· 6 دقیقه مطالعه

کانفیگ بایت به بایت یکی بود. همین، چیز اشتباهی رو ثابت کرد.

یه کانفیگ کالکتور رو از روی نسخه‌ی موجود دوباره ساختیم، مطمئن شدیم بایت به بایت با همونی که روی پروداکشن اجرا می‌شه یکیه، و با یه عالمه چک سبز پشتش دیپلوی کردیم. موقع راه‌اندازی افتاد توی کرش‌لوپ. بایت به بایت یکی بودن یه ویژگی واقعیه؛ فقط جواب سؤالیه که هیچ‌کس نپرسیده بود.

opentelemetry kafka terraform devops troubleshooting
$ cat TERRAFORM .md
· 10 دقیقه مطالعه

پلن وقتی سبزه که دو تا از سه تصویر با هم جور باشن. تصویر سوم حقیقته.

یه terraform plan برای یه استک مشاهده‌پذیری مدیریت‌شده، فیکس یه حادثه رو به شکل یه تغییر در انتظار نشون داد، در حالی که اون فیکس از همون حادثه روی لایو بود و فقط استیت عقب مونده بود. توی روزهایی که فایل هنوز به‌روز نشده بود، همین پلن سبز می‌اومد و اپلای بعدی فیکس رو برمی‌گردوند. پلن دیف بین دو تا تصویره، ولی سیستم سه تا تصویر داره. خوندن هر سه قبل از پلن گرفتنه که دیف رو از یه حدس به یه تصمیم تبدیل می‌کنه.

terraform helm eks state troubleshooting devops
$ cat CDKTF .md
· 6 دقیقه مطالعه

باگی که تقصیرش رو انداختم گردن پرووایدر

چند هفته، terraform plan روی یه باکت S3 که از قبل درست تنظیم شده بود دریفتی نشون می‌داد که از پس درست‌کردنش برنمی‌اومدم. گذاشتمش به حساب «یه رفتار عجیب پرووایدر AWS» و دورش زدم. پرووایدر بی‌گناه بود. کد خودم، قبل از این‌که Terraform اصلاً چیزی ببینه، داشت بهم دروغ می‌گفت.

cdktf terraform iac typescript devops troubleshooting