۲۳ مرداد ۲۵۸۵ · 10 دقیقه مطالعه
پلن وقتی سبزه که دو تا از سه تصویر با هم جور باشن. تصویر سوم حقیقته.
یه terraform plan برای یه استک مشاهدهپذیری مدیریتشده فقط با یه تغییر برگشت: فیکس یه حادثه، طوری که انگار تازه قراره اضافه بشه. آنکال دو هفته قبلش، وسط یه حادثه، همین فیکس رو دستی اعمال کرده بود. فیکس روی لایو بود. فیکس توی فایل هم بود. فقط استیت عقب بود، پس اپلای فقط عقبموندگی استیت رو جبران میکرد و خطری نداشت. لحظهی خطرناک از قبل گذشته بود. توی روزهای بین فیکس دستی و بهروز شدن فایل، استیت و فایل با هم جور بودن ولی با لایو نه، و پلنی که توی اون بازه گرفته میشد میگفت «تغییری نیست»؛ چیزی که هیچ راهی نبود از «هیچ دریفتی نیست» تشخیصش بدی. اپلای بعدی توی اون بازه، تکتک خطهایی رو که جلوی حادثه رو گرفته بودن یکجا برمیگردوند. این قصهی پلن سبزیه که میتونست یه مشکل واقعی رو قایم کنه، و پلنی که خالی نبود ولی به هیچچیزِ در حال اجرا دست نمیزد.
پلن یه دیفه. سیستم سه تا تصویر داره
یه پلن معمولی دیف بین دو چیزه: استیت و فایل. «استیت» آخرین اپلای موفقه؛ «فایل» چیزیه که اگه همین الان از صفر شروع میکردی مینوشتی. هر وقت استیت و فایل با هم جور باشن، پلن unchanged نشون میده؛ همون سبزی که هر اپراتوری کمکم یاد میگیره دلش بخوادش.
سیستم سه تا منبع حقیقت داره و فقط دو تاشون توی دیف هستن. لایو خودِ چیزیه که داره اجرا میشه: کلاستر، ورکلود یا باکت ذخیرهسازی. استیت آخرین چیزیه که Terraform یا Helm ثبت کرده. فایل چیزیه که ریپو الان میگه. هر کدوم جدا نوشته میشه. هر کدوم میتونه دریفت کنه. پلن اولی رو نادیده میگیره.
این سه منبع به چهار شکل کنار هم قرار میگیرن، و پلن فقط دو تاشون رو مقایسه میکنه. هر سه جورن چون هر سه از یه فایل ساخته شدن: حالت استاندارد، که پلن سبز درست گزارشش میکنه. استیت عقبه و فایل و لایو از قبل بهروز شدن: پلن تغییری نشون میده که توی API از قبل برقراره، و اپلای فقط عقبموندگی رو جبران میکنه و به چیزی که در حال اجراست دست نمیزنه. فایل عقبه و لایو و استیت با هم جورن (حالت «از برنچ خودم اپلای کردم و هیچوقت مرجش نکردم»): پلن تغییری به سمت فایل نشون میده که موقع اپلای یعنی برگردوندن. لایو با بقیه فرق داره و استیت و فایل با هم جورن (یه فیکس دستی که هنوز به ریپو نرسیده، یا حالت «پلتفرم چون کرش کرد تغییرم رو برگردوند»): پلن سبز نشون میده، عین وقتی که هیچ دریفتی نیست، و این همون حالتیه که خطرناکترین دریفت رو قایم میکنه.
دو تا تصویر که با هم جورن ولی با سومی نه، حالتیه که پلن نمیتونه برات دستهبندیش کنه. وقتی اون دو تایی که با هم جورن استیت و فایل باشن، پلن سبز نشون میده و کلاً روی لایو سرپوش میذاره. پلن دیفِ مقایسهی دو چیزه، و چیز سوم حق رأی نداره.
مدرک اول: استک مشاهدهپذیری مدیریتشده
ماجرا وسط یه حادثه بود. آنکال چند تا helm upgrade دستی روی ریلیز لایو اجرا کرد؛ مقدارهای جدید توی کلاستر نشستن ولی فایل توی ریپو بهروز نشد. حادثه بسته شد، تیم اواخر همون هفته عقبموندگی رو جبران کرد و فایل رو مطابقش بهروز کرد، و در ظاهر همهچی با هم هماهنگ شد. بعد نوبت مرحلهی پلنِ تغییر بعدی رسید، و terraform plan خالی نبود. خودِ فیکس حادثه رو نشون میداد، مقدارهای قدیمی سمت - و فیکس سمت +، انگار فیکس تازه قراره اضافه بشه.
اگه این دیف رو با سه تصویر بخونی، هیچ جای نگرانی نداشت. سمت - استیت بود، که آخرین اپلای قبل از حادثه نوشته بودش. سمت + فایل بود، که حالا فیکس رو داشت. لایو توی این دیف نیست، و لایو از قبل فیکس رو داشت، چون آپگرید دستی گذاشته بودش اونجا. لایو و فایل با هم جور بودن؛ فقط استیت عقب بود. اپلای همون چیزی رو توی کلاستر مینوشت که از قبل داشت اجرا میشد، و استیت رو بهروز میکرد. دونستن اینها کار پلن نبود. کار پلن اینه که دیف بین استیت و فایل رو حساب کنه، و همین کار رو کرد: این فایل میخواد این فیکس رو اپلای کنه. فقط خوندن سوم بهت میگه که فیکس از قبل اونجاست.
خطر زودتر بود، توی بازهای که دیگه بسته شده بود. بین آپگرید دستی و بهروز شدن فایل، استیت و فایل با هم جور بودن: هر دو مقدارهای قبل از حادثه رو داشتن. فقط لایو فیکس رو داشت. پلنی که توی اون بازه گرفته بشه «تغییری نیست» نشون میده، که دقیقاً شکل نبودن دریفته. و تغییر بعدیای که توی اون بازه اپلای بشه، هر تغییری، ریلیز رو از روی فایل دوباره رندر میکنه؛ پس پلنش فقط ویرایش جدید رو نشون میده، در حالی که اپلایش تکتک خطهای فیکس حادثه رو یکجا برمیگردونه.
باگ همون بازهست. راحت از چشم میافته، چون پلن توی اون بازه آرزوی همهست: سبز، یا فقط همون تغییری رو نشون میده که میخواستی بدی. پستمورتم مینوشت «اپلای، فیکس پروداکشن رو موقع تغییر بعدی برگردوند»، و درست هم میگفت، و این گرونترین روایت ممکن از سوءتفاهمی میشد که خود پلن هیچوقت نمیتونست بگیرتش.
مدرک دوم: کلاستر Kubernetes مدیریتشده، یه روز بعد
همون سازوکار، روی یه سطح دیگه. دایرکتوری ریپو برای یه کلاستر Kubernetes مدیریتشده یه ویرایش واقعی داشت: تغییر اندازهی نود گروپ general_arm از ۶ به ۴، یعنی خالی کردن واقعی دو تا نود، که عمداً درخواست شده بود. همه دربارهی همین تغییر حرف میزدن. ولی تنها چیزی نبود که توی پلن بود.
سه تا از نود گروپهای دیگهی همون کلاستر استیتشون عقب بود. یه همگامسازی کد یه هفته قبل نشسته بود و از اون موقع هیچ اپلایی اجرا نشده بود. لایو از قبل با فایل جور بود؛ فقط استیت هنوز عددهای قدیمی رو داشت. پس پلن سه تا تغییر update in place دیگه روی کانفیگ مقیاسدهی این گروهها نشون داد، که هر کدومشون توی API از قبل برقرار بود. اگه اپلای میشدن، هیچچیز رو توی کلاستر عوض نمیکردن و فقط استیت رو بهروز میکردن.
خطر برگشتن چیزی نبود؛ خطر توی خوندن بود. خالی شدن general_arm کل توجه رو گرفت، و نکته دقیقاً همینجاست. اپراتورها معمولاً دیفی رو میخونن که تغییر دربارهشه، همون یکی رو از نظر ایمنی چک میکنن، و بقیه رو بیحرف رد میکنن. اینجا بقیه از قضا بیخطر بودن، ولی هیچچیز توی پلن این رو نمیگفت؛ این رو خوندن لایو گفت. تازه اپلای چهار تا نود گروپ رو مینویسه، نه فقط اونی که توی توضیح تغییر اسمش اومده. از اون طرف هم که بخونی، سه تا همگامسازی که عین همون خالی کردن به نظر میان وسوسهت میکنن کل پلن رو جبران عقبموندگی حساب کنی، و اون یه خطی که دو تا نود رو برمیداره لابهلاشون گم میشه. اگه یکی از اون سه گروه بیصدا با لایو جور نبود، پستمورتم مینوشت «اپلای تغییرات ناخواسته رو هم با خودش کشید»، و علت رو گردن اون دیف پرسروصدا میانداخت، نه اون سه تا دیف بیصدا.
هر دو مدرک یه سازوکار رو نشون میدن. لحظهای که هر کدوم از این پلنها گرفته شد، لایو و فایل با هم جور بودن و استیت عقب بود، و پلن این عقبموندگی رو به شکل تغییری نشون داد که توی API از قبل برقرار بود. اپلای کردن این شکل بیخطره، ولی از روی خود پلن نمیشه از یه تغییر واقعی تشخیصش داد؛ همینطوره که یه خالی کردن واقعی میتونه لای همگامسازیها قایم بشه. شکل خطرناک، تصویر آینهای همینه، همونی که مدرک اول چند روز قبلش ازش رد شده بود: استیت و فایل با هم جورن در حالی که لایو جابهجا شده، پلن سبز نشون میده و اپلای بعدی لایو رو برمیگردونه. پلن هیچوقت بهت نمیگه توی کدوم شکلی؛ فقط خوندن سوم میگه.
چرا پلن نمیتونه ببینتش
دستور terraform plan استیت و فایل رو نگاه میکنه. موقع اپلای سراغ لایو نمیره. دستور helm template موقع پلن سراغ لایو نمیره. هیچکدوم از این دو ابزار برای راستیآزمایی سیستم لایو طراحی نشدن؛ هر دو برای این طراحی شدن که بگن با توجه به آخرین استیت شناختهشده، چی تغییر میکنه. اون ادغام سهطرفهای که پلتفرم انجام نمیده، همونیه که باید خودت انجامش بدی، قبل از پلن، نه بهعنوان بخشی ازش.
شکل این محدودیت توی همهی ابزارها یکیه. هر چیزی که جایی بیرون از مدل پلتفرم ثبت شده باشه، همون چیزیه که پلن نمیتونه ببینه. برای Terraform، اون چیز API لایوه. برای Helm، ریلیز لایوه که helm template ازش کوئری نمیگیره. برای kubectl diff روی یه server-side apply، اینه که آخرین بار کدوم admission controller چی رو تغییر داده؛ چیزی که درایران محلی هیچوقت نمیبینه. ابزار پلن و پلتفرم به دو منبع مختلف توجه میکنن؛ منبع سوم همونیه که کاربر یادش میره اسمش رو بیاره.
پلنی که تمیز برمیگرده نمیگه لایو با فایل جوره. میگه استیت با فایل جوره؛ و اپراتور باید این اطلاعات رو به یه سؤال دیگه تبدیل کنه: لایو داره چی کار میکنه که هیچکدوم از این دو تا ازش خبر ندارن.
راه درست خوندنش
سه تا خوندن ارزون از سه منبع، به ترتیب: استیت از بکاند، فایل از دیسک، لایو از API. کنار هم بچینشون. حالتی که دو تاشون با هم جورن و یکی فرق داره، حالتیه که پلن نمیتونه برات دستهبندیش کنه: اگه استیت با بقیه فرق داشته باشه، پلن تغییری نشون میده که از قبل روی لایوه؛ اگه لایو فرق داشته باشه، پلن سبز نشون میده. حالتی که هر سه با هم جورن، همونیه که پلن سبز درست گزارشش میکنه. تشخیص اینها فقط یه بار گرفتن استیت و یه خوندن خرج داره؛ نه اپلایی، نه معطل شدن برای ریویو.
برای Terraform:
# Read 1: state
terraform state pull
# Read 2: file
terraform plan -no-color
# Read 3: live
# Whatever the platform surfaces (e.g., aws eks describe-cluster ...)
نکته خود دستورها نیست. نکته اینه که این سه تا خوندن با هم به سؤال «کدوم تصویر عقبه» جواب میدن؛ سؤالی که یه پلن سبز بهتنهایی نمیتونه جوابش رو بده.
برای Helm:
# Read 1: state
helm get values <release> -n <ns>
# Read 2: file
helm template <release> <chart> -f values.yaml
# Read 3: live (after dry-run)
helm diff upgrade <release> <chart> -f values.yaml
هر جفت خوندن رو میشه با چشم با هم مقایسه کرد. هر وقت هر سه خوندن با هم یکی نبودن، مکث کن: اونی که با دو تای دیگه فرق داره همون تصویریه که عقب مونده، و اگه هر سه با هم فرق دارن، یکی تغییری داده که هیچکس جایی ننوشته. راهاندازی این خوندنها بار اول بیشتر از اجراشون وقت میبره؛ بعد از بار اول تبدیل میشن به یه اسکریپت، اسکریپت میشه چکی که قبل از هر پلن اجرا میشه، و همین چکه که دیف سبز رو از یه حدس به یه تصمیم تبدیل میکنه.
باارزشترین لحظه برای اجرای این چک، لحظهایه که بعد از فیکسهای دستی اخیر روی همون سیستم، داری یه پلن رو «کاری برای انجام نیست» اعلام میکنی. این تنها لحظهایه که احتمال غلط بودن یه دیف سبز از درست بودنش بیشتره، و تنها لحظهایه که خوندن تصویر سوم ارزونه. هزینه ثابته؛ زمانبندی همهچیزه.
قاعده و همزادش
قبل از پلن گرفتن هر سه منبع رو بخون؛ پلن دیفیه روی یه شکاف، نه بیانیهای از حقیقت.
سهم مدرک اول اینه که پلن خطرناک همون پلن سبز بود، توی بازهای که فایل هنوز بهروز نشده بود: «کاری برای انجام نیست» برداشت غلطی بود، و هزینهی اشتباه، برگشتن همون فیکسی بود که استک رو سرپا نگه داشته بود. سهم مدرک دوم اینه که یه دیف واقعی لابهلای سه تا دیفی که از قبل برقرارن، یا کل توجه رو میگیره یا هیچ توجهی، و اپراتورها معمولاً دیفی رو میخونن که تغییر دربارهشه. شکل این دو تا یکیه چون سازوکارشون یکیه؛ فرقشون سطحیه که روش اتفاق افتادن، و اینکه لحظهی نگاه کردن کدوم جفت با هم جور بود.
دفعهی بعد که بعد از یه فیکس دستی یا یه ویرایش خارج از روال روی همون سیستم، پلن بدون هیچ چیز قابلتوجهی برگشت، سؤال این نیست که «درسته یا نه». سؤال اینه که کدوم یکی از این سه تصویر عقب مونده. جوابش همونیه که منبع سوم میگه، و خوندنش کمتر از نوشتن این پست وقت میگیره.