فاینالایزرها در Kubernetes: چرا نیم‌اسپیس‌ها توی وضعیت Terminating گیر می‌کنن

kubernetes devops debugging

مقدمه

می‌خوای یه نیم‌اسپیس رو توی Kubernetes پاک کنی و می‌بینی انگار تا ابد توی وضعیت «Terminating» گیر کرده. این یکی از اعصاب‌خردکن‌ترین دردسرهاییه که توی کار DevOps مدام تکرار می‌شه. مقصر معمولاً فاینالایزرها هستن، یعنی فیلدهای خاصی توی متادیتا که تا کارهای پاک‌سازی تموم نشه، نمی‌ذارن ریسورس پاک بشه.

فاینالایزرها در Kubernetes چی هستن؟

فاینالایزر برای کنترلرهای Kubernetes حکم یه «لیست کارهای مونده» رو داره. قبل از اینکه API Server یه آبجکت رو واقعاً از etcd (دیتابیس کلاستر) پاک کنه، لیست فاینالایزرهایی رو که به اون ریسورس وصله نگاه می‌کنه.

هر مورد توی این لیست مال یه کنترلره که باید اول کارهای پاک‌سازی رو انجام بده؛ تا اون موقع API اجازه‌ی حذف واقعی رو نمی‌ده.

چرا فاینالایزرها وجود دارن

فاینالایزرها پاک‌سازی ریسورس‌ها رو امن و قابل پیش‌بینی می‌کنن، چون نمی‌ذارن بعد از حذف، ریسورس‌های یتیم باقی بمونن؛ چیزهایی مثل ولوم‌های پایدار، اینترفیس‌های شبکه یا رول‌های IAM.

کاربردهای رایج:

  • درخواست‌های ولوم پایدار (PVCs): مطمئن می‌شن ولوم‌های پایدار مربوط قبل از حذف جدا شده باشن
  • نیم‌اسپیس‌ها: تضمین می‌کنن همه‌ی ریسورس‌های داخل نیم‌اسپیس قبل از خودش پاک بشن
  • تعریف‌های ریسورس سفارشی (CRDs): به اپراتور فرصت می‌دن قبل از حذف هر نمونه، پاک‌سازی رو انجام بده
  • کنترلرهای Service: اتصال‌های کلاود که حذف لود بالانسر رو مدیریت می‌کنن

فاینالایزرها چطور کار می‌کنن

چرخه‌ی کار این مراحل رو طی می‌کنه:

  1. دستور kubectl delete روی یه آبجکت اجرا می‌شه
  2. خود Kubernetes یه deletionTimestamp به آبجکت اضافه می‌کنه
  3. کنترلرهایی که فاینالایزرها رو مدیریت می‌کنن، این برچسب زمانی رو می‌بینن و پاک‌سازی رو شروع می‌کنن
  4. وقتی پاک‌سازی تموم شد، هر کنترلر فاینالایزر خودش رو برمی‌داره
  5. وقتی لیست فاینالایزرها خالی شد، Kubernetes آبجکت رو پاک می‌کنه

وقتی کار خراب می‌شه

کنترلرها گاهی کرش می‌کنن، حذف می‌شن یا درست کار نمی‌کنن. اون وقت Kubernetes تا ابد منتظر پاک‌سازی‌ای می‌مونه که هیچ‌وقت انجام نمی‌شه، و ریسورس‌ها توی وضعیت «Terminating» گیر می‌کنن.

علائم معمول:

  • ریسورس توی وضعیت «Terminating» گیر کرده
  • دستور kubectl delete هیچ‌وقت تموم نمی‌شه
  • فاینالایزرها هنوز توی YAML آبجکت هستن
  • لاگ کنترلر خطا یا ارجاع‌های گم‌شده نشون می‌ده

دیباگ یه نیم‌اسپیس یا ریسورس گیرکرده

قدم اول: ریسورس رو بررسی کن

kubectl get ns my-namespace -o yaml

این دستور فیلد finalizers رو نشونت می‌ده که جلوی حذف رو گرفته.

قدم دوم: فاینالایزر گیرکرده رو پیدا کن

لاگ کنترلرهای مربوط رو چک کن تا بفهمی کدوم فاینالایزر جلوی حذف رو گرفته و چرا پاک‌سازی جلو نمی‌ره.

قدم سوم: فاینالایزر رو بردار

وقتی مطمئن شدی برداشتنش امنه، ریسورس رو patch کن:

kubectl patch ns my-namespace -p '{"metadata":{"finalizers":[]}}' --type=merge

راه دیگه اینه که مستقیم با kubectl edit ns my-namespace ویرایشش کنی و خط‌های فاینالایزر رو پاک کنی.

هشدار جدی: فقط وقتی فاینالایزرها رو بردار که مطمئن شدی پاک‌سازی لازم نیست؛ وگرنه ممکنه ریسورس‌های یتیم توی کلاود باقی بمونن.

یه مثال واقعی

یه نیم‌اسپیس رو در نظر بگیر که AWS Load Balancer Controller مدیریتش می‌کنه. موقع حذف این رو می‌بینی:

metadata:
  finalizers:
  - service.kubernetes.io/load-balancer-cleanup

اگه کنترلر در دسترس نباشه یا دسترسی‌های لازم رو نداشته باشه، نمی‌تونه فاینالایزر رو برداره و نیم‌اسپیس تا ابد توی حالت حذف‌شدن می‌مونه.

راه‌حل: کنترلر رو ری‌استارت کن یا دسترسی‌هاش رو درست کن. اگه جواب نداد و مطمئنی هیچ ریسورسی باقی نمونده، فاینالایزر رو دستی بردار.

بهترین روش‌ها

  1. تا مجبور نشدی فاینالایزر رو دستی برندار؛ اول مشکل کنترلر رو حل کن
  2. لاگ کنترلرها رو بخون تا علت اصلی رو پیدا کنی
  3. یادت باشه بعضی فاینالایزرها پاک‌سازی حیاتی‌ای انجام می‌دن که جلوی نشت ریسورس رو می‌گیره
  4. با اسکریپت‌های پاک‌سازی خودکار محتاط باش و براشون محافظ بذار
  5. اگه CRD می‌نویسی، فاینالایزرها رو مسئولانه ثبت کن، پاک‌سازی رو توی منطق Reconcile انجام بده و بعد از موفقیت، فاینالایزر رو بردار

جمع‌بندی

فاینالایزرها سازوکاری ظریف ولی قدرتمند در Kubernetes هستن که پاک‌سازی امن ریسورس‌ها رو تضمین می‌کنن. اون‌ها بین کنترلرها و API Server یه «قرارداد پاک‌سازی» می‌بندن. وقتی کنترلرها خراب می‌شن، ریسورس‌ها گیر می‌کنن؛ ولی اگه بدونی فاینالایزرها چطور کار می‌کنن، می‌تونی با اطمینان مشکل رو پیدا کنی و فاینالایزر رو امن برداری.

$ cat KUBERNETES .md
· 6 دقیقه مطالعه

اپ داشت متغیر REDIS_PORT رو می‌خوند، ولی Kubernetes از قبل یه چیز دیگه روی مقدارش نوشته بود.

همه‌ی ویوهایی که به کش دست می‌زدن خطای ۵۰۰ می‌دادن، در حالی که هلث‌چک سبز مونده بود. مقصر یه سرویس به اسم redis بود و تنظیم enableServiceLinks، یه پیش‌فرض Kubernetes از دوران Docker که متغیرهای محیطی‌ای رو تزریق می‌کنه که هیچ‌وقت نخواسته بودی.

kubernetes devops debugging django
$ cat KUBERNETES .md
· 12 دقیقه مطالعه

پروژه‌ی اصلی آرشیوشده. باگ امنیتی‌اش هنوز زنده‌ست.

یه‌شبه دو تا باگ امنیتی تو پیاده‌سازی HTTP/2 وب‌سرور NGINX منتشر شد که بدون احراز هویت اجازه‌ی اجرای کد از راه دور می‌دادن، و کنترلرهای اینگرس ما هم در معرضشون بودن. راه‌حل همیشگی، یعنی آپدیت به آخرین نسخه، هیچ دردی رو دوا نمی‌کرد: پروژه‌ی ingress-nginx از مارس آرشیو شده و آخرین نسخه‌اش یه NGINX داره که دیگه هیچ‌وقت پچ نمی‌شه. تو این پست می‌گم چطور ثابت کردم چی واقعاً قابل‌حمله بود، HTTP/2 رو موقتاً خاموش کردم، پچ‌ها رو روی بیلد خودمون بک‌پورت کردم و بدون قطعی رول‌اوتش کردم.

kubernetes security devops helm nginx
$ cat KUBERNETES .md
· 7 دقیقه مطالعه

کلاستر ۱۶۰ میلی‌کور مصرف می‌کرد. ریکوئست‌هاش شش تا نود لازم داشتن.

قبل از اولین مشتری‌مون پرسیدم آیا سه تا نود متوسط می‌تونن پروداکشن رو نگه دارن. کلاستر حدود ۱۶۰ میلی‌کور CPU مصرف می‌کرد، ولی ریکوئست‌های منابعش شش تا نود رو مشغول نگه داشته بودن. این‌جا می‌گم چرا ریکوئست‌ها، نه مصرف، تعداد نودها رو تعیین می‌کنن، چرا اتواسکیلرها هم ریکوئست‌ها رو می‌خونن، و چرا وقتی کار گرون پیش یه ارائه‌دهنده‌ی بیرونی اجرا می‌شه، ظرفیت کلاستر ظرفیت محصول نیست.

kubernetes eks finops devops mechanism