اپراتورهای StackGres و Strimzi: درس‌های روز دوم از بازسازی واقعی یه پلتفرم

kubernetes operators postgresql kafka devops platform-engineering

داشتیم یه محیط پیش‌پروداکشن رو از صفر می‌ساختیم. دو تا سیستم استیت‌فول باید منتقل می‌شدن: یه کلاستر PostgreSQL با افزونه‌های TimescaleDB که متریک‌های سری زمانی رو مدیریت می‌کرد، و یه کلاستر Kafka که جریان‌های رویداد رو توی چند مرحله‌ی پایپ‌لاین پردازش می‌کرد.

برای هر دو سیستم، سؤالمون یکی بود: از StatefulSet ساده استفاده کنیم که با چارت‌های Helm مدیریت بشه، یا از اپراتورهای Kubernetes که مخصوص همین کار ساخته شدن؟

ما اپراتور رو انتخاب کردیم؛ یعنی StackGres برای PostgreSQL و Strimzi برای Kafka. هیچ‌کدوم از این تصمیم‌ها اولش بدیهی نبود. چند هفته بعد، هر دو نشون دادن که ارزش هزینه‌شون رو دارن، هرچند نه به اون شکلی که اول کار انتظار داشتم.

اپراتورها واقعاً چه قولی می‌دن

تئوری اینه که اپراتورها دانش عملیاتی رو توی یه کنترلر کدگذاری می‌کنن. تو چیزی رو که می‌خوای توصیف می‌کنی، مثلاً یه کلاستر PostgreSQL با سه رپلیکا، یا یه کلاستر Kafka با احراز هویت SCRAM (Salted Challenge Response Authentication Mechanism)، و اپراتور مدام سیستم رو به سمت همون وضعیت هماهنگ می‌کنه. برخلاف چارت Helm که یه YAML ثابت رندر می‌کنه و می‌ره پی کارش، اپراتور مدام زیر نظر داره و واکنش نشون می‌ده.

استدلال بازاریابی، راه‌اندازی روز اوله (Day-1). استدلال واقعی، روز دومه (Day-2): بکاپ، فیل‌اوور، چرخش سرتیفیکیت، بازیابی رپلیکا. این‌جاست که فرق بین «یکی برای StatefulSet تو YAML نوشته» و «یکی که این سیستم رو عمیق می‌شناسه، برای کلاستر تو کنترلر نوشته» واقعاً خودش رو نشون می‌ده.

اپراتور StackGres: لحظه‌ی بکاپ

این اپراتور یه کلاستر PostgreSQL تحت مدیریت Patroni رو پشت چند تا CRD می‌پیچه. تو یه SGCluster تعریف می‌کنی، و اپراتور StatefulSet زیرین، سایدکارها، تنظیمات رپلیکیشن و کانکشن پولینگ رو آماده می‌کنه و مدام مدیریتشون می‌کنه. ابزار PgBouncer هم از قبل داخلش هست. انتخاب لیدر رو Patroni انجام می‌ده. تو نیتت رو اعلام می‌کنی؛ بقیه‌اش با اپراتوره.

تنظیم بکاپ اعلانیه:

spec:
  configurations:
    backups:
      - sgObjectStorage: my-s3-storage
        cronSchedule: "0 2 * * *"
        retention: 7

آبجکت SGObjectStorage تعیین می‌کنه بکاپ‌ها کجا برن. آپلود واقعی رو WAL-G انجام می‌ده؛ اپراتور چرخه‌ی عمرش رو مدیریت می‌کنه. نه اسکریپت بکاپ می‌نویسی، نه کران‌جاب، نه دیپلویمنت جداگانه برای بکاپ. سیاست رو توصیف می‌کنی، و اپراتور مدام اجراش رو تضمین می‌کنه.

چیزی که چند ساعت طول کشید تا بفهمیم: آپلود بکاپ داخل پاد اصلی دیتابیس اجرا می‌شه، نه توی یه Job جداگانه‌ی بکاپ. این برای تزریق اعتبارنامه‌ی کلاود مهمه. اگه از دسترسی IAM بومی پاد استفاده می‌کنی (یعنی هویت کلاود رو از طریق سرویس‌اکانت پاد تزریق می‌کنی، نه با یه کلید ثابت)، اون انوتیشن باید روی سرویس‌اکانت پاد دیتابیس بشینه. جای درست برای گذاشتن این انوتیشن، فیلد allResources اپراتوره، چون هر انوتیشنی که دستی اضافه بشه، موقع ری‌کانسایل اپراتور پاک می‌شه:

spec:
  metadata:
    annotations:
      allResources:
        "eks.amazonaws.com/role-arn": "arn:aws:iam::123456789012:role/pg-backup-role"

بعد از درست کردن این و ری‌استارت چرخشی پادها، بکاپی که چند روز بی‌صدا شکست می‌خورد، کامل شد. این اولین لحظه‌ی روز دوم بود: نه یه کار راه‌اندازی، بلکه شکستی که مانیتورینگ اپراتور نشونش داد و ساختار اپراتور یه راه تمیز برای درست کردنش جلومون گذاشت.

راه‌اندازی دوباره‌ی رپلیکا

لحظه‌ی دوم پرهیجان‌تر بود.

یه رپلیکا افتاد توی کرش‌لوپ. ماجرا این بود: رپلیکا فایل pg_control خودش رو گم کرده بود، نمی‌تونست از پرایمری استریم کنه، و رفت سراغ یه رفتار جایگزین که مخصوص StackGres هست: سعی کرد خودش رو از آخرین بکاپ WAL-G روی S3 بازیابی کنه. بازیابی تایم‌اوت شد. اپراتور یه فلگ «بکاپ ناموفق» گذاشت، و رپلیکا هر ۶۰ ثانیه ری‌استارت می‌شد.

با یه StatefulSet خام، این یعنی باید با شل وارد پاد بشی، وضعیت عضو Patroni رو بفهمی، تصمیم بگیری پاکش کنی و دوباره سینک کنی یا یه pg_basebackup دستی اجرا کنی، و امیدوار باشی اوضاع رو بدتر نکنی. با StackGres، منطق جایگزین اپراتور مسیر بازیابی رو روشن کرده بود:

# Remove the failed-restore marker; operator falls back to streaming from primary
kubectl exec -n data <cluster>-1 -c patroni -- \
  rm /var/lib/postgresql/replication/initialization-failed-backup
kubectl delete pod <cluster>-1 -n data

رپلیکا برگشت، از پرایمری استریم کرد و دوباره به کلاستر پیوست. روند جایگزینِ ساختاریافته‌ی اپراتور، یعنی «اول S3 رو امتحان کن، بعد استریم از لیدر رو»، به جای یه جلسه‌ی دیباگ بی‌انتها، یه مسیر بازیابی قطعی جلومون گذاشت.

مهاجرت TimescaleDB بین اپراتورها

وقتی داده‌ها رو از استقرار قدیمی به کلاستر جدید StackGres منتقل کردیم، pg_restore معمولی برای TimescaleDB کافی نیست. این افزونه پروتکل بازیابی خودش رو داره:

-- Run in the target database before pg_restore
SELECT timescaledb_pre_restore();
pg_restore -Fc --no-owner < dump.pgfc | psql target_db
-- Run after pg_restore
SELECT timescaledb_post_restore();

نسخه‌ی افزونه توی مبدأ و مقصد باید دقیقاً یکی باشه؛ شرط اصلی قبل از امتحان کردن بازیابی همینه. مهاجرت رو به شکل یه پایپ بایتی داخل کلاستر اجرا کردیم، یعنی خروجی یه kubectl exec روی کلاستر مبدأ رو مستقیم پایپ کردیم توی kubectl exec -i روی کلاستر مقصد، تا ترافیک دیتابیس از روی اتصال VPN رد نشه.

یه جزئیات که سرعتمون رو کم کرد: اپراتور StackGres افزونه‌های PostgreSQL رو به‌صورت اعلانی نصب می‌کنه. دیتابیسی که به uuid-ossp وابسته‌ست، تا وقتی اون افزونه توی spec کلاستر نیاد، با موفقیت بازیابی نمی‌شه:

spec:
  postgres:
    extensions:
      - name: uuid-ossp
        version: "1.1"

اعمال spec به‌روزشده‌ی کلاستر، یه نصب زنده رو بدون ری‌استارت پاد شروع می‌کنه. افزونه ظرف چند دقیقه در دسترسه.

اپراتور Strimzi: گره خوردن نسخه‌ها

اپراتور Strimzi کلاسترهای Kafka رو از طریق یه CRD به اسم Kafka مدیریت می‌کنه. تو کلاستر رو اعلام می‌کنی، و اپراتور جای‌گیری بروکرها، پیکربندی، مدیریت سرتیفیکیت و ری‌استارت‌های چرخشی رو انجام می‌ده.

اولین محدودیتی که بهش خوردیم، گره خوردن نسخه‌ها بود. Strimzi 1.0، که از Kubernetes 1.30 تا Kubernetes 1.36 پشتیبانی می‌کنه، فقط Kafka 4.x رو ارائه می‌ده. توی Kafka 4.x فقط KRaft هست، یعنی اجماع داخلی خود Kafka بر پایه‌ی Raft، و ZooKeeper کلاً حذف شده. اگه داری مانیفست‌ها رو از یه استقرار Kafka 3.x کپی می‌کنی، تنظیمات inter.broker.protocol.version و log.message.format.version رو پاک کن؛ نسخه‌ی جدید کلاً کنارشون گذاشته.

این موضوع برای کلاینت‌ها کمتر از اونی که به نظر میاد مهمه. پروتکل ارتباطی Kafka نسخه‌ها رو دوطرفه مذاکره می‌کنه. یه کتابخونه‌ی کلاینت Kafka 3.x بدون هیچ تغییری می‌تونه با یه بروکر Kafka 4.x حرف بزنه.

پروتکل TLS: چرا cert-manager و نه ACM

برای دسترسی از بیرون، لازم بود کلاینت‌ها بدون اینکه لازم باشه یه مرجع صدور سرتیفیکیت سفارشی رو وارد کنن، به سرتیفیکیت بروکر اعتماد کنن. گزینه‌ها یه سرویس سرتیفیکیت مدیریت‌شده بود یا Let’s Encrypt از طریق cert-manager.

سرتیفیکیت‌های مدیریت‌شده‌ی سرویس‌دهنده‌های کلاود این‌جا جواب نمی‌دن. نمی‌شه اکسپورتشون کرد. می‌تونی TLS رو روی یه لود بالانسر ترمینیت کنی، ولی نمی‌تونی یه سرتیفیکیت مدیریت‌شده رو توی پاد بروکر مانت کنی. بروکر Kafka برای TLS لایه‌ی ۴ سرتیفیکیت رو به‌صورت لوکال لازم داره؛ پراکسی‌ای که بالادست TLS رو ترمینیت کنه کافی نیست. ابزار cert-manager همراه با Let’s Encrypt تنها راه رسیدن به یه سرتیفیکیتِ مورد اعتماد عمومی بود که بشه توی پاد مانتش کرد.

یه نکته‌ی غافلگیرکننده که چند دقیقه وقتمون رو گرفت: این ابزار به‌طور پیش‌فرض کلید خصوصی با فرمت PKCS#1 می‌سازه. پیاده‌سازی SSL در Kafka این فرمت رو با خطای algid parse error, not a sequence رد می‌کنه. راه‌حل یه فیلده:

spec:
  privateKey:
    encoding: PKCS8

بعد از درست کردن انکودینگ کلید و راه انداختن ری‌کانسایل اپراتور با انوتیشن strimzi.io/force-reconcile، بروکرها بدون مشکل بالا اومدن.

چرخش سرتیفیکیتی که خودش انجام می‌شه

سرتیفیکیت Let’s Encrypt بعد از ۹۰ روز منقضی می‌شه. ابزار cert-manager روز شصتم خودکار تمدیدش می‌کنه و همون سکرت رو سر جاش بازنویسی می‌کنه. اسمش عوض نمی‌شه، یعنی ارجاع لیسنر Strimzi هم عوض نمی‌شه.

اپراتور Strimzi از سکرت مورد ارجاع هش می‌گیره و وقتی هش عوض بشه، بروکرها رو یکی‌یکی ری‌استارت می‌کنه، طوری که دسترس‌پذیری حفظ بشه. کلاینت‌ها هیچی متوجه نمی‌شن: هاست و SAN ثابت می‌مونن، و روت Let’s Encrypt از قبل توی تراست‌استورهای پیش‌فرض JVM و سیستم‌عامل هست.

وضعیت مانیتورینگ این می‌شه: آبجکت Certificate در cert-manager رو نزدیک تاریخ تمدید برای Ready=False زیر نظر بگیر، و حواست به نبودن رویداد CertificateRenewed باشه. اگه cert-manager نتونه چالش DNS-01 رو کامل کنه، بروکرها تا وقتی سرتیفیکیت قدیمی منقضی بشه، همون سرتیفیکیتِ هنوز معتبر رو سرو می‌کنن. یه پنجره‌ی ۳۰ روزه داری که قبل از اینکه کلاینت‌ها چیزی ببینن، متوجه بشی و تمدید رو درست کنی.

این رو مقایسه کن با چرخش سرتیفیکیت بدون اپراتور: یه سرتیفیکیت جدید بساز، یه سکرت رو آپدیت کن، پیدا کن کدوم پادها ری‌استارت لازم دارن، ری‌استارت رو طوری هماهنگ کن که کوروم پارتیشن‌ها از دست نره، مطمئن شو کلاینت‌ها دوباره وصل شدن. با Strimzi، این زنجیره رفتار پیش‌فرضِ هر دور تمدیده.

جای‌گیری بروکرها و بن‌بست AZ

بروکرهای Kafka باید روی نودهای جدا باشن. بدون آنتی‌افینیتی اجباری، هر سه بروکر روی یه نود اسکجول می‌شن، و از کار افتادن اون نود کل کلاستر رو با خودش می‌بره:

affinity:
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
            - key: strimzi.io/name
              operator: In
              values: ["my-cluster-kafka"]
        topologyKey: kubernetes.io/hostname

اضافه کردن آنتی‌افینیتی یه مشکل ظریف‌تر می‌سازه. اگه بروکرها موقع بالا اومدن اولیه‌ی کلاستر روی یه نود کنار هم قرار بگیرن، ولوم‌های EBS اون‌ها توی زون دسترس‌پذیری همون نود ساخته می‌شن. وقتی قانون آنتی‌افینیتی یه بروکر رو به یه نود توی یه زون دیگه منتقل می‌کنه، ولوم نمی‌تونه دنبالش بره. ولوم‌های EBS محدود به یه زونن. بروکر جابه‌جاشده با پیام didn't match PersistentVolume's node affinity توی وضعیت pending می‌مونه.

روی یه کلاستر تازه، راه‌حل ساده‌ست: PVC خالی بروکر گیرکرده رو پاک کن. اپراتور Strimzi موقع ری‌کانسایل دوباره می‌سازدش، و این بار ولوم توی همون زونی ساخته می‌شه که بروکر واقعاً اون‌جا اسکجول شده.

برای تحمل خطای واقعی، بروکرها باید توی سه زون دسترس‌پذیری پخش باشن. دو زون یه مصالحه سر هزینه‌ست، با یه حالت شکست شناخته‌شده: از دست رفتن یه AZ می‌تونه دو تا از سه بروکر رو با خودش ببره و کوروم رو از بین ببره.

تعریف اعلانی کاربرها و ACL

منابع سفارشی KafkaUser این امکان رو بهت می‌دن که احراز هویت و مجوزدهی رو به شکل YAML مدیریت کنی:

apiVersion: kafka.strimzi.io/v1
kind: KafkaUser
metadata:
  name: event-producer
spec:
  authentication:
    type: scram-sha-512
  authorization:
    type: simple
    acls:
      - resource:
          type: topic
          name: "*"
          patternType: literal
        operations: [Write, Create, Describe]

اپراتور اعتبارنامه‌های SCRAM رو می‌سازه، توی یه سکرت هم‌اسم با کاربر ذخیره‌شون می‌کنه، و قوانین ACL رو با کلاستر زنده هماهنگ نگه می‌داره. باطل کردن یه کاربر یعنی یه kubectl delete kafkauser. اپراتور اعتبارنامه‌ها و قوانین ACL رو حذف می‌کنه. نه کانفیگ بروکری هست که ویرایش کنی، نه پسوردی که دستی عوضش کنی.

یه رفتار که باید حواست بهش باشه: برای تغییر اسم یه KafkaUser باید CR قدیمی رو صریحاً پاک کنی. اجرای kubectl apply با اسم جدید یه کاربر جدید می‌سازه؛ قدیمی رو حذف نمی‌کنه. کاربر قدیمی تا وقتی CR قدیمی رو پاک نکنی، با اعتبارنامه‌های زنده کار می‌کنه. این رفتار درستیه، ولی ممکنه وسط یه پاک‌سازی، کاربرهای شبحی با اعتبارنامه‌های SCRAM زنده باقی بذاره.

چیزهایی که اپراتورها درست نمی‌کنن

اپراتورها کارهای تکراری و طاقت‌فرسا رو کم می‌کنن؛ حذفشون نمی‌کنن.

تغییرات SGInstanceProfile در StackGres کامل به همه‌جا نمی‌رسن. اپراتور درخواست‌های منابع سایدکارها رو کش می‌کنه، و وقتی CPU یا حافظه رو تغییر می‌دی، ممکنه به تداخل requests > limits برسه. راه‌حل اینه که پروفایل رو پاک کنی و دوباره بسازی تا از نو و تمیز محاسبه بشه. این یه رفتار شناخته‌شده‌ست، نه باگ، ولی فرض «فقط YAML رو آپدیت کن» روی تغییر منابع جواب نمی‌ده.

تغییر سایز PVC در StackGres یه ترتیب مشخص لازم داره: قبل از پاک کردن هر پادی، spec کلاستر رو آپدیت کن. اگه پادی رو قبل از آپدیت spec پاک کنی، کنترلر کلاستر داخل پاد سایز قدیمی رو می‌خونه و سعی می‌کنه PVC رو دوباره کوچیک کنه. جوابش خطای ۴۲۲ هست، و کنترلر می‌افته توی کرش‌لوپ. فرصت این اشتباه کوچیکه، ولی واقعیه.

آنتی‌افینیتی بروکرها در Strimzi، به‌اضافه‌ی ولوم‌های محدود به زون، یعنی یه نود گروپ دوزونی هیچ تحمل خطای واقعی‌ای نمی‌ده. در برابر خرابی نود ایزوله‌ای، نه در برابر خرابی زون.

الگویی که پیدا می‌شه

بعد از اینکه هر دو اپراتور رو از یه بازسازی محیط، یه مهاجرت داده و هفته‌های اولِ ترافیکی شبیه پروداکشن رد کردیم، الگو روشنه. اپراتورها هزینه‌شون رو جبران می‌کنن، هزینه‌ای که واقعیه، یعنی پیچیدگی CRD و یه لایه‌ی جدید برای دیباگ؛ و این جبران مشخصاً روی عملیات‌هایی اتفاق می‌افته که درست انجام دادنشون حتی یه بار سخته، و زیر فشار، هر بار درست انجام دادنشون تقریباً غیرممکنه.

بازیابی بکاپ با StackGres. چرخش سرتیفیکیت با Strimzi. راه‌اندازی دوباره‌ی رپلیکا بعد از یه تغییر وضعیت خراب. این‌ها کارهایی هستن که توشون «یکی که این سیستم رو عمیق می‌شناسه کنترلرش رو نوشته» از هر مقدار اسکریپت شل خوش‌نیت باارزش‌تره.

مزیت راه‌اندازی واقعیه، ولی متوسط. مزیت روز دوم هر بار که چیزی خراب می‌شه و دقیقاً می‌دونی اپراتور قدم بعدی چی کار می‌کنه، روی هم انباشته می‌شه.

$ cat KUBERNETES .md
· 8 دقیقه مطالعه

خطای ۴۰۱ توی EKS که ربطی به اعتبارنامه نداشت

پایپ‌لاین CI ما یه توکن معتبر EKS می‌ساخت، درست و تمیز ارائه‌ش می‌داد، و رد می‌شد. مشکل از اعتبارنامه‌های AWS نبود. مشکل کنترل دسترسی خودِ EKS بود، و خطا جلوی چشم همه بود: کلاستر برای نقشی که درخواست می‌داد هیچ ورودی دسترسی نداشت.

kubernetes eks aws devops platform-engineering troubleshooting
$ cat KUBERNETES .md
· 6 دقیقه مطالعه

کنترل‌پلین ایجنت‌ها: Omnigent روی Kubernetes

شرکت Databricks ابزار Omnigent رو متن‌باز کرد؛ یه متاهارنس که هر هارنس ایجنتی رو پشت یه API واحد، با سیاست‌ها، سشن‌ها و وضعیت مشترک قرار می‌ده. اگه قبلاً سرویس‌های وضعیت‌دار روی Kubernetes دیپلوی کرده باشی، راه میزبانی خودت ازش کوتاه‌تر از چیزیه که فکر می‌کنی.

kubernetes devops platform-engineering ai-agents
$ cat KUBERNETES .md
· 6 دقیقه مطالعه

دیپلوی Helm موفق بود. کانفیگ هیچ‌وقت اعمال نشد.

پایپ‌لاین CI سبز در حالی که گیت‌وی لایو ۴۰۴ برمی‌گردونه، شکست تست نیست. یه شکاف بی‌صدا توی ری‌لود شدنه. این‌جا الگوی چک‌سام بین‌ریلیزی رو می‌گم که این شکاف رو توی helmfile می‌بنده.

kubernetes helm helmfile devops platform-engineering