کلاستر ۱۶۰ میلی‌کور مصرف می‌کرد. ریکوئست‌هاش شش تا نود لازم داشتن.

kubernetes eks finops devops mechanism

سؤال ساده بود: سه تا نود متوسط از پس پروداکشن برمیان؟ محصول هنوز هیچ مشتری‌ای نداشت، کلاستر روز قبلش از نو ساخته شده بود، و هزینه‌ی نودها برای چیزی که بیشترش بیکار بود زیاد به نظر می‌رسید. پروداکشن metrics-server نداشت، برای همین قبل از این‌که به چیزی جواب بدم، به‌شکل یه افزونه‌ی EKS نصبش کردم و نگاه کردم.

کل کلاستر حدود ۱۶۰ میلی‌کور CPU و ۶ GiB حافظه مصرف می‌کرد. روی شش تا نود اجرا می‌شد، یعنی تقریباً ماهی ۲۴۵ دلار هزینه‌ی محاسبه برای باری که راحت روی یه لپ‌تاپ جا می‌شد.

بقیه‌ی این پست درباره‌ی فاصله‌ی بین این دو واقعیته، چون رایج‌ترین سوءتفاهم درباره‌ی ظرفیت Kubernetes همینه، و همین تعیین می‌کنه چقدر پول می‌دی.

اسکجولر هیچ‌وقت به مصرف نگاه نمی‌کنه

اسکجولر Kubernetes یه پاد رو وقتی روی یه نود می‌ذاره که ریکوئست‌های پاد توی باقی‌مونده‌ی منابع قابل تخصیص نود جا بشن. CPU لحظه‌ای رو نمی‌خونه. هیچ‌وقت نمی‌پرسه پاد چقدر سرش شلوغه. از نظر اسکجولر، نودی که فقط ۵٪ استفاده‌ی واقعی داره پره، اگه جمع ریکوئست‌های روش به اندازه‌ی خود نود برسه.

برای همینه که kubectl top ابزار غلطی برای تعیین اندازه‌ست، و خروجی kubectl describe node ابزار درست:

kubectl top nodes                                   # what is being used
kubectl describe node <node> | grep -A8 "Allocated resources"   # what is reserved

عدد اول خیلی کوچیک بود. عدد دوم همونی بود که سه تا نود بزرگ، یه نود متوسط و دو تا نود کوچیک مخصوص سرویس‌های هسته رو پر کرده بود. این رزروها از چند تا کامپوننت میومدن، که هیچ‌کدوم سرشون شلوغ نبود:

  • پروویژنر نود (Karpenter) یه CPU کامل خواسته بود،
  • یه پاد جانگهدار برای استخر گرم ۹۰۰ میلی‌کور رزرو کرده بود تا نودهای جدید از قبل گرم باشن،
  • سرور امبدینگ CPU دو تا رپلیکا داشت، هر کدوم با یه هسته‌ی کامل و ۱٫۵ GiB، و در حالت بیکاری حدود ۱۲ MiB حافظه مصرف می‌کرد.

روی هم رفته همین ریکوئست‌ها، نه هیچ ترافیکی، تعیین می‌کردن چند تا ماشین وجود داشته باشه. اندازه‌ی کلاستر رو چیزی تعیین می‌کرد که ورک‌لودهاش با عجله درخواست کرده بودن، نه کاری که انجام می‌دادن.

درسش رُکه: ریکوئست‌ها تعداد نود رو تعیین می‌کنن. اگه صورتحساب کوچیک‌تری می‌خوای، اهرمش عددهای توی مانیفست‌هاته، و فقط وقتی می‌تونی به این عددها اعتماد کنی که مصرف واقعی رو کنارشون اندازه گرفته باشی.

شکل جدید

با این اندازه‌گیری‌ها، شکل کلاستر رو انتخاب کردم:

  • سه تا نود m7g.large، یکی تو هر زون دسترس‌پذیری. نه m6g، که با همون پول کندتره، و نه m8g، که برای ظرفیت پردازشی‌ای که لازمش نداشتیم پول بیشتری می‌گیره.
  • ابزار Cluster Autoscaler به‌جای Karpenter. برای کلاستری به این کوچیکی و این‌قدر قابل‌پیش‌بینی، فکر کردن درباره‌ی یه نود گروپ مدیریت‌شده و یه اتواسکیلر ساده راحت‌تره تا یه پروویژنر که نوع ماشین رو لحظه‌ای انتخاب می‌کنه. این تصمیم وقتی گرفته شد که هیچ مشتری‌ای نداشتیم؛ روی یه ناوگان بزرگ با بار پرنوسان، چشم‌بسته این تصمیم رو نمی‌گرفتم.
  • سرور امبدینگ به ۲۵۰ میلی‌کور و ۱ GiB کم شد. در حالت بیکاری حدود ۱۲ MiB مصرف می‌کرد، پس حتی همین هم دست‌ودلبازانه‌ست.
  • پخش بین زون‌ها روی ورک‌لودها، تا از دست رفتن یه زون کل یه سرویس رو از کار نندازه.

بعد از تغییر، ریکوئست‌ها روی دو تا نود جا شدن، با حدود ۹۲٪ CPU و ۶۲٪ حافظه، و نود سوم برای پخش بین زون‌ها وجود داره. اسکیل‌آپ به نود چهارم ۷۵ ثانیه طول کشید؛ اسکیل‌داون به سه نود حدود ۱۲ دقیقه. اپلیکیشن تو همه‌ی چک‌ها در طول مهاجرت جواب ۲۰۰ داد.

اتواسکیلرها هم ریکوئست‌ها رو می‌خونن

این‌جاست که ماجرا جالب می‌شه، چون همون قاعده‌ای که تعداد نودها رو باد کرده بود، بی‌سروصدا هر دو اتواسکیلر رو هم خراب می‌کنه.

هدف استفاده‌ی اتواسکیلر افقی پاد (HPA) درصدی از ریکوئست‌هاست. با یه ریکوئست خیلی کوچیک، ۸۰٪ یه عدد خیلی کوچیکه:

resources:
  requests:
    cpu: 100m
metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 80   # fires at 80m of CPU, not 80% of a core

سرویسی که تقریباً هیچ کاری نمی‌کنه، فوراً از ۸۰ میلی‌کور رد می‌شه، پس همه‌ی سرویس‌ها تقریباً بلافاصله روی حداکثر تعداد رپلیکاشون می‌چسبن. این هدف تو بازبینی معقول به نظر میاد و تو پروداکشن هیچ معنایی نداره.

ابزار Cluster Autoscaler کلاستر رو بر اساس پادهای در انتظار بزرگ می‌کنه، نه CPU شلوغ. با ریکوئست‌های خیلی کوچیک، سه تا رپلیکا از همه‌چیز راحت روی سه تا نود جا می‌شن، پس هیچ پادی هیچ‌وقت در انتظار نمی‌مونه، پس اتواسکیلر هیچ‌وقت نود اضافه نمی‌کنه، حتی وقتی CPU به سقف چسبیده. حالت شکستش کلاستریه که داغه و حاضر نیست بزرگ بشه.

هر دو مشکل یه راه‌حل دارن: قبل از روشن کردن اتواسکیلینگ، ریکوئست‌ها رو نزدیک مصرف واقعی تنظیم کن. وگرنه HPA زیادی زود فعال می‌شه و Cluster Autoscaler زیادی دیر، و هر دو دقیقاً همون‌طور کار می‌کنن که طراحی شدن.

تله‌ای که بی‌سروصدا ماهی حدود ۶۰ دلار خرج داره

یکی از یافته‌های بازبینی ارزش یه پاراگراف جدا رو داره، چون تا صورتحساب رو نخونی دیده نمی‌شه. ابزار Cluster Autoscaler به‌طور پیش‌فرض با skip-nodes-with-system-pods=true کار می‌کنه. هر نودی که یه پاد غیر DaemonSet از kube-system بدون PodDisruptionBudget روش باشه، هیچ‌وقت اسکیل‌داون نمی‌شه. دو تا از کنترلرهای ما، کنترلر لودبالانسر و کنترلر EFS CSI، هیچ‌کدوم چنین بودجه‌ای نداشتن.

پس نودی که زیر بار اسکیل‌آپ می‌شد و از قضا یکی از این‌ها روش می‌افتاد، برای همیشه می‌موند، تقریباً ماهی ۶۰ دلار برای هر نود گیرکرده، بدون هیچ آلرتی و بدون هیچ ردی تو لاگ‌ها. تست اسکیل با یه پاد یک‌بارمصرف روی نود جدید این رو نمی‌گیره، چون پاد یک‌بارمصرف پاد سیستمی نیست. مقدار پیش‌فرض ماژول رو به false تغییر دادم و همون موقع روی کلاستر زنده اعمالش کردم. اگه Cluster Autoscaler اجرا می‌کنی، این فلگ رو چک کن و ببین پادهای سیستمیت PDB دارن یا نه.

وقتی کار گرون یه جای دیگه اجرا می‌شه

سؤال بعدی طبیعی بود: این کلاستر به چند تا کاربر می‌تونه سرویس بده؟ جوابش کمتر از چیزی که انتظار داشتم به نودها ربط داره.

نودهای کلاستر تقریباً بیکارن، چون مدل زبانی پیش یه ارائه‌دهنده‌ی میزبانی‌شده اجرا می‌شه. هر پیام چت چند تا پرش بین سرویس‌های Spring، یه امبدینگ برای کوئری روی سرور امبدینگ CPU، و یه کوئری برداری هزینه داره؛ کار سنگین روی سخت‌افزار یکی دیگه انجام می‌شه. پس اولین دیوارهای ظرفیت، CPU نیستن:

  1. محدودیت‌های نرخ پلن ارائه‌دهنده، چون یه کلید به همه‌چیز سرویس می‌ده،
  2. صف شدن آپلود سندها روی سرور امبدینگ CPU،
  3. تعداد ثابت رپلیکاها، و
  4. تنظیم حداکثر ظرفیت دیتابیس.

فقط بعد از این‌هاست که محاسبه مهم می‌شه. مدل سرانگشتی من، که یه تخمینه و نه تست بار، می‌گه وقتی اتواسکیلینگ و محدودیت‌های ارائه‌دهنده سروسامون بگیرن، سه تا نود حدود ۸۰۰ تا ۱٬۵۰۰ کاربر فعال هم‌زمان رو جواب می‌دن، و هزینه‌ی واقع‌بینانه برای ۱۰٬۰۰۰ کاربر هم‌زمان حدود ماهی ۲٬۴۰۰ دلاره، با این قاعده‌ی رشد که به‌ازای هر ۸۰۰ کاربر سه تا نود اضافه بشه. مصرف CPU به‌ازای هر درخواست تو این مدل یه حدسه که تا حدود دو برابر ممکنه خطا داشته باشه، و چیزی که جاش رو با عدد واقعی پر می‌کنه یه تست بار روی محیط دموئه.

نکته خود عدد نیست. اینه که وقتی کار گرون پیش یه ارائه‌دهنده‌ی بیرونی اجرا می‌شه، ظرفیت کلاسترت ظرفیت محصولت نیست. قبل از این‌که نودهای خودت رو اسکیل کنی، محدودیت‌های ارائه‌دهنده رو بخون.

چیزهایی که باید یادت بمونه

  • ریکوئست‌ها تعداد نود رو تعیین می‌کنن، نه مصرف. مصرف واقعی رو اندازه بگیر، بعد ریکوئست‌ها رو نزدیکش تنظیم کن. kubectl top رو با بخش منابع تخصیص‌یافته مقایسه کن، نه با حدس خودت.
  • اتواسکیلرها رو با ریکوئست‌هات بسنج. درصد HPA سهمی از ریکوئست‌هاست، و Cluster Autoscaler فقط به پادهای در انتظار واکنش نشون می‌ده. ریکوئست‌های خیلی کوچیک باعث می‌شن اولی زود فعال بشه و دومی هیچ‌وقت.
  • موانع اسکیل‌داون رو بررسی کن. skip-nodes-with-system-pods به‌اضافه‌ی نبود PDB باعث می‌شه نودهایی که براشون پول می‌دی تا ابد، بی‌سروصدا، روشن بمونن.
  • قبل از تعیین اندازه، گلوگاه واقعی رو پیدا کن. اگه مرحله‌ی گرون پیش یه ارائه‌دهنده‌ی بیرونی اجرا می‌شه، محدودیت‌های اون زودتر از CPU خودت جلوت رو می‌گیرن.
$ cat OBSERVABILITY .md
· 9 دقیقه مطالعه

۵۰ میلیون اسپن از دست دادیم و هیچی لاگش نکرد.

یه دیپلوی تریس‌های همه‌ی سرویس‌ها رو فرستاد سمت یه کالکتور جدید که برای یه جریان باریک سایز شده بود. کالکتور بلاک شد، SDK سرویس‌ها سرریز رو دور ریخت، و حدود ۵۰ میلیون اسپن توی دو ساعت غیب شدن، بی‌هیچ شمارنده و بی‌هیچ خط لاگی در هیچ جا. تنها هشداری که اومد، درباره‌ی یه چیز دیگه بود. این‌جا می‌گم این از دست رفتن چطور نامرئی موند، چطور چیزی رو اندازه گرفتم که هیچ‌چیز نشمرده بودش، و چرا گلوگاه واقعی اونی نبود که اول سراغش رفتم.

observability opentelemetry kubernetes devops mechanism
$ cat AWS .md
· 8 دقیقه مطالعه

جمع اسنپ‌شات‌ها ۲۱ TiB می‌شد. پاک کردنشون ۶۸۷ GiB آزاد کرد.

هزینه‌ی اسنپ‌شات‌های EBS بر اساس بلاک‌های تغییرکرده حساب می‌شه، نه اندازه‌ی والیوم. هزینه‌ی اسنپ‌شات والیوم یه دیتابیس که مدام مرج می‌کنه، می‌تونه از همه‌ی چیزهای دیگه‌ی اکانت بیشتر بشه، در حالی که یه دیسک بزرگِ بیکار هیچ هزینه‌ای نداره. این‌جا می‌گم چطور اندازه‌ش گرفتم، چرا پاک‌سازی‌ای که شبیه ۲۱ TiB بود فقط ۶۸۷ GiB آزاد کرد، و چرا باوری که خودم درباره‌ی والیوم‌های منبعِ پاک‌شده یادداشت کرده بودم غلط بود.

aws finops ebs devops mechanism
$ cat KUBERNETES .md
· 7 دقیقه مطالعه

قید برقرار بود. با این حال زون خالی موند.

یه قید پخش توپولوژی همیشه فقط یه حکم درباره‌ی جمعیتیه که سلکتورش انتخاب می‌کنه، و لیبلی که یه اپراتور می‌ذاره می‌تونه بی‌سروصدا دیپلویمنت‌های هم‌خانواده رو تو یه شمارش مشترک بریزه. سه تا کالکتور هر کدوم قید سخت پخش بین زون‌های خودشون رو برقرار نگه داشتن، در حالی که مجموعشون یه زون رو خالی گذاشته بود، و ترمیم استاندارد هر بار به همون جواب غلط می‌رسید.

kubernetes scheduling opentelemetry finops mechanism