۳۱ تیر ۲۵۸۵ · 7 دقیقه مطالعه
کلاستر جدید روی هر نود ۱۱۰ پاد اجرا میکرد. پروداکشن روی ۵۸ گیر کرده بود.
دو تا کلاستر EKS با یه نوع اینستنس. اونی که امسال ساخته شده، روی هر نود ۱۱۰ پاد زمانبندی میکنه. کلاستر پروداکشن که زودتر ساخته شده، سقفش ۵۸ تاست و به همین سقف خورده بود: کلی CPU و حافظه خالی مونده بود، ولی جایی برای پاد نبود. هدف شبیه یه تغییر یهخطی به نظر میرسید: همون تراکم رو به پروداکشن بدیم. آخرش شد یه نود گروپ جدید، یه پیشنیاز CNI، و یه پلن Terraform که میخواست خیلی بیشتر از چیزی که خواسته بودم انجام بده.
عدد ۵۸ از کجا میاد
سرویس EKS بهطور پیشفرض سقف پادها رو از شبکه درمیاره، نه از منابع محاسباتی. پلاگین VPC CNI به هر پاد یه IP واقعی از VPC میده که از رابطهای شبکهی نود (ENI) میاد، پس سقف از یه حساب ساده روی رابطهای شبکه درمیاد: یه m6g.xlarge چهار تا ENI میگیره که هر کدوم ۱۵ آدرس دارن. اولین آدرس هر ENI آدرس اصلی خودشه و هیچوقت به پاد نمیرسه، پس از هر کدوم ۱۴ آدرس برای پادها میمونه، یعنی روی هم ۵۶ تا. بعد EKS دو تا هم برای پادهایی اضافه میکنه که مستقیم روی شبکهی خودِ نود اجرا میشن، و اینطوری عدد میرسه به ۵۸. نود ۴ تا vCPU و ۱۶ گیگابایت حافظه برای ۵۸ پاد داره، که برای بارهای کاری حجیم خوبه و برای پلتفرمی پر از بارهای کوچیک افتضاحه.
واگذاری پیشوند (prefix delegation) این حساب رو عوض میکنه. به جای اینکه CNI به هر خونهی ENI یه IP تکی وصل کنه، پیشوندهای /28 وصل میکنه، یعنی ۱۶ آدرس برای هر خونه، و دیگه جدول ENI محدودیت عملی نیست. ولی هنوز باید سقف جدید رو به kubelet گفت، و AWS پیشنهاد میکنه برای هر نودی با کمتر از ۳۰ تا vCPU سقف رو ۱۱۰ بذاری. تراکم کلاستر جدید از همینجا اومده بود: نود گروپهاش از اول با واگذاری پیشوندِ روشن و max_pods = 110 توی لانچ تمپلیت ساخته شده بودن.
بیراههی podsPerCore
روی کلاستری که Karpenter مدیریتش میکنه، اولین فکرم podsPerCore: 10 بود که تطبیقپذیر به نظر میرسه: نودهای کوچیک کمتر میگیرن، نودهای بزرگ بیشتر. توی این شرایط این یه تلهست، اون هم از دو جهت. خودِ kubelet مقدار podsPerCore رو بهعنوان یه سقف روی max pods اعمال میکنه، پس یه xlarge چهارهستهای ۴۰ میگیره، که کمتر از ۵۸ تاییه که از قبل داشت. از طرف دیگه، Karpenter ظرفیت نود رو از محدودیتهای ENI حساب میکنه و از واگذاری پیشوند خبر نداره، پس دیدِ اسکجولر و دیدِ kubelet از هم فاصله میگیرن. یه maxPods: 110 ثابت با واگذاری پیشوندِ روشن، کسلکننده و درسته. دیدن اثباتش روی یه نود تازه حسابی کیف داره:
$ kubectl get node <old-node> -o jsonpath='{.status.capacity.pods}'
8
$ kubectl get node <new-node> -o jsonpath='{.status.capacity.pods}'
110
این یه m6g.medium بود که از ۸ پاد، یه پیشفرض تقریباً خندهدار برای یه نود ۴ گیگابایتی، رسید به ۱۱۰.
به یه نود گروپ زنده نمیشه لانچ تمپلیت اضافه کرد
این بخشیه که پروداکشن رو با کلاستری که از صفر ساخته میشه فرق میده. تنظیم max_pods روی یه نود گروپ مدیریتشده یعنی ماژول براش یه لانچ تمپلیت میسازه، چون فلگ kubelet باید از طریق user data منتقل بشه. ولی نود گروپ مدیریتشدهای که بدون لانچ تمپلیت ساخته شده، هیچوقت نمیتونه یکی بگیره. API سرویس EKS آپدیت رو همون اول رد میکنه:
ValidationException: Cannot update launchTemplate
ابزار Terraform اینو میدونه و تغییر رو ForceNew مدل میکنه: نود گروپ رو نابود کن و یه جایگزین بساز. روی یه محیط ایزوله این اهمیتی نداره. روی یه کلاستر پروداکشن یعنی همهی نودهای اون گروه با زمانبندی Terraform عوض میشن، نه زمانبندی تو.
پس راهش جنگیدن باهاش نیست: یه نود گروپ جدید کنار قبلی بساز که از اول با لانچ تمپلیتی که لازم داره ساخته بشه.
general_arm_v2 = {
instance_types = ["m6g.xlarge"]
desired_size = 3
min_size = 2
max_size = 20
max_pods = 110
max_unavailable = 1
}
گروه قدیمی دستنخورده به سرو کردن ترافیک ادامه میده. بارهای کاری کمکم منتقل میشن، همزمان که گروه جدید بزرگتر میشه و گروه قدیمی با زمانبندیای که خودت انتخاب میکنی کوردن و درین میشه، و رولبک هم فقط اینه که «درین رو متوقف کن». راستی، پخش کردن گروه جدید روی چند زون دسترسپذیری از نظر هزینهی اینستنس خرجی نداره؛ تنها هزینه، انتقال داده بین زونهاست، همون ردیف هزینهای که توی حساب VPC peering در برابر Transit Gateway هم بیشترین سهم رو داره.
واگذاری پیشوند رو قبل از نودها روشن کن، نه بعدش
لانچ تمپلیت فقط نصف تغییره. افزونهی vpc-cni باید قبل از بالا اومدن نودهای جدید ENABLE_PREFIX_DELEGATION=true رو داشته باشه:
vpc-cni = {
configuration_values = jsonencode({
env = { ENABLE_PREFIX_DELEGATION = "true" }
})
}
اگه ترتیب رو اشتباه بری، یه دروغگو ساختی: kubelet ۱۱۰ جا اعلام میکنه، اسکجولر با خیال راحت پرشون میکنه، و CNI در عمل فقط به اندازهی همون سقف قدیمی ENI میتونه IP بده. هر پادی که از اون خط رد بشه، توی ContainerCreating منتظر آدرسی میمونه که هیچوقت نمیاد. هیچ چیزی توی پایپلاین دیپلوی اینو نمیگیره؛ همون جنس خطاییه که توی آپدیت یه کانفیگمپ که هیچوقت به پادِ در حال اجرا نمیرسه دیدیم، جایی که همهچیز سبزه جز خودِ اجرا.
یه محدودیت دیگه هم توی لیست اینستنسها قایم شده: واگذاری پیشوند فقط روی Nitro کار میکنه. گروه اسپات پروداکشن هنوز m4.large رو توی لیستش داشت، یه نوع قدیمیتر از Nitro که مال یه دورهی دیگهست، و هر نودی که روش بالا میومد بیصدا به همون سقفهای قدیمی برمیگشت. نوعهای قدیمی اینستنس توی پالیسیِ ترکیب اینستنسها دقیقاً از اون باقیموندههاییان که هیچکس بررسیشون نمیکنه، تا روزی که یه قابلیت بیسروصدا کنارشون بذاره.
پلن تغییرهایی رو با خودش داشت که من هیچوقت ننوشته بودم
خروجی terraform plan این بود: ۶ تا اضافه، ۱ تغییر، ۲ تا حذف. سهم تغییر من سه تا بود: نود گروپ، لانچ تمپلیتش و تنظیم CNI. بقیه مال یه ارتقای ماژول بود که چند هفته قبل انجام شده بود و هنوز اپلای نشده بود، و یه مهاجرت از کانفیگمپ مربوط به aws-auth به ورودیهای دسترسی EKS (access entries) رو هم با خودش آورده بود. اون روز هیچکس اینو نخواسته بود، ولی اپلای کردن تغییر من اونو هم اپلای میکرد.
خوندن دقیقش به اون یه ساعت میارزید. دو تا حذف ترسناک به نظر میرسیدن ولی بیخطر بودن: این دو تا ریسورسِ null_resource با provisioner بودن که بلوکهای کانفیگشون از ماژول پاک شده بود، و provisioner زمانِ حذف فقط وقتی اجرا میشه که بلوکش هنوز وجود داشته باشه، پس Terraform بدون اجرای هیچ چیزی فقط از استیت حذفشون میکرد. خودِ کانفیگمپ سر جاش میمونه، و چون کلاستر توی حالت API_AND_CONFIG_MAP هست، دسترسی هیچکس قطع نمیشه.
مین واقعی توی ساختنیها بود. پلن میخواست برای یه نقش ادمین SSO یه ورودی دسترسی بسازه، و یه بررسی روی کلاستر زنده نشون داد دقیقاً همین ورودی از قبل وجود داره و چند ماه پیش یکی دستی از توی کنسول ساخته بودش. عملیات CreateAccessEntry توی EKS ایدمپوتنت نیست:
ResourceInUseException: The specified access entry resource is already in use on this cluster
اپلای وسط کار شکست میخورد، در حالی که شاید نود گروپ ساخته شده بود و مهاجرت احراز هویت نصفه اعمال شده بود. راهحل این بود که دامنهی خطر رو تقسیم کنیم: تغییر تراکم رو با -target فقط روی همون سه ریسورسی که مال من بودن اپلای کنیم، و مهاجرت احراز هویت رو یه تغییر جدا کنیم که با ایمپورت کردن ورودیهای دستی شروع میشه، نه با برخورد باهاشون.
از این ماجرا چی برداریم
تراکم پاد روی EKS یه ویژگی مادرزادیه. لانچ تمپلیت، حالت CNI و سقف kubelet همه موقع ساخته شدن نود گروپ ثابت میشن، پس راه تمیزِ عوض کردنشون روی یه کلاستر زنده اینه که نسل بعدی رو کنار نسل فعلی بسازی، نه اینکه درجا تغییرش بدی. مثل پیشفرض enableServiceLinks، سقف پاد بر اساس ENI هم از اون چیزهاییه که بیشتر آدمها روزی باهاش آشنا میشن که جلوی یه دیپلوی رو گرفته.
و هر خطی از پلن رو که خودت ننوشتی یه سؤال ببین، نه یه تشریفات. ارتقای ماژولی که اپلای نشده بود، برای هر کسی که بعدی پلن رو اجرا میکرد کمین کرده بود، و کلاستر زنده استیتی داشت، یعنی همون ورودیهای دسترسیِ دستی، که با هیچ مقدار خوندن HCL معلوم نمیشد. پلن بهت میگه Terraform میخواد چی کار کنه؛ فقط کلاستر بهت میگه که میتونه یا نه.