۲ مرداد ۲۵۸۵ · 8 دقیقه مطالعه
همون رکورد DNS رو دو بار پاک کردم. بار سوم پرسیدم چرا.
یه اندپوینت عمومی از دسترس خارج شد. نه خطای ۵۰۰، نه تایماوت؛ اسمش دیگه ریزالو نمیشد. پاک کردن یه رکورد DNS یتیم توی کمتر از پنج دقیقه درستش کرد، و رفتم سراغ کار بعدی. سه روز بعد همون اندپوینت به همون شکل از کار افتاد، و همون راهحل دوباره جواب داد. فقط به خاطر همین تکرار بود که بار دوم تیکت رو نبستم و اسمش رو نذاشتم شانس: راهحلی که باید مرتب تکرار بشه راهحل نیست، علامت مشکله. باگ واقعی یه رکورد مالکیت DNS بود که هیچوقت نمیتونه نوشته بشه و به وجود بیاد.
قطعی اول شبیه یه رکورد جاموندهست
علامتش این بود که همهی درخواستهای خروجی یه سرویس Go به اون اندپوینت توی حدود ۴٫۵ میلیثانیه شکست میخوردن. این برای یه تایماوت واقعی خیلی سریعه، و همین نشونهی اینه که مشکل از ریزالو شدن DNS هست، نه خطای بکاند. دستور dig روی اون اسم یه رکورد AAAA سرگردون برگردوند که به لود بالانسر ingress اشاره میکرد، و هیچی دیگه. اصلاً رکورد A وجود نداشت.
خود لود بالانسر سالم بود. قبل از اینکه به DNS دست بزنم، سلامت مقصد رو مستقل از ادعای زون ثابت کردم:
curl --resolve checkout.example.com:443:<load-balancer-ip> https://checkout.example.com/
یه سرتیفیکیت معتبر و یه جواب واقعی از اپلیکیشن برگشت. پس بکاند هیچوقت زیر سؤال نبود؛ فقط نوع رکورد اشتباه بود. رکورد AAAA یه بار اضافهی بیمصرف بود، چون لود بالانسر فقط IPv4 داره و هیچوقت روی اون آدرس جواب نداده بود.
ابزار external-dns با --policy=sync و --registry=txt اجرا میشه. یعنی مالکیت یه اسم رو با نگه داشتن یه رکورد TXT متناظر کنارش نشون میده، و به هر چیزی که مالکش نیست دست نمیزنه. لاگها بقیهی ماجرا رو توضیح دادن:
Skipping endpoint checkout.example.com ... AAAA ... because owner id does not
match for one or more items to create, found: "", required: "eks-prod-cluster"
قصد external-dns این بود که رکورد A رو از روی Ingress منتشر کنه، ولی رکورد AAAA سرگردون هیچ TXT مالکیتی نداشت که external-dns بشناسه، برای همین کل چنجست اون اسم رد شد؛ نه فقط AAAA، که A هم. وقتی سیاست روی sync باشه، یه رکورد بیصاحب فقط مثل یه یتیم یه گوشه نمیشینه؛ جلوی ساخته شدن هر رکورد دیگهای روی همون اسم رو میگیره، تا وقتی یه آدم پاکش کنه. با پاک کردن AAAA، ریکانسایل بعدی تونست A رو منتشر کنه، و اندپوینت برگشت.
سه روز بعد، همون راهحل، و این تصمیم که این بار واقعاً نگاه کنم
همون اندپوینت، همون شکستهای سریع، همون رکورد A گمشده. پاک کردن AAAA یتیم دوباره درستش کرد. این بار قبل از بستن هر چیزی، لاگ CloudTrail رو برای هاستد زون بیرون کشیدم، چون راهحلی که خودبهخود با یه ریتم مشخص تکرار میشه، نشونهی اینه که اتوماسیون داره مشکل رو دوباره میسازه، نه اینکه کسی مدام دستی رکورد رو خراب میکنه.
توی CloudTrail دیدم که external-dns هر ده دقیقه رکورد A رو UPSERT میکرد، درست تا وقتی که یه DELETE تکی روی AAAA اومد، و بعدش سکوت. یه اشتباه یهباره نبود؛ یه حلقه بود که یه مدت تمیز اجرا شد و بعد راه خودش رو بست. سؤال دیگه این نبود که «چی رکورد A رو پاک کرد»؛ شد اینکه «چرا external-dns مدام رکوردی رو میسازه که هیچوقت نمیتونه نگهش داره».
رکوردی که هیچوقت نمیتونه مالک خودش باشه
این اندپوینت روی رأس هاستد زون واگذارشدهی خودش نشسته؛ یعنی یه زون مستقل، نه فقط یه اسم توی یه زون بزرگتر. زون والدش هم کلاً توی یه اکانت AWS دیگهست، از همون جنس مرز بین اکانتها که وقتی به جای نوشتن DNS، هزینهی ترافیک بین اکانتها رو حساب میکنی، باعث میشه پیرینگ از یه هاب ترانزیت مشترک ارزونتر دربیاد. همین تفاوته که مدل مالکیت رو میشکنه.
پرووایدر AWS در external-dns هر Ingress رو به یه وضعیت مطلوب دوپشتهای تبدیل میکنه: یه A و یه AAAA، حتی وقتی فقط A قراره به چیزی ریزالو بشه. رجیستری TXT مالکیت رو برای هر نوع رکورد جدا نگه میداره، با یه اسم TXT که نوع رکورد اولش میاد: برای AAAA روی checkout.example.com، این یعنی یه TXT که اسمش دقیقاً aaaa-checkout.example.com هست. روی یه سابدامین معمولی، این رکورد توی همون زونی میشینه که بقیهی رکوردها هستن. ولی روی رأس زون، این رکورد همسطحِ خود اسم رأسه، و همین یه سطح میبردش بالاتر، توی زون والد، یعنی example.com، که توی اکانتیه که external-dns بهش دسترسی نداره. لاگها صاف و ساده همین رو میگن:
Skipping record aaaa-checkout.example.com because no hosted zone matching record DNS Name was detected
رکورد AAAA رو external-dns میتونه بسازه، ولی هیچوقت نمیتونه اون TXT مالکیتی رو بنویسه که بهش اجازه بده رکورد رو مال خودش بدونه. توی همون ریکانسایل بعدی، AAAA خودش رو میخونه و میبینه مالک متناظری نداره؛ دقیقاً همون وضعیت «رکورد بیصاحب جلوی ساخت رو میگیره» از قطعی اول، با این فرق که حالا رکورد بیصاحب رو خود external-dns برای خودش نوشته. همین همون محافظ رو فعال میکنه و کل چنجست رد میشه، از جمله A. رکوردی که اندپوینت رو زنده نگه میداره، گروگان رکوردی میشه که هیچکس هیچوقت نمیتونه مالکش باشه، توی زونی که هیچکس هیچوقت نمیتونه توش بنویسه.
این مشکل مخصوص یه زون نیست. یه ویژگی کلی رجیستری TXT با پیشوند نوع رکورده: نمیتونه مالک رکوردی باشه که روی رأس زونیه که والدش دست خودش نیست. فقط TXT قدیمیتر با فرمت ساده (همونی که بدون پیشوند a-/aaaa-/cname- نوشته میشه) توی خود زون میشینه، چون همسطح رأس نیست؛ همون اسم رأسه با یه نوع رکورد دیگه. یه سابدامین که چند سطح پایینتره هیچوقت به این مشکل نمیخوره، چون همهی رکوردهای TXT مالکیتی که لازم داره، توی همون زونِ خود رکورد هستن.
راهحلی که واقعاً دوام میاره
نسخهی ماندگار اصلاً به زون دست نمیزنه؛ از همون اول جلوی این رو میگیره که external-dns یه AAAA بخواد:
# external-dns chart values
managedRecordTypes:
- A
- CNAME
این تنظیم به --managed-record-types=A --managed-record-types=CNAME رندر میشه و جای پیشفرض [A, AAAA, CNAME] رو میگیره. وقتی توی وضعیت مطلوب هیچ رکورد AAAA نباشه، دیگه TXT مالکیتی روی رأس وجود نداره که نوشتنش شکست بخوره، و چیزی هم نمیمونه که سرش بنبست پیش بیاد. اینجا مشخصاً به این دلیل امنه که همهی بکاندهای پشت این زون لود بالانسرهایی هستن که فقط IPv4 دارن؛ پس AAAA هیچوقت ترافیکی سرو نمیکرد، فقط چیزی رو خراب میکرد که داشت سرو میکرد.
دو تا سؤال ارزشش رو داشت که قبل از اعتماد به این راهحل جوابشون رو پیدا کنم، نه اینکه حدس بزنم:
این کار رجیستری TXT رو برای بقیهی رکوردها خراب نمیکنه؟ نه. managedRecordTypes فقط تعیین میکنه کدوم نوع رکوردها از منابع Kubernetes منتشر بشن؛ دربارهی حسابوکتاب خود رجیستری حرفی نمیزنه. رکوردهای TXT از اول هم توی این لیست نبودن (پیشفرض هم TXT رو شامل نمیشه)، و رجیستری برای رکوردهای A و CNAME باقیمونده دقیقاً مثل قبل کار میکنه.
اصلاً external-dns به مالکیت با TXT نیاز داره؟ فقط با --registry=txt. جایگزینی که کل این دسته از مشکلات رو دور میزنه، یه رجیستری مبتنی بر DynamoDB هست که مالکیت رو بیرون از زون نگه میداره، نه به شکل رکوردهای همسطح توی خود زون. این یه تغییر در سطح کل کلاستره، با شعاع اثری بزرگتر از یه مقدار توی چارت، برای همین بهعنوان یه گزینه یادداشت شد و همون لحظه اعمال نشد.
چی باید از این ماجرا یاد گرفت
راهحل اول درست بود و با این حال اشتباه. پاک کردن رکورد یتیم هر دو بار کار درستی بود، و هیچوقت قرار نبود آخرین بار باشه، چون معلول رو درمان میکرد و علت رو سر جاش ول میکرد تا توی هر ریکانسایل یه نمونهی تازه بسازه. نشونه توی پیام خطا نبود؛ توی این بود که همون کار پنجدقیقهای به یه دلیل دو بار لازم شد. باگی که خودش دوباره پیدا میشه، بدون اینکه کسی این وسط به سیستم دست بزنه، یعنی یه چیزی داره توی یه حلقه تولیدش میکنه، و CloudTrail همون چیزیه که «دوباره خراب شد» رو به «این هم حلقهاش» تبدیل میکنه. از همون جنس تلهایه که توی ریلیزی از Helm که موفقیت گزارش میده در حالی که کانفیگ در حال اجرا کهنه میمونه دیدیم: ابزار دروغ نمیگه، فقط داره دربارهی لایهای بالاتر از لایهای که واقعاً خراب شده گزارش میده.
این ماجرا یادآوری هم هست که سیستمهای مالکیتی که روی قرارداد ساخته شدن، یعنی یه رکورد TXT که به خاطر جایی که نشسته و پیشوند اسمش معنی پیدا میکنه، همهی مرزهای سلسلهمراتب نامگذاریِ زیرشون رو به ارث میبرن. هیچچیزِ زون واگذارشده اشتباه تنظیم نشده بود. زون دقیقاً همونطوری کار کرد که زونهای واگذارشده باید کار کنن؛ چیزی که توی برخورد با رأس زون دووم نیاورد، این فرض بود که مالک هر رکورد همیشه میتونه کنار خودش زندگی کنه. توی Kubernetes بیشتر از اون چیزی که اکثر آدمها متوجه میشن، از این پیشفرضهای قراردادی هست، همونطور که enableServiceLinks بیسروصدا متغیرهای محیطیای تزریق میکنه که کسی نخواسته، تا روزی که با یه چیز واقعی تداخل پیدا کنه.