۲۸ آبان ۲۵۸۵ · 12 دقیقه مطالعه
پروژهی اصلی آرشیوشده. باگ امنیتیاش هنوز زندهست.
روز ۱۸ نوامبر، شرکت F5 نسخههای NGINX 1.30.7 و NGINX 1.31.9 رو منتشر کرد و دو تا باگ اجرای کد از راه دور رو بست که هیچ احراز هویتی لازم نداشتن. هر دوشون به HTTP/2 احتیاج دارن. اولی، با شناسهی CVE-2026-123007، یه سرریز منفی تو کنترل جریانه و هر NGINX با HTTP/2 روشن رو درگیر میکنه. دومی، با شناسهی CVE-2026-123633، استفاده از حافظه بعد از آزاد شدنه و علاوه بر HTTP/2 پراکسی هم لازم داره؛ یعنی دقیقاً همون کاری که هر کنترلر اینگرسی که تا حالا دیپلوی شده انجام میده.
برای بیشتر نرمافزارها قدم بعدی یه کار روتینه: یادداشتهای نسخه رو میخونی، چارت رو آپدیت میکنی و رولاوت میکنی. اینجا چنین قدمی وجود نداشت. پروژهی ingress-nginx که جامعهی Kubernetes نگهش میداشت، مارس ۲۰۲۶ آرشیو شد. آخرین نسخهاش، یعنی کنترلر 1.15.1، با NGINX 1.27.1 میاد و هیچکس دیگه قرار نیست از نو بیلدش کنه. «به آخرین نسخه آپدیت کن» رو از قبل انجام داده بودیم، ولی هیچکدوم از این باگها رو نمیبست.
تو این پست همون چیزی رو تعریف میکنم که به جاش کردیم، به همون ترتیبی که پیش اومد. اول ثابت کردیم چی واقعاً قابلحملهست. بعد هر جا یه راهحل موقت هیچ هزینهای نداشت، ازش استفاده کردیم. بعد یه کنترلر پچشده رو خودمون ساختیم و تحویل دادیم، و برای این بیلد یه تاریخ انقضا هم گذاشتیم.
اول بفهم چی واقعاً در معرض خطره
هشدار امنیتی میگه «NGINX با HTTP/2». این جمله کمتر از اونچه هولوولای اول نشون میده کلاستر رو درگیر میکنه، ولی فقط هم به کنترلرهای اینگرس محدود نیست.
هر نمونهی NGINX رو که در حال اجراست پیدا کن، نه فقط اونهایی که جلوی چشمن. کنترلرهای اینگرس اولین مظنونها هستن، ولی فرانتاندهای اپلیکیشن هم خیلی وقتها یه NGINX مخصوص خودشون دارن تا فایلهای استاتیک رو سرو کنن. دستور nginx -v رو همزمان تو همهی کانتینرهای در حال اجرا زدم و اونهایی رو که جواب دادن نگه داشتم. تگ ایمیجِ کنترلر هیچ چیزی دربارهی نسخهی NGINX داخلش نمیگه؛ این رو فقط خود باینری میدونه. معلوم شد کنترلرهای ما روی NGINX 1.25.5 و NGINX 1.27.1 هستن، و هیچکدوم از این دو نسخه هیچوقت پچ نمیگیرن.
بعد بپرس اصلاً HTTP/2 روشنه یا نه. داخل کنترلر کافیه تو فایل nginx.conf دنبال خط http2 on بگردی. تو فرانتاندها، خروجی nginx -T فقط یه listen ساده روی پورت ۸۰ نشون داد، بدون HTTP/2 و بدون TLS، پشت یه لودبالانسر که با مقصدهاش HTTP/1.1 حرف میزنه. قابل سوءاستفاده نبود، پس بیلد دوبارهشون روی یه ایمیج پایهی پچشده شد یه کار نگهداری معمولی، نه یه وضعیت اضطراری.
جایی که TLS تموم میشه تعیین میکنه کلاینتها به HTTP/2 میرسن یا نه. مرورگرها موقع هندشیک TLS، با کمک افزونهی ALPN، سر استفاده از HTTP/2 توافق میکنن. اگه TLS روی لودبالانسر تموم بشه، NGINX فقط ترافیک ساده و رمزنشده روی پورت ۸۰ میبینه. اگه لودبالانسر ترافیک رو دستنخورده رد کنه، هندشیک رو خود NGINX انجام میده و اونوقت h2 رو هم پیشنهاد میده. انوتیشنهای سرویس نشون میدن کدوم حالته. اگه بکاند از نوع TCP باشه و روی لودبالانسر پورتی برای TLS تعریف نشده باشه، یعنی TLS روی خود NGINX تموم میشه.
از بیرون تست کن، و آدرس خام لودبالانسر رو هم تست کن. مهاجم به هدر Host معتبر احتیاجی نداره، پس خود آدرس لودبالانسر رو تست کن، نه فقط دامنههای عمومیات رو:
# Does TLS negotiate h2?
curl -s -o /dev/null --http2 -w '%{http_version}\n' https://app.example.com/
# Does plain port 80 accept h2c? (NGINX 1.25.1+ with "http2 on" does)
curl -s -o /dev/null --http2-prior-knowledge -w '%{http_version}\n' http://<lb-hostname>/
تله تو تست دومه. از NGINX 1.25.1 به بعد، روشن بودن HTTP/2 باعث میشه پورت رمزنشده هم HTTP/2 رو بدون مذاکره قبول کنه، که بهش h2c میگن. کنترلر داخلی ما پشت لودبالانسری بود که TLS روش تموم میشد، برای همین فکر میکردم امنه. نبود: پورت ۸۰ با HTTP/2 جواب داد.
آخرش سه تا کنترلر درگیر بودن. یکی داخلی بود؛ TLS روی لودبالانسر تموم میشد و پورت ۸۰ هم h2c رو قبول میکرد. دو تا هم از اینترنت در دسترس بودن و TLS روی خود NGINX تموم میشد. یکی از این دو تا جلوی یه یکپارچهسازی با یه شریک تجاری بود که با گواهی کلاینت احراز هویت میکنه. TLS دوطرفه اونجا هم کمکی نکرد: سرور پیشفرض هیچ گواهی کلاینتی نمیخواد، پس مهاجم بدون گواهی هم به لایهی HTTP/2 میرسه.
راهحل موقتی که هیچ هزینهای نداره، و محدودیتهاش
پروژهی ingress-nginx یه تنظیم تو کانفیگمپ داره که همهی خطهای http2 on رو از کانفیگ ساختهشده پاک میکنه، از جمله مسیر h2c روی پورت ۸۰:
controller:
config:
use-http2: "false"
این فقط یه ریلود کانفیگه، نه ریاستارت، پس هیچ اتصالی قطع نمیشه. قبل از اعمال این تغییر مطمئن شو هیچ اینگرسی از gRPC استفاده نمیکنه، چون gRPC از اول تا آخر مسیر به HTTP/2 احتیاج داره. بعدش سه چیز رو چک کن. یک، تو فایل nginx.conf هیچ خط http2 on نمونده باشه. دو، curl با گزینهی HTTP/2 روی HTTP/1.1 توافق کنه. سه، یه درخواست h2c بدون مذاکره تو لاگ دسترسی با کد ۴۰۰ رد شده باشه:
"PRI * HTTP/2.0" 400
برای کنترلر داخلی، این خیلی ساده تنظیم درست بود. TLS روی لودبالانسر و بدون ALPN تموم میشه، پس هیچ کلاینتی اونجا هیچوقت HTTP/2 نداشت؛ h2c روی پورت ۸۰ فقط سطح حمله بود. برای همیشه خاموش میمونه.
برای کنترلرهایی که از اینترنت در دسترسن، این بدهبستان بهصرفه نبود. خاموش کردن HTTP/2 اونجا رفتار سیستم رو برای کلاینتهای واقعی عوض میکنه. تازه همون نسخههای جدید NGINX یه باگ سوم رو هم بسته بودن، یعنی یه حلقهی بیپایان موقع خوندن بدنهی درخواست روی TLS 1.3 (CVE-2026-118899)، که هیچ ربطی به HTTP/2 نداره. این یکی رو هیچ تنظیمی نمیبنده. فقط یه باینری پچشده میبندتش.
NGINX دقیقاً کجای ایمیج کنترلر نشسته
اولین فکری که به ذهن میرسه اینه که «کنترلر رو روی NGINX 1.30.7 از نو بیلد کن». جواب نمیده، و دلیلش تو ساختار ریپوئه.
ایمیج کنترلر از دو تا بیلد تشکیل شده که روی هم سوارن. کنترلرِ نوشتهشده با Go روی یه ایمیج پایه نشسته که از پوشهی images/nginx ساخته میشه. توی این ایمیج پایه، NGINX 1.27.1 هست، بهعلاوهی ۳۴ تا پچ OpenResty و یه سری ماژول Lua. این پچها و ماژولها به نسخهی 1.27.1 قفل شدن. اگه نسخهی NGINX زیرشون رو بالا ببری، داری یه نسخهی پورتشده از OpenResty رو نگهداری میکنی، نه یه پچ امنیتی.
چیزی که جواب میده بکپورت کردنه. اسکریپت بیلدِ ایمیج پایه همهی فایلهای پوشهی patches رو به ترتیب اسم اعمال میکنه، پس هر پچ فقط یه فایل شمارهدار دیگهست. سایت nginx.org دیگه برای هشدارهای امنیتی فایل پچ جداگونه منتشر نمیکنه، ولی کامیتهای اصلاحی تو ریپوی رسمی NGINX عمومیان، و GitHub هر کامیتی رو به شکل پچ تحویل میده:
gh api repos/nginx/nginx/commits/<fix-sha> \
-H 'Accept: application/vnd.github.patch' \
> images/nginx/rootfs/patches/<NN>_nginx-1.27.1-CVE-2026-123007.patch
پچهای HTTP/2 هر کدوم حدود ده خط بودن و بدون دردسر روی 1.27.1 نشستن. قبل از هر بیلد، همهی پچها رو، چه مال پروژهی اصلی چه مال خودمون، روی یه نسخهی تمیز از 1.27.1 دوباره اعمال کردم و هر جابهجایی یا تطبیق تقریبی تو پچهای خودمون رو خطا حساب کردم. پچی که با تطبیق تقریبی روی خطهای اشتباه اعمال بشه، از پچی که با سروصدا شکست بخوره بدتره.
یه بررسی کل این روش رو قابل اعتماد کرد: تو تگ نسخهی 1.15.1، پوشهی images/nginx بایت به بایت همونیه که ایمیج پایهی منتشرشدهی پروژهی اصلی رو ساخته. پس بیلد ما دقیقاً همون نسخهی اصلی رو بازسازی میکنه، بهعلاوهی پچهایی که خودمون اضافه کردیم، و هیچ چیز دیگه.
کاری کن نگهداری فورک روتین و بیدردسر باشه
فورک فقط وقتی امنه که انتشار نسخهی جدیدش روتین و بیدردسر باشه. پایپلاینی که راه انداختم چهار تا کار میکنه، و هر کدوم یه راه خراب کردن کار رو میبنده.
بیلد بومی برای هر معماری. هر معماری روی رانر خودش بیلد میشه و ایمیج مخصوص اون معماری رو پوش میکنه، و یه مرحلهی آخر این دو تا رو تو یه مانیفست چندمعماری کنار هم میذاره. هیچ شبیهسازیای در کار نیست، پس از اون غافلگیریهای «روی amd64 کار میکنه، روی arm64 کرش میکنه» هم خبری نیست. یه نتیجهی جانبی هم داشت و هزینهها رو جلوی چشم آورد: بیلد ایمیج پایه ۳۶ دقیقه روی x86 طول کشید و ۱۳ دقیقه روی arm.
کنترلر روی ایمیج پایه با دایجست بیلد میشه، نه با تگ. تگ ممکنه جابهجا بشه، دایجست نه. مطمئنی کنترلری که تستش میکنی روی همون ایمیج پایهای نشسته که همین الان ساختی.
یه اسموکتست که مسیرهای پچشدهی کد رو اجرا میکنه. این تست به بالا اومدن کانتینر بسنده نمیکنه. HTTP/2 و HTTP/1.1 رو روی TLS 1.2 و TLS 1.3 امتحان میکنه، یه بدنهی درخواست ۲۰۰ کیلوبایتی میفرسته، چند استریم موازی روی یه اتصال باز میکنه، یه درخواست پراکسیشده میزنه و چک میکنه هیچ پروسهی ورکری کرش نکرده باشه. اگه یه بکپورت فریمینگ HTTP/2 رو خراب کنه، همینجا معلوم میشه، نه تو پروداکشن.
تگها هیچوقت بازنویسی نمیشن. انتشار نسخهی جدید یعنی بالا بردن شمارهی نسخه. اگه یه تگ از قبل تو رجیستری باشه، ازش رد میشیم، مگه اینکه کسی عمداً بیلد دوباره رو اجبار کنه. اسکریپتی که وجود تگ رو چک میکنه، موقع خطای رجیستری باید شکست بخوره. نباید اون خطا رو «وجود نداره» حساب کنه، وگرنه یه درخواست API خراب، بیسروصدا یه نسخهی منتشرشده رو بازنویسی میکنه.
حالا که دستم تو کار بود، کنترلرِ Go رو با تولچین بهروز و ماژولهای بهروز از نو بیلد کردم، و تعداد یافتههای ابزار govulncheck از ۱۹ تا رسید به صفر. این نیمهی دیگهی ماجرای یه پروژهی آرشیوشدهست: فقط NGINX نیست که دیگه آپدیت نمیگیره.
یه درس هم از اجرای تستهای واحد پروژهی اصلی بیرون از رپر Docker خودش گرفتم. جاب CI به شکل یه پاد داخل یه کلاستر Kubernetes اجرا میشه، پس خود Kubernetes آدرس API سرورش رو تو متغیرهای محیطی پاد میذاره. یه تست که کلاینت API سرور رو از روی متغیرهای محیطی میساخت، همین رو برداشت و سعی کرد با کلاستر واقعیای حرف بزنه که رانر توش بود. شکست خورد، و این تازه خوششانسی بود. راهحل اینه که قبل از تستها این دو تا متغیر رو پاک کنی:
unset KUBERNETES_SERVICE_HOST KUBERNETES_SERVICE_PORT
رولاوت بدون غافلگیری
دایجست رو هم تو values عوض کن، نه فقط تگ رو. ایمیج پایه فقط یه مرحلهی بیلده؛ چیزی که دیپلوی میکنی ایمیج کنترلره، با چارتِ نسخهی متناظرش (کنترلر 1.15.1 با چارت 4.15.1 جوره). چارت دایجستِ ایمیجِ پروژهی اصلی رو قفل کرده. اگه فقط رجیستری و تگ رو عوض کنی، ریپوی خودت رو با دایجست اونها میگیری و دانلود ایمیج شکست میخوره:
controller:
image:
registry: registry.example.com
image: ingress-nginx/controller
tag: v1.15.1-patched.2
digest: sha256:<your-digest>
قبل از هر کاری، ریلیز در حال اجرا رو با فایل values مقایسه کن. یکی از کنترلرها خیلی وقت پیش دستی نصب شده بود و بعداً Terraform مدیریتش رو به عهده گرفته بود. ریلیز در حال اجرا تنظیماتی داشت که تو فایل values نبود: مجاز بودن انوتیشنهای snippet، فلگی که این کنترلر رو IngressClass پیشفرض میکرد، و تعداد رپلیکایی که دستی بالا برده شده بود. پرووایدر Helm این دریفت رو نمیبینه، پس اولین اپلای از روی فایل هر سه رو بیسروصدا برمیگردوند. اول فایل values رو درست کردم، تا جایی که دیف Helm فقط تغییر ایمیج و لیبلها رو نشون بده.
رولبک یعنی دستور helm rollback، نه پایپلاین برگردوندن تغییر. برگردوندن تغییر از طریق CI ده دقیقه یا بیشتر طول میکشه. رولبک Helm به ریویژن قبلی یکی دو دقیقه. اول رولبک کن، بعد تغییر رو از طریق پایپلاین برگردون تا استیت دوباره جور بشه.
قبلش از همهی هاستها خط مبنا بگیر، بعدش مقایسه کن. قبل از هر جابهجایی، کد وضعیت HTTP هر هاست رو از داخل یه پاد کنترلر ثبت کردم، و بعدش دوباره. ۴۲ هاست روی یه کنترلر و ۱۲ هاست روی یکی دیگه دقیقاً همون جواب قبلی رو دادن، پس «هیچی عوض نشد» یه دیف بود، نه یه حس. یه تله: تست از یه پاد کنترلر به لودبالانسرِ خودش گاهبهگاه شکست میخوره، چون لودبالانسر اتصالهایی رو که از یه نود میان و دوباره به همون نود برمیگردن دراپ میکنه. قبل از اینکه بگی قطعی داریم، از بیرون نودهای مقصد تست کن.
رولاوت کنترلرِ شریک تجاری ۵۵ ثانیه طول کشید.
شونزده دقیقه سکوت
بعد شریک تجاری دیگه هیچی نفرستاد. نه خطا، هیچی. کلاینتشون با گواهی احراز هویت میکنه، و درست بعد از عوض کردن جایی که TLS روش تموم میشه، این سکوت دقیقاً شبیه یه هندشیک ناموفق بود.
ولی نبود. کلاینتشون بیکار روی اتصالهایی نشسته بود که پادهای قدیمی موقع رولاوت بسته بودن، و بعد از ۱۶ دقیقه دوباره وصل شد و با جوابهای ۲۰۰ ادامه داد. چیزی که باعث شد به جای رولبک صبر کنم، این تنظیم بود که برای یکی دو دقیقه روشنش کردم (ریلود، بدون ریاستارت):
controller:
config:
error-log-level: info
تو سطح info، هر هندشیک ناموفق یه خطا با دلیلش ثبت میکنه. حتی یکی هم نبود. تنها خطهای مربوط به هندشیک میگفتن کلاینت وسط هندشیک اتصال رو بسته، بدون SNI و از آیپی نودها. اینها هلثچکهایی بودن که لودبالانسر روی TCP میزنه، نه یه کلاینت واقعی. برای مقایسه، این دو تا خط تو لاگ این شکلیان:
SSL_do_handshake() failed (...) # a real handshake failure, with the reason
client closed connection while SSL handshaking # load balancer health check, no SNI
بدون این سطح لاگ، هر دو حالت یه شکل دیده میشن، یعنی اصلاً دیده نمیشن.
فورک باید تاریخ انقضا داشته باشه
تا آخر اون بعدازظهر، هر سه کنترلر روی بیلد پچشده بودن: HTTP/2 روی کنترلر داخلی برای همیشه خاموش، روی دو تای اینترنتی روشن، و هیچ قطعیای روی هیچکدوم.
این کار NGINX 1.27.1 رو بهروز نمیکنه. امسال تا الان پچهای دیگهای هم برای NGINX اومده که هیچوقت به این نسخه نرسیدن، و هر کدوم همون بررسی رو لازم داره: به کانفیگ ما مربوطه یا نه، و پچش تمیز بکپورت میشه یا نه. پچ کردن باگهایی که تیتر خبرها شدن وضعیت اضطراری رو تموم کرد، ولی شکاف رو پر نکرد.
برای همین کنار فورک یه برنامهی مکتوب برای بازنشستگیاش هست: ترافیک داخلی رو ببریم روی مسیریابی بومیِ یه لودبالانسر ابری، مسیر شریک تجاری رو ببریم روی لودبالانسری که خودش TLS دوطرفه رو انجام میده، و بعد فورک رو پاک کنیم. نگهداری یه فورک امنیتی از یه پروژهی آرشیوشده پل معقولیه. ولی مقصد بدیه، چون تا وقتی فورک زندهست، هر هشدار امنیتی آینده رو باید خودت بخونی، بکپورت کنی و تست کنی.