۳۰ اردیبهشت ۲۵۸۵ · 11 دقیقه مطالعه
سه پیرینگ، ماهی ۱۰ دلار. کِی VPC Peering از Transit Gateway بهتره
ما یه AWS Organization کوچیک داریم. یه اکانت عملیاتی و داخلی چند تا سرویس داخلی مشترک رو نگه میداره. سه تا اکانت ورکلود (dev، staging و prod) هر کدوم VPC خودشون رو دارن و باید به اون سرویسها دسترسی داشته باشن. همهچی توی یه ریجنه، us-east-1، و هر کدوم سه تا AZ دارن. معماریهای مرجع AWS همهشون به Transit Gateway اشاره میکنن. من هزینهاش رو با ترافیک واقعی خودمون حساب کردم و بهجاش رفتم سراغ VPC Peering. اینجا استدلالم رو با عددهاش میگم.
مسئله
چهار تا اکانت AWS زیر یه Organization:
- ops-internal: VPC سرویسهای مشترک،
172.16.0.0/16. چند تا ابزار داخلی روش اجرا میشن: مشاهدهپذیری، مدیریت سکرتها و کنترلپلین اتصال داخلی. روی هم سه تا سرویس. - dev:
172.17.0.0/16 - staging:
172.18.0.0/16 - prod:
172.19.0.0/16
VPC ورکلودها باید به VPC اکانت ops برسن. ولی لازم نیست به همدیگه برسن: dev نباید prod رو ببینه و prod هم نباید dev رو ببینه. یعنی ساختار هاب و اسپوک، با VPC اکانت ops در مرکز.
محدودیتها:
- تیم کوچیکه. هر چی انتخاب کنم، نگهداریش با خودمه.
- یه ریجن، و دستکم تا یه سال برنامهای برای گسترش نداریم.
- به هزینه حساسیم. استارتاپیم و هر قلم تکراری توی صورتحساب AWS باید ثابت کنه که ارزشش رو داره.
- هر چهار اکانت از قبل زیر AWS Organizations هستن، برای همین IAM بین اکانتها سرراسته.
شرایط اینه. تصمیم جالب مربوط به لایهی اتصاله.
گزینههایی که بررسی کردم
| گزینه | چیه | بهترین کاربرد | مدل هزینه |
|---|---|---|---|
| VPC Peering | لینک مستقیم یکبهیک بین دو تا VPC | چند تا VPC، بدون مسیریابی ترانزیتی | ساعتی صفر دلار، فقط انتقال داده |
| Transit Gateway | روتر منطقهای، هاب و اسپوک | تعداد زیاد VPC، مسیریابی ترانزیتی، بازرسی مرکزی | ساعتی ۰٫۰۵ دلار برای هر اتچمنت + ۰٫۰۲ دلار برای هر گیگابایت |
| Site-to-Site VPN | تونلهای IPSec | هیبرید (زیرساخت محلی ↔ AWS) | ساعتی ۰٫۰۵ دلار برای هر اتصال + دادهی خروجی |
| PrivateLink | اندپوینتهای سرویس با یه NLB جلوشون | در دسترس گذاشتن سرویسهای مشخص بین اکانتها | ساعتی ۰٫۰۱ دلار برای هر اندپوینت در هر AZ + ۰٫۰۱ دلار برای هر گیگابایت |
| VPC Lattice | سرویسمش در لایهی اپلیکیشن | سرویسهای زیاد، احراز دسترسی بر اساس هویت | ساعتی ۰٫۰۲۵ دلار برای هر سرویس + ۰٫۰۲۵ دلار برای هر گیگابایت |
| اورلی در فضای کاربر (شبیه Tailscale) | مش WireGuard روی هر شبکهی زیرینی | اتصال لایهی اپلیکیشن برای هاستهایی که عضو مشان | رایگان / خودمیزبان |
گزینهی اورلی یه توضیح جدا لازم داره. مش WireGuard جای پیرینگ VPC رو نمیگیره؛ روی هر شبکهی زیرینی که داری سوار میشه و فقط هاستهایی که به مش وصل شدن میتونن ازش استفاده کنن. ترافیک ماشین به ماشین بین اینستنسهای EC2 که ایجنت مش روشون اجرا نمیشه، مثل اسکرپهای Prometheus یا فراخوانیهای API داخلی، باز هم به اتصال در سطح VPC نیاز داره. پس کنار گذاشتنش بهعنوان تنها لایهی اتصال راحت بود: چیزهای خیلی زیادی باید مش رو میشناختن.
سرویس Site-to-Site VPN برای حالت هیبریده (از دیتاسنتر خودت به AWS). استفادهاش داخل خود AWS هم گرونه هم به این مسئله نمیخوره: پول تونلها و نگهداری گیتوی سمت مشتری رو میدی تا مشکلی رو حل کنی که AWS با پیرینگ از قبل حلش کرده. فقط برای کامل شدن فهرست آوردمش.
پس چهار تا رقیب جدی میمونه: Peering، TGW، PrivateLink و Lattice.
چرا VPC Peering رو انتخاب کردم
چهار تا VPC در ساختار هاب و اسپوک یعنی سه تا اتصال پیرینگ. همین. هشدار رشد n*(n-1)/2 که همه تکرارش میکنن فقط وقتی دردسر میشه که هر VPC بخواد با همهی بقیه حرف بزنه. توی هاب و اسپوک با یه هاب، تعداد اتصالها میشه n-1.
بدهبستانهایی که آگاهانه قبول کردم:
- مسیریابی ترانزیتی در کار نیست. اگه یه روز dev لازم داشته باشه به staging برسه، باید یه پیرینگ چهارم اضافه کنم یا طرح رو از نو بچینم. امروز چنین نیازی نیست، و من فقط مسئلهی امروز رو حل میکنم.
- ورودیهای دستی جدول مسیریابی در هر دو سمت. هر دو VPC یه پیرینگ به مسیرهای صریحی نیاز دارن که به شناسهی
pcx-*اشاره کنن. یه سمت یادت بره، ترافیک بیصدا توی سیاهچاله گم میشه (پایینتر بیشتر میگم). - بازههای CIDR نباید همپوشانی داشته باشن. فضای آدرس رو از اول برنامهریزی کردم، چند تا /16 کنار هم زیر یه سوپرنت /14، پس این فقط یه هزینهی یکباره بود.
- نه خروجی مرکزی، نه بازرسی، نه عبور از فایروال. برای ما قابل قبوله؛ تیم SecOps نداریم که یه نقطهی بازرسی ترانزیتی رو اجباری کنه.
چیزی که کفهی ترازو رو سنگین کرد: با چهار تا VPC، فقط هزینهی اتچمنتهای TGW، قبل از هر هزینهی داده، حدود ۱۴۶ دلار در ماه میشه. پیرینگ وقتی ترافیکی ازش رد نمیشه ماهی صفر دلاره. این حرف که «TGW ارتقاپذیرتره» درسته، ولی مجانی نیست؛ و ما هنوز به مقیاسی نرسیدیم که سادگی عملیاتیش ماهی ۱۴۶ دلار بیرزه.
پیادهسازی، قدم به قدم
سه تا نکتهی اصلی از کد Terraform. همین الگو برای هر اسپوک تکرار میشه.
پرووایدرهای جدا با alias برای حالت بیناکانتی. خود اتصال پیرینگ سمت درخواستدهنده (ops) ساخته میشه و ریسورس پذیرنده سمت ورکلود. هر دو به پرووایدر صریح نیاز دارن. نسخهی اولم اشتباهی aws_vpc_peering_connection_accepter رو زیر پرووایدر درخواستدهنده اجرا میکرد. ابزار Terragrunt بیهیچ اعتراضی اپلای کرد، ولی ریسورس پذیرنده هیچوقت اجرا نشد:
provider "aws" {
alias = "ops"
region = "us-east-1"
assume_role { role_arn = "arn:aws:iam::${var.ops_account_id}:role/TerragruntExec" }
}
provider "aws" {
alias = "workload"
region = "us-east-1"
assume_role { role_arn = "arn:aws:iam::${var.workload_account_id}:role/TerragruntExec" }
}
سمت درخواستدهنده (اکانت ops). برای پیرینگ داخل یه ریجن peer_region رو ست نکن. این آرگومان فقط برای پیرینگ بین ریجنهاست، و اگه ستش کنی AWS میره توی حالت بینریجنی (قیمتگذاری متفاوت، قواعد متفاوت برای بلوکهای تنظیمات). فلگ auto_accept اینجا فقط وقتی اهمیت داره که هر دو VPC توی یه اکانت باشن؛ برای حالت بیناکانتی باید یه ریسورس aws_vpc_peering_connection_accepter جدا زیر پرووایدر سمت پذیرنده تعریف کنی:
resource "aws_vpc_peering_connection" "ops_to_workload" {
provider = aws.ops
vpc_id = aws_vpc.ops.id
peer_vpc_id = var.workload_vpc_id
peer_owner_id = var.workload_account_id
auto_accept = false
# no peer_region — same-region peering
tags = { Name = "ops-to-${var.workload_env}" }
}
سمت پذیرنده (اکانت ورکلود):
resource "aws_vpc_peering_connection_accepter" "workload_from_ops" {
provider = aws.workload
vpc_peering_connection_id = aws_vpc_peering_connection.ops_to_workload.id
auto_accept = true
tags = { Name = "from-ops" }
}
ورودیهای جدول مسیریابی، هر دو سمت:
resource "aws_route" "ops_to_workload" {
provider = aws.ops
route_table_id = aws_route_table.ops_private.id
destination_cidr_block = var.workload_vpc_cidr
vpc_peering_connection_id = aws_vpc_peering_connection.ops_to_workload.id
}
resource "aws_route" "workload_to_ops" {
provider = aws.workload
route_table_id = var.workload_private_rt_id
destination_cidr_block = aws_vpc.ops.cidr_block
vpc_peering_connection_id = aws_vpc_peering_connection.ops_to_workload.id
}
تلهای که ۳۰ دقیقه از عمرم رو گرفت. اولین پیرینگ رفت توی وضعیت ACTIVE. سکیوریتی گروپها تنظیم شده بودن. ولی ترافیک توی سیاهچاله گم میشد. نه خطایی، نه پیام ICMP unreachable؛ بستهها فقط بیصدا دور ریخته میشدن. ورودی جدول مسیریابی سمت پذیرنده رو یادم رفته بود. وضعیت پیرینگ و وضعیت مسیریابی از هم مستقلن؛ AWS با خیال راحت پیرینگ رو سالم نشون میده، در حالی که ترافیک واقعی هیچ راهی برای رفتن نداره.
تلهی دوم: DNS. تا وقتی گزینهی remote DNS resolution رو روشن نکرده بودم، اسمهای داخلی هاستها از اکانتهای ورکلود به آدرسهای IP عمومی ریزالو میشدن. توی پیرینگ بیناکانتی این گزینه باید از اکانتِ هر سمت جدا ست بشه: درخواستدهنده نمیتونه فلگ سمت پذیرنده رو ست کنه و برعکس. یعنی دو تا ریسورس جدا، هر کدوم زیر پرووایدر درست و هر کدوم با ارجاع به شناسهی پیرینگ درست (ریسورس پذیرنده به id سمت پذیرنده ارجاع میده، نه به id درخواستدهنده):
resource "aws_vpc_peering_connection_options" "requester" {
provider = aws.ops
vpc_peering_connection_id = aws_vpc_peering_connection.ops_to_workload.id
requester { allow_remote_vpc_dns_resolution = true }
}
resource "aws_vpc_peering_connection_options" "accepter" {
provider = aws.workload
vpc_peering_connection_id = aws_vpc_peering_connection_accepter.workload_from_ops.id
accepter { allow_remote_vpc_dns_resolution = true }
}
حالا که برمیگردم و نگاه میکنم، باید از روز اول یه ماژول peering-pair میساختم: درخواستدهنده، پذیرنده، هر دو ورودی مسیر و هر دو بلوک تنظیمات DNS، همه پشت یه مجموعه ورودی. اولی رو مستقیم توی کد نوشتم چون «فقط یه پیرینگه»، دومی و سومی رو کپیپیست کردم، و حالا سه تا پیرینگ دارم و تکرار کد هنوز همونجاست. ریفکتورش یعنی کلی جابهجایی توی استیت که هنوز در اولویتم نبوده. داستان همیشگی.
مقایسهی هزینه با عددهای واقعی
سناریو: ۳ تا VPC ورکلود ↔ ۱ VPC سرویسهای مشترک، us-east-1، حدود ۵۰۰ گیگابایت ترافیک ماهانه بین شبکههای VPC، ۳ تا AZ. همهی قیمتها به صفحههای قیمتگذاری AWS لینک شدن تا وقتی عوض شدن (که حتماً عوض میشن) بتونی دوباره حسابشون کنی.
VPC Peering. خود اتصال ساعتی صفر دلاره. تنها قلم هزینه انتقال دادهست. AWS انتقال داده بین زونهای دسترسی (AZ) رو دو بار حساب میکنه: ۰٫۰۱ دلار برای هر گیگابایت روی اکانت فرستنده (خروجی) و ۰٫۰۱ دلار برای هر گیگابایت روی اکانت گیرنده (ورودی)، یعنی روی هم ۰٫۰۲ دلار برای هر گیگابایتی که جابهجا میشه. با حدود ۵۰۰ گیگابایت در ماه روی هر سه پیرینگ: حدود ۱۰ دلار در ماه. اگه سرویسها رو به AZ مشخصی سنجاق کنی کمتر هم میشه، ولی من بدترین حالت رو نگه میدارم. (قیمتگذاری VPC)
Transit Gateway. ۴ اتچمنت × ساعتی ۰٫۰۵ دلار × ۷۳۰ ساعت = ۱۴۶ دلار در ماه، فقط برای اتچمنتها. بهعلاوهی ۰٫۰۲ دلار برای هر گیگابایت پردازششده × ۵۰۰ گیگابایت = ۱۰ دلار. حدود ۱۵۶ دلار در ماه، قبل از هر چیز دیگه. همون حدود ۱۰ دلار انتقال دادهی بینزونی برای TGW هم هست؛ تفاوت واقعی همون ۱۴۶ دلار ماهانهی اتچمنتهاست، نه لایهی داده. (قیمتگذاری TGW)
Site-to-Site VPN. ساعتی ۰٫۰۵ دلار برای هر اتصال × ۷۳۰ ساعت × ۳ اتصال = ۱۰۹٫۵۰ دلار در ماه، بهعلاوهی هزینهی دادهی خروجی و دردسر نگهداری گیتوی سمت مشتری. حدود ۱۱۰ دلار در ماه، و ابزار اشتباه برای ارتباط داخل خود AWS. (قیمتگذاری VPN)
PrivateLink. قیمت به ازای هر اندپوینت، وقتی چند تا سرویس داری، خیلی سریع بالا میره. سه سرویس × ۳ AZ × ساعتی ۰٫۰۱ دلار × ۷۳۰ = ۶۵٫۷۰ دلار در ماه برای هر VPC مصرفکننده. اگه هر سه VPC ورکلود مصرف کنن، میشه ۱۹۷ دلار در ماه فقط برای اندپوینتها، بهعلاوهی ۰٫۰۱ دلار برای هر گیگابایت × ۵۰۰ گیگابایت = ۵ دلار. حدود ۲۰۲ دلار در ماه. (قیمتگذاری PrivateLink)
VPC Lattice. ساعتی ۰٫۰۲۵ دلار برای هر سرویس × ۳ سرویس × ۷۳۰ = ۵۴٫۷۵ دلار در ماه، بهعلاوهی ۰٫۰۲۵ دلار برای هر گیگابایت × ۵۰۰ گیگابایت = ۱۲٫۵۰ دلار. حدود ۶۷ دلار در ماه. (قیمتگذاری Lattice)
| گزینه | هزینهی ماهانه (در این سناریو) |
|---|---|
| VPC Peering | حدود ۱۰ دلار |
| VPC Lattice | حدود ۶۷ دلار |
| Site-to-Site VPN | حدود ۱۱۰ دلار |
| Transit Gateway | حدود ۱۵۶ دلار |
| PrivateLink | حدود ۲۰۲ دلار |
نقطهی سربهسر با TGW. هزینهی انتقال هر گیگابایت داده در هر دو حالت تقریباً یکیه (حدود ۰٫۰۲ دلار برای هر گیگابایت). کل تصمیم به این برمیگرده که هزینهی اتچمنت رو کنار دردسر عملیاتی n-1 پیرینگ (هاب و اسپوک) یا n*(n-1)/2 پیرینگ (مش کامل) بذاری. قاعدهی سرانگشتی من: بیشتر از حدود ۵ تا VPC در هاب و اسپوک، یا هر جا که مش کامل لازم باشه، برو سراغ TGW. کمتر از اون، پیرینگ از نظر هزینه یه مرتبهی بزرگی ارزونتره و فرق عملیاتیش فقط اینه: «دو تا ورودی دیگه توی جدول مسیریابی».
کِی نباید سراغ پیرینگ بری
- بیشتر از حدود ۵ تا VPC. منحنی
n*(n-1)/2مدیریت رو عذابآور میکنه، حتی توی هاب و اسپوک، اگه یکی از اسپوکها لازم داشته باشه به یه اسپوک دیگه برسه. - مسیریابی ترانزیتی. پیرینگ ترافیک رو از خودش عبور نمیده. اگه A↔B و B↔C داشته باشی، A باز هم بدون A↔C به C نمیرسه. TGW این رو ذاتاً حل میکنه.
- تغییرات مکرر CIDR. هر تغییر یعنی یه دور هماهنگی بین اکانتها.
- خروجی یا بازرسی مرکزی. اگه الزامات انطباق یه VPC بازرسی یا NAT مرکزی بخواد، به TGW یا الگوی VPC ترانزیتی نیاز داری.
- چند ریجن در مقیاس بالا. پیرینگ بین ریجنها کار میکنه، ولی هزینهی داده و سربار عملیاتی سریع بالا میره. پیرینگ TGW بین ریجنها ساختار مناسبتریه.
- کنترل دسترسی در سطح سرویس بهجای سطح شبکه. برای این کار باید سراغ PrivateLink یا Lattice بری.
جمعبندی
- انتخاب پیشفرض TGW برای تیمهای کوچیک یه تقلید کورکورانهست. معماریهای مرجع AWS برای سازمانهای بزرگی نوشته شدن که دهها اکانت و تیم شبکهی اختصاصی دارن. تو (احتمالاً) جزو اونها نیستی.
- هشدار «پیرینگ ارتقاپذیر نیست» واقعیه، ولی بد بیان شده. پیرینگ توی مش کامل از حدود ۵ تا VPC به بعد دیگه جواب نمیده. با ۴ تا VPC در هاب و اسپوک، فقط سه تا اتصاله: کسلکننده، ارزون، تمام.
- هزینهی اتصال رو همیشه با الگوی ترافیک واقعی خودت حساب کن. نقطهی سربهسر رو بیشتر ساعتهای اتچمنت تعیین میکنن، نه داده؛ و پیشفرضهای ماشینحساب AWS تو رو به سمت TGW هل میدن، حتی وقتی با پیرینگ ماهی ۱۴۰ دلار صرفهجویی میکنی.
- جفت پیرینگ رو از روز اول یه ماژول Terraform قابل استفادهی مجدد بساز. اولی رو به این بهانه که «فقط یکیه» مستقیم توی کد ننویس. من نوشتم، و هنوز دارم تاوانش رو با کپیپیست میدم.
- هزینهی واقعی، خطاهای بیصداست. پیرینگ، بهاضافهی ورودیهای جاافتادهی جدول مسیریابی، بهاضافهی فلگهای جاافتادهی DNS، یه بعدازظهر رو میسوزونه. همه رو توی ماژول ثبت کن و دیگه هیچوقت بهشون فکر نکن.