محصول LakeBase دیتابیس Postgres رو از نو اختراع نکرد. کاری که کرد جابه‌جا کردن fsync بود.

databases postgres architecture mechanism cloud

شرکت Databricks محصول LakeBase Postgres رو عرضه کرده: یه Postgres واقعی که در سطح پروتکل سازگاره، با درایورهای استاندارد، ابزارهای ORM و psql، و pgvector و PostGIS هم داخلشه. از ۲۲ ژانویه‌ی ۲۰۲۶ روی AWS به‌صورت عمومی در دسترسه، نسخه‌ی عمومی Azure از مارس اومده، و طبق گزارش‌ها استفاده ازش با دو برابر سرعتِ محصول انبار داده‌ی خودشون رشد می‌کنه. پیاده‌سازی دوباره نیست؛ موتور کوئری همون Postgres دست‌نخورده‌ست. چیزی که عوض شده، چیزیه که زیر کامیت قرار داره. دیگه تراکنش وقتی ماندگار نمی‌شه که یه SSD محلی داده رو روی دیسک بنویسه. وقتی ماندگار می‌شه که یه کوئوروم از نودهای ذخیره‌سازی توافق کنن که تراکنش انجام شده. تیتر بازاریابی، برنچ‌سازی دیتابیسه، «Git برای دیتابیست». اون تیتر اثر جانبیه.

سرویس LakeBase چیه

اول مشخصات محصول، خلاصه. شرکت Databricks در مه ۲۰۲۵ شرکت Neon رو خرید و این سرویس محصولیه که از دل همین خرید بیرون اومده. یه دیتابیس سرورلس با قابلیت اسکیل‌به‌صفر، که امروز Postgres 18 رو همراه با pgvector اجرا می‌کنه. از ژوئیه ۲۰۲۶ تعهد رسمی سطح سرویس داره، و گواهی‌های SOC 2 Type 2، PCI-DSS و HITRUST همین ماه بهش اضافه شدن. سهمیه‌ی پیش‌فرض ذخیره‌سازیش ۳۲ ترابایته، و قابلیت Lakehouse Sync داده‌های عملیاتی رو بدون هیچ پایپ‌لاینی به جدول‌های Delta می‌فرسته. PostGIS، اکستنشن‌ها و همون ابزارهایی که الان استفاده می‌کنی هم سر جاشونن. هیچ‌کدوم از این‌ها بخش جالب ماجرا نیست.

سازوکار

معماری این سرویس دیتابیس Postgres رو به دو لایه تقسیم می‌کنه که با یه جریان WAL به هم وصلن.

لایه‌ی محاسبات یه Postgres بدون حالته. کوئری رو پارس می‌کنه، پلن اجرا رو می‌چینه، اجراش می‌کنه، و فقط حالت گذرا نگه می‌داره: بافرهای اشتراکی توی RAM به‌علاوه‌ی یه کش محلی روی NVMe. هیچ داده‌ی ماندگاری مال این لایه نیست. برای همینه که می‌تونه بدون هیچ ماجرای بازیابی‌ای ری‌استارت بشه، اتواسکیل بشه یا تا صفر کوچیک بشه؛ چیزی روش نیست که بخواد بازیابی بشه.

خود WAL از ماشین بیرون کشیده شده و به یه گروه از سیف‌کیپرها سپرده شده. تراکنش وقتی کامیت می‌شه که یه کوئوروم از اون‌ها رکورد لاگ رو از طریق اجماع Paxos تأیید کنه، نه وقتی که یه fsync محلی برمی‌گرده. همه‌چیزِ دیگه از همین جمله نتیجه می‌شه: کامیت یه رویداد سیستم‌های توزیع‌شده‌ست.

پیج‌سرورها فایل‌های داده رو نگه می‌دارن، که از روی WAL بازسازی می‌شن. هر وقت لازم باشه، نسخه‌ی صفحه‌ها رو در هر LSN درخواستی می‌سازن و مثل یه کش از نوع write-through بالای آبجکت استوریج کار می‌کنن. آبجکت استوریج (روی AWS همون S3) تاریخچه‌ی تغییرناپذیر صفحه‌ها رو نگه می‌داره و بیرون از مسیر داغ خوندن قرار داره؛ فقط پیج‌سرورها ازش می‌خونن. مسیر خوندن به این ترتیبه: بافر پول، NVMe محلی، پیج‌سرور، آبجکت استوریج. هر جا داده توی کش پیدا بشه، همون‌جا متوقف می‌شه.

تأخیر fsync یه SSD محلی رو با تأخیر اجماع یه لاگ رپلیکیت‌شده عوض کردی. استدلال Databricks اینه که برای هر کسی که از قبل رپلیکیشن همزمان داره، این معامله سر به سره: یه رفت‌وبرگشت شبکه جای یه رفت‌وبرگشت دیگه رو می‌گیره، نه این‌که یکی اضافه بشه. منصفانه‌ست، ولی ببین چی عوض شده. ماندگاری کامیتت حالا به سلامت یه کوئوروم توزیع‌شده بستگی داره، و موقع پارتیشن شبکه، سیستم باید بین مسدود کردن نوشتن‌ها و پذیرفتن خطر یه شکاف در ماندگاری یکی رو انتخاب کنه. یه دیتابیس مونولیت هیچ‌وقت مجبور نبود این انتخاب رو بکنه.

چرا برنچ‌سازی و اسکیل‌به‌صفر پیامدن، نه قابلیت

این بخشیه که ارزش داره ملکه‌ی ذهنت بشه. چهار تا بولت‌پوینت توی صفحه‌ی معرفی LakeBase در واقع یه تصمیم معماری‌ان که چهار تا لباس مختلف پوشیده.

یه برنچ یه عملیات متادیتاییه که به یه LSN اشاره می‌کنه. هیچ داده‌ای کپی نمی‌شه. یه دیتابیس ۱۰ گیگابایتی و یه دیتابیس ۲ ترابایتی توی تعداد ثانیه‌ی یکسانی برنچ می‌شن، و فقط پول صفحه‌هایی رو می‌دی که برنچ تغییرشون می‌ده؛ اگه توی یه دیتابیس ۱۰۰ گیگابایتی به ۱ گیگابایت دست بزنی، برنچ حدود ۱ گیگابایت هزینه‌ی اضافه داره.

اسکیل‌به‌صفر همون جمله‌ست، وقتی از اون طرف خونده بشه. لایه‌ی محاسبات هیچ چیز ماندگاری نداره، پس می‌تونه دود بشه بره هوا. بازیابی به یه لحظه‌ی مشخص یعنی وصل شدن لایه‌ی محاسبات به یه LSN قدیمی، نه برگردوندن داده. یه رپلیکای خواندنی یعنی یه لایه‌ی محاسبات دوم که به همون ذخیره‌سازی موجود وصل می‌شه، بدون جابه‌جایی داده. چهار قابلیت، یه علت.

دفتر حساب بده‌بستان

بیرون بردن ماندگاری یه معامله‌ست، و دفتر حسابش دو تا ستون داره.

ویژگیPostgres مونولیتیLakeBase
تأیید کامیتfsync محلیاجماع کوئوروم روی شبکه
خوندن صفحه‌ی سردایمیج پایه روی دیسکاجرای دوباره‌ی دلتاهای WAL تا رسیدن به LSN
برنچ دیتابیسpg_dump، چند دقیقه تا چند ساعتعملیات متادیتایی، چند ثانیه
لایه‌ی محاسبات بیکارشبانه‌روزی هزینه دارهصفر دلار
سوپریوزر، تیبل‌اسپیس‌ها، رپلیکیشن منطقیدر دسترسهدر دسترس نیست

ردیف صفحه‌ی سرد رو باید جدی گرفت. پیدا کردن نسخه‌ی فعلی یه صفحه ممکنه یعنی اجرای دوباره‌ی یه زنجیره‌ی بلند از دلتاهای WAL روی یه ایمیج پایه. اگه کامپکشن و تولید ایمیج درست تنظیم نشده باشن، به تأخیرهایی توی دُم توزیع می‌رسی که توی دمو خودشون رو نشون نمی‌دن و ساعت ۲ بامداد نشون می‌دن. خود مهندس‌های Databricks تأیید کردن که این مشکل واقعی بوده: اون‌ها قابلیت Full Page Writes رو غیرفعال کردن و تولید ایمیج رو به پیج‌سرور سپردن، و گزارش دادن که ترافیک WAL ۹۴٪ کم شده و توان نوشتن تا ۵ برابر بالا رفته. کسی این‌همه وقت مهندسی رو صرف مشکلی که وجود نداره نمی‌کنه.

بقیه‌ی دفتر از تحلیل‌های مستقل میاد. برنچ‌سازی هیچ مفهومی از مرج نداره: برنچ یه اسنپ‌شات در یه LSN هست و هیچ‌وقت دوباره با والدش همگام نمی‌شه، پس مدل ذهنی Git دقیقاً همون‌جایی می‌شکنه که Git بیشترین فایده رو داره، یعنی موقع مرج. برنچ‌های عمرطولانی تاریخچه‌ی صفحه‌ها رو نگه می‌دارن و بی‌سروصدا حجم ذخیره‌سازی رو باد می‌کنن؛ نوشتن روی ذخیره‌سازی تغییرناپذیر ارزونه و فراموش کردنش گرون. اتصال‌ها جوری زودگذرن که وضعیت نشست رو غافلگیر می‌کنه: تایم‌اوت بیکاری ۲۴ ساعته، حداکثر عمر ۳ روزه، حدود ۵۰۰ میلی‌ثانیه طول کشیدن برگشت از حالت سرد، و قفل‌های مشورتی، جدول‌های موقت و دستورهای prepared که همراه اتصال از بین می‌رن. پیکربندی‌های با دسترس‌پذیری بالا نمی‌تونن تا صفر کوچیک بشن، پس لایه‌ی محاسبات پروداکشن شبانه‌روزی هزینه داره. و حاکمیت داده فقط هم‌راستا شده، نه یکپارچه: Unity Catalog سطح‌های کوئری لیک‌هاوس رو کنترل می‌کنه و نقش‌های Postgres اتصال‌های مستقیم رو، یعنی دو مسیر مجوزدهی که باید با هم سازگار نگهشون داری.

هیچ‌کدوم از این‌ها کشنده نیست. همه‌شون قیمتِ این معامله‌ان.

کجا این درس عمومیت پیدا می‌کنه

آزمونی که به جاهای دیگه هم منتقل می‌شه: وقتی یه فروشنده‌ی دیتابیس قابلیت‌هاش رو لیست می‌کنه، اون‌ها رو بر اساس تصمیم معماری‌ای که ازش نتیجه می‌شن دسته‌بندی کن، بعد برای خود اون تصمیم قیمت بذار، نه برای لیست.

لیست LakeBase، یعنی برنچ‌سازی، اسکیل‌به‌صفر، PITR، رپلیکاهای آنی، همگام‌سازی جدول‌ها با Delta و یه پایه‌ی ذخیره‌سازی واحد برای OLTP و تحلیل، همه‌ش از این جمله نتیجه می‌شه: «ماندگاری توی یه لاگ توزیع‌شده روی آبجکت استوریج زندگی می‌کنه.» هزینه‌ها هم، یعنی اجماع توی مسیر کامیت، مدیریت تأخیرهای دُم توزیع برای صفحه‌های سرد، انضباط GC و زودگذر بودن نشست‌ها، از همین جمله نتیجه می‌شن. نمی‌تونی قابلیت‌ها رو برداری و هزینه‌ها رو رد کنی؛ هر دو یه تصمیم‌ان.

این درباره‌ی هر سیستمی با ماندگاری بیرونی که از این به بعد ارزیابی می‌کنی صدق می‌کنه: لایه‌ی ذخیره‌سازی جداشده‌ی Aurora، خود Neon، و هر موتور OLTP با معماری تفکیک‌شده که توی نقشه‌ی راهه. هر کدوم همین معامله رو توی یه بسته‌بندی متفاوت جلوت می‌ذارن، و ارزیابی همیشه همون دو تا سؤاله. کدوم قابلیت‌ها پیامد تصمیم ذخیره‌سازی‌ان؟ این تصمیم ذخیره‌سازی ساعت ۲ بامداد چقدر برات تموم می‌شه، نه توی دمو؟

تله

تله اینه که لیست قابلیت‌ها رو خود محصول بدونی. برنچ‌سازی محصول نیست. محصول یه WAL توی آبجکت استوریجه که با کوئوروم کامیت می‌شه، و برنچ‌سازی یکی از کارهاییه که این معماری می‌تونه انجام بده و یه مونولیت نمی‌تونه.

تله‌ی دوم فاصله‌ی بین دمو و پروداکشنه. عددهای pgbench که خود فروشنده گزارش داده، یعنی حدود ۱٬۷۳۱ TPS برای LakeBase در برابر تقریباً ۱٬۵۰۸ برای Aurora PostgreSQL روی همون بار کاری ۴ میلیون ردیفی، عددهای حالت پایدارن. حالت پایدار جاییه که معماری‌های تفکیک‌شده بهترین ظاهر رو دارن؛ دفتر حساب توی دُم توزیع زندگی می‌کنه. تأخیر بازپخش صفحه‌های سرد، رفتار کوئوروم موقع پارتیشن، فشار GC از یه برنچ فراموش‌شده: هیچ‌کدوم توی یه دموی ۹۰ ثانیه‌ای دیده نمی‌شه، و همه‌شون یه روز به شکل یه پیج آنکال سر می‌رسن.

قانون آخر. وقتی ماندگاری به یه رویداد سیستم‌های توزیع‌شده تبدیل می‌شه، هر پیامد این تصمیم، از هر دو ستون دفتر، شبیه یه قابلیت به نظر می‌رسه تا وقتی که بفهمی از کدوم جمله نتیجه شده. جمله‌ی LakeBase اینه: «کامیت توی یه کوئوروم روی آبجکت استوریج زندگی می‌کنه.» جمله رو بخون، اون‌وقت بولت‌پوینت‌ها دیگه بازاریابی نیستن و تبدیل می‌شن به حساب و کتاب.

$ cat AGENTS .md
· 7 دقیقه مطالعه

چرا Hermes Agent رو کنار گذاشتم و هارنس خودم رو ساختم

ژوئیه نوشته بودم که Hermes Agent کارهای پشت‌صحنه‌ی زندگی دیجیتالم رو می‌گردونه. ۱۸ اکتبر خاموشش کردم و جاش یه هارنس کوچیک گذاشتم: چند تا پایپ‌لاین ثابت، یه درِ کنترل‌شده به سمت مدل‌ها، و یه لیست مجاز برای هر کار. این‌جا می‌گم چرا، این بازنویسی چقدر برام تموم شد، و کِی هنوز هم یه ایجنت همه‌منظوره رو انتخاب می‌کنم.

agents ai self-hosting architecture harness
$ cat KUBERNETES .md
· 7 دقیقه مطالعه

کلاستر ۱۶۰ میلی‌کور مصرف می‌کرد. ریکوئست‌هاش شش تا نود لازم داشتن.

قبل از اولین مشتری‌مون پرسیدم آیا سه تا نود متوسط می‌تونن پروداکشن رو نگه دارن. کلاستر حدود ۱۶۰ میلی‌کور CPU مصرف می‌کرد، ولی ریکوئست‌های منابعش شش تا نود رو مشغول نگه داشته بودن. این‌جا می‌گم چرا ریکوئست‌ها، نه مصرف، تعداد نودها رو تعیین می‌کنن، چرا اتواسکیلرها هم ریکوئست‌ها رو می‌خونن، و چرا وقتی کار گرون پیش یه ارائه‌دهنده‌ی بیرونی اجرا می‌شه، ظرفیت کلاستر ظرفیت محصول نیست.

kubernetes eks finops devops mechanism
$ cat OBSERVABILITY .md
· 9 دقیقه مطالعه

۵۰ میلیون اسپن از دست دادیم و هیچی لاگش نکرد.

یه دیپلوی تریس‌های همه‌ی سرویس‌ها رو فرستاد سمت یه کالکتور جدید که برای یه جریان باریک سایز شده بود. کالکتور بلاک شد، SDK سرویس‌ها سرریز رو دور ریخت، و حدود ۵۰ میلیون اسپن توی دو ساعت غیب شدن، بی‌هیچ شمارنده و بی‌هیچ خط لاگی در هیچ جا. تنها هشداری که اومد، درباره‌ی یه چیز دیگه بود. این‌جا می‌گم این از دست رفتن چطور نامرئی موند، چطور چیزی رو اندازه گرفتم که هیچ‌چیز نشمرده بودش، و چرا گلوگاه واقعی اونی نبود که اول سراغش رفتم.

observability opentelemetry kubernetes devops mechanism