۱۶ آبان ۲۵۸۵ · 7 دقیقه مطالعه
چرا Hermes Agent رو کنار گذاشتم و هارنس خودم رو ساختم
ژوئیه نوشتم که Hermes Agent کارهای پشتصحنهی بلاگ، یوتیوب و مالیاتم رو انجام میده. ۱۸ اکتبر خاموشش کردم و جاش هارنسی گذاشتم که خودم نوشته بودم. حدود سه ماه کار کرده بود.
این یه نقد کوبنده نیست. Hermes کار میکرد، و اون پست دربارهی کارهایی که انجام میداد هنوز درسته. به دو دلیل دیگه به کارم نمیخورد، و دلیل دوم فقط وقتی خودش رو نشون داد که مدتی با اولی زندگی کرده بودم.
واقعاً چی اجرا میکردم
نگاه کنی این دستگاه هر هفته چیکار میکرد، میبینی لیست کوتاهیه: یه دایجست تحقیقاتی صبحگاهی، استخراج اطلاعات فاکتورها، چند تا پایپلاین یوتیوب، یه مربی تناسب اندام، یه صفحهی هزینهها. هر کدوم یه دنبالهی ثابت از مرحلههاست که بارها و بارها اجرا میشه و یه آدم خروجیش رو تأیید میکنه.
این مهمه، چون ایجنت همهمنظوره برای حالت برعکس ساخته شده: کاری که هیچکس از قبل مرحلههاش رو نمیدونه.
دلیل ۱: حصار یه پرامپت بود
Hermes رو مستقیم روی خود مینیپیسی اجرا میکردم، با یوزر خودم و sudo بدون پسورد. عمداً این کار رو کرده بودم تا terraform، kubectl و gh رو همونطور ببینه که من میبینم. هزینهش رو هم توی یادداشتهای خودم نوشته بودم: هر پیام تلگرام یعنی یه شل با دسترسی root.
حصار واقعی دو چیز بود: لیست مجاز تلگرام و پسورد داشبورد. گیتوی فقط با داشتن توکن بات تلگرام رو روشن میکنه، بدون هیچ فلگ فعالسازیای، پس اگه یه ورودی توی لیست مجاز جا بیفته، هر کسی که بات رو پیدا کنه یه شل گیرش میاد.
روی اینها، چند تا گاردریل هم به شکل اسکیل اضافه کردم: قبل از اپلای پلن بگیر، هیچوقت خودکار اپلای نکن، قبل از کامیت برنچ بساز، هیچ ردی از هوش مصنوعی بهعنوان نویسنده نذار. لازمشون داشتم چون ایجنت هیچوقت CLAUDE.md خودم رو نمیخوند. تستشون کردم و واقعاً درخواست «همین الان روی پروداکشن دیپلوی کن» رو رد کرد.
ولی اسکیل یه درخواسته از مدل. فقط توضیحش همیشه توی کانتکست هست؛ بقیهش وقتی لود میشه که مدل تصمیم بگیره به کار مربوطه. قانونی که مدل باید یادش بمونه اعمالش کنه یه امیده، نه یه کنترل. من قانونهایی میخواستم که حتی روزی که مدل اشتباه میکنه هم سر جاشون بمونن.
وضع قبلی: یه حلقهی همهمنظوره، دسترسی کامل به ابزارها، و دو تا حصار که جزو خود حلقه نبودن.
دلیل ۲: لایهی همهمنظوره جای خرابی رو پنهان میکنه
خرابیای که این موضوع رو ملموس کرد OCR بود. از طریق Hermes، تصویر هیچوقت به مدل نمیرسید. مدل از روی اسم فایل یه جواب از خودش درمیآورد: چهار بار تلاش، چهار جواب ساختگی، از جمله یه رقم اشتباه و یه کارت تستیِ مندرآوردی. همون مدل بینایی، وقتی مستقیم صداش زدم، تصویر رو بینقص رونویسی کرد.
این یه باگ لولهکشیه، و باگهای لولهکشی درست میشن. درسش دربارهی جاییه که باگ خودش رو نشون میده. توی یه ایجنت همهمنظوره، لایهی خرابی که بین تو و مدل نشسته دقیقاً شبیه اشتباه خود مدل به نظر میاد. توی یه پایپلاین، هر مرحله یه بار مدل رو صدا میزنه و یه خروجی قابل بررسی داره، و میتونی ببینی کدوم بخش دروغ گفته.
اصطکاکهای دیگهای هم از همین جنس بود: سکرتهای پرووایدر نمیتونستن از یه منبع پلاگینی بیان، چون لودر قبل از ثبت شدن پلاگینها اجرا میشه، و توکن نشست داشبورد با هر ریاستارت عوض میشد، پس هر دیپلوی اپ دسکتاپ رو از حساب بیرون میانداخت. هیچکدوم کشنده نبود. ولی همهشون تصمیمهای یکی دیگه بودن که بین من و کارهای خودم نشسته بودن.
بهجاش چی ساختم
هارنس عمداً بیهیجانه. جریان کار دست کده؛ مدل فقط مرحلهها رو پر میکنه.
- اسکیلها پایپلاینهای ثابتان. هر اسکیل یه کانفیگ کوچیک بهعلاوهی یه پرامپته که یه رانر واحد اجراش میکنه، و هر اسکیل لیست مجاز ابزارهای خودش رو داره. هیچ اسکیلی به مدل اجازه نمیده آزادانه بین ابزارها حلقه بزنه.
- یه در به سمت مدلها. همهچیز از یه ماژول واحد رد میشه. این ماژول قواعد نامهای مستعار رو اعمال میکنه، برای نامهای مستعارِ گرون یه گیت تأیید داره و برای قویترینشون یه سقف ماهانه. مدلها پشت LiteLLM نشستن و هر کلاینت کلید مجازی خودش رو داره، پس یه اپ تازه نمیتونه بیشتر از چیزی که بهش داده شده خرج کنه.
- اعتبارسنجها توی کد. برنامهی مناظره هر عدد رو با منبعش چک میکنه، حتی عددهایی که با حروف نوشته شدن. هر شورت حداکثر سه تا عدد میتونه داشته باشه. اگه من به زور ادعایی رو وارد کنم که منبعها پشتش نیستن، اسکریپت بهجای اینکه اون رو بهعنوان واقعیت بگه، میگه «به گزارش X».
- ذخیرهسازی ساده و بیهیجان. صفها چند تا جدول SQLite هستن که پشت چند تا تابع قرار گرفتن. هر دایجست اول توی یه اوتباکس آماده میشه، پس اگه پروسه وسط ارسال کشته بشه، حداکثر یه بخش دوباره فرستاده میشه. رفتن سراغ Postgres و یه صف واقعی فقط یه تعویض پشت همون یه فایله، و هر وقت حجم کار طلبش کرد انجامش میدم.
هارنس در یک نگاه. هر چیزی که ممکنه پول خرج کنه از گیت رد میشه، و تپ یه آدم روی گوشی بخشی از مسیره.
یه طرح سادهشده از گیت، چون این همون بخشیه که Hermes نمیتونست بهم بده:
def call(alias, messages, purpose):
if alias in GATED and not approved(purpose):
raise ApprovalRequired(alias, purpose) # waits for a Telegram tap
if alias == "strong" and month_spend("strong") >= STRONG_CAP:
raise BudgetExceeded(alias)
return gateway.complete(alias, messages, tags=[purpose])
قانون رو بهجای پرامپت توی کد گذاشتم، چون کد رو نمیشه با حرف از تصمیمش منصرف کرد. همین ایده بعداً به تنظیمات ایجنت کدنویسیم هم راه پیدا کرد، به شکل یه گارد دستور که توی یه فایل کانفیگ زندگی میکنه و یه هوک قبل از اجرای هر دستور چکش میکنه.
صفحهی هزینهها نشون میده این کار چی بهم میده. توی ۳۰ روز گذشته، کل هزینهی مدلها در همهی اپها ۳٫۶۶ دلار بود: نصفش مال AgenticTube، یه چهارمش رابط چت، یه پنجمش سرور حافظهم، خود هارنس ۳٪، و مربی تناسب اندام هیچی. پشت هر عدد یه تگ هدف هست، پس میدونم برای چی خرج شده.
چرا یه SDK آماده رو برنداشتم
یه نگاهی به Strands Agents انداختم، پروژهی متنباز AWS، که خوب ساخته شده و اجزای پایهی چندایجنتیای رو داره که در غیر این صورت باید خودم بنویسم. تصمیم گرفتم الگوهاش رو کپی کنم و خودش رو استفاده نکنم. اگه مستقیم به LiteLLM وصلش کنم، اون در واحد رو دور میزنه: نه گیت تأییدی در کاره، نه سقفی. اگه یه روز بخوام یه آزمایش سریع باهاش بکنم، کلید جداگونهی خودش رو میگیره که فقط به نامهای مستعار ارزون دسترسی داره، با یه بودجهی کم.
برای من کل بحث «خودت بساز یا آماده بردار» همینه. چیزی که بیشتر از همه برام مهمه دقیقاً همونجاییه که فریمورک میخواد حلقهی خودش رو بذاره.
صادقانه، چقدر برام تموم شد
- زمان. چیزهایی رو از نو ساختم که Hermes آماده داشت: در ورودی تلگرام، تأییدها، یه داشبورد، یه صف کار، بکاپهای شبانه. یعنی چند هفته کاری که قبلاً لازم نبود انجام بدم.
- درخواستهای بیچارچوب. «برو روی این دستگاه تهوتوی X رو دربیار» با Hermes یه درخواست عادی بود. هارنس از پس این کار برنمیاد. چت متنی آزاد که درخواست رو به اسکیلهای موجود بفرسته توی لیست کارهامه و هنوز ساخته نشده.
- نگهداری همهش با خودمه. وقتی چیزی خراب میشه، هیچ آپاستریمی در کار نیست، فقط خودمم.
- بعضی از چیزهایی که اذیتم میکرد قابل حل بود. باگ OCR و عوض شدن توکن، هر دو چیزهایی بودن که میتونستم یه لایه دورشون بکشم یا پچشون کنم. اگه مشکل فقط همینها بود، احتمالاً هنوز داشتم اجراش میکردم. دلیل واقعی ساختاریه: میخواستم قانونها توی کد اعمال بشن، و مجموعهی محدودی از کارها داشتم.
کِی هنوز سراغ ایجنت همهمنظوره میرم
وقتی هنوز نمیدونم کارهام چیه. Hermes راه خوبی بود برای فهمیدن اینکه چی رو میخوام خودکار کنم، چون بدون ساختن هیچ چیزی میتونستم چیزهای مختلف رو امتحان کنم. هارنس فقط به این خاطر وجود داره که سه ماه از اون تجربه بهم گفت لیست ثابت کارها چیه.
اگه کارت چند تا پایپلاین تکراریه و برات مهمه کی میتونه چی رو خرج کنه، بفرسته یا پاک کنه، نسخهی ساده و بیهیجان رو بساز. اگه هنوز داری کشف میکنی، با یه ایجنت همهمنظوره شروع کن، کارهایی رو که مدام تکرارشون میکنی یادداشت کن، و روزی رو که اون لیست دیگه عوض نمیشه نشونهی رفتن بدون.