استارت‌آپ می‌خواهد عوامل هوش مصنوعی را برای وظایف DevOps ایمن کند

Vera Platforms، استارت آپی که توسط محققان دانشگاه میشیگان تأسیس شده است، معتقد است راهی وجود دارد که می‌توان نمایندگان را به اندازه کافی قابل اعتماد کرد که بتوانند DevOps را مدیریت کنند.

DevOps، که بر نحوه استقرار و کارکرد نرم افزار تمرکز دارد، امری خاص نابخشودنی است. در حالی که عوامل هوش مصنوعی در هنگام تولید کد و کار از طریق یک اعلان، فرصتی برای اشتباه کردن و تصحیح خطاها دارند، زمانی که آنها تغییراتی در زیرساخت واقعی در حال اجرای بارهای کاری تولید ایجاد می کنند، موضوع کاملا متفاوت است.

آنگ چن، مدیر عامل Vera Platforms و دانشیار دانشگاه میشیگان، به The Register گفت: «زیرساخت زنده قابل بخشش نیست. "تغییر نادرست می تواند یک سرویس را از بین ببرد، یک حفره امنیتی را باز کند یا داده ها را پاک کند. اشتباهات اغلب غیرقابل برگشت هستند، و هیچ راه مطمئنی برای آزمایش وجود ندارد: اجرای کد در برابر زیر ساخت تولید، فقط برای دیدن آنچه اتفاق می افتد، یک گزینه نیست."

در چند سال گذشته، چن و همکارانش روی روشی کار می‌کردند تا DevOps و یک باشگاه ورزشی - یک محیط شبیه‌سازی - را به‌عنوان محک‌گذاری کنند تا به مدل‌های هوش مصنوعی کمک کنند تا در وظایف DevOps بهتر شوند.

چن گفت: «از تحقیقاتی که انجام دادیم، به نقاط ضعف مختلفی از مدل‌های پیشرو پی بردیم. به عنوان مثال، Claude [Anthropic]، اگرچه در نسل پایتون بسیار قوی است، اما فقط دارای برخی محدودیت‌های اساسی است که وقتی صحبت از DevOps به میان می‌آید، نمی‌تواند به درستی آن‌ها را برطرف کند.

به گفته چن، نمونه‌ای از آن این است که وقتی از Claude یا OpenAI's Codex خواستند منابع موجود در ابر AWS را از کار بیندازند، مدل‌ها فراتر از منطقه پیش‌فرض نگاه نمی‌کردند.

او توضیح داد: "منطقه پیش فرض us-east-1 است." "مناطق مختلفی در AWS وجود دارد، اما کلود این آگاهی را ندارد که منابع ابری ممکن است در چندین منطقه وجود داشته باشد، بنابراین فقط بخشی از منبع را از کار انداخت."

دلیل اساسی، او گفت، این است که این مدل‌ها کد عمومی زیادی دیده‌اند، اما ردیابی عملیاتی بسیار کمتری دارند.

پلتفرم‌های Vera قصد دارد وضعیت را با سه محصول اصلاح کند: ورزشگاه ورا، محیط زمین بازی که زیرساخت‌های تولید را تقلید می‌کند. vera-bench، آزمایشی برای اندازه‌گیری جایی که عوامل هوش مصنوعی وظایف DevOps را زیر پا می‌گذارند. و vera-agents، عوامل هوش مصنوعی که در vera-gym آموزش دیده اند و آماده استقرار برای وظایف DevOps هستند.

آزمایش CloudOpsBench در حال انتشار بر اساس کارهای انجام شده در سال 2024 است که در NeurIPS ارائه شده است. به گفته چن، کلود و کدکس تنها حدود 50 درصد امتیاز دریافت می کنند. او گفت: «این مجموعه وظایف بسیار بسیار سختی است.

این تست وظایفی مانند حذف سطل های S3 از کار افتاده، تعمیر خط لوله رویداد سازگاری، و بازگردانی مقیاس خودکار نوشتن DynamoDB را پوشش می دهد. چن گفت: «وظایف توسط اپراتورهای زیرساخت ارشد با سالها تجربه و با بررسی دقیق همتایان نوشته شده است.

این معیار دارای مزیت عدم نیاز به استقرار واقعی ابر است.

چن گفت: ما یک شبیه‌ساز با وفاداری بالا داریم که رفتار آمازون را تقلید می‌کند. "بنابراین عرضه، عملکرد عامل در ابر واقعی و عملکرد عامل در شبیه ساز ما دقیقا یکسان است. بنابراین برای هر API، ما این مقایسه را داریم و عامل همان چیزی را می بیند."

چن گفت، نمایندگان Vera باید در سه ماهه اول 2027 در دسترس باشند.

محققان در کار آکادمیک خود، زیرساخت ابری را به عنوان "کار حیاتی اما خسته کننده" توصیف می کنند. با کمی آموزش بیشتر، شاید عوامل هوش مصنوعی بتوانند همه چیز را خسته کنند. ®