AWS برای جلوگیری از بلایای حالت YOLO، سندباکس عامل هوش مصنوعی منبع باز را راه اندازی می کند

AWS چندین استراتژی منبع باز برای پاسخگو نگه داشتن عوامل هوش مصنوعی ارائه کرده است، و اکنون در حال اضافه کردن یک سندباکس کامل به این پشته است. این راه حل جدید که Strands Box نام دارد، از جداسازی در سطح سیستم عامل و برخی از دیگر ابزارهای کنترلی AI منبع باز اخیر AWS استفاده می کند تا ظاهرا کنترل بیشتری بر رفتار عوامل هوش مصنوعی خودگردان داشته باشد. تیم AWS در اعلامیه خود توضیح داد: «نمایندگان به طور فزاینده‌ای در «حالت YOLO» اجرا می‌شوند و هر اقدامی را بدون بررسی انسانی تأیید می‌کنند.

"راه حل معمول برای این مشکل یک جعبه شنی است ... اما دسترسی تنها بخشی از چیزی است که ما می خواهیم کنترل کنیم." همانطور که AWS توضیح می‌دهد، مشکل کانتینرها و microVM‌هایی که معمولا برای جداسازی عوامل هوش مصنوعی استفاده می‌شوند، این است که انزوا قوی آنها با اجرای قوانین متنی همراه نیست. به عبارت دیگر، هنگامی که یک عامل کانتینری یا مجازی‌سازی شده ابزاری را در دست می‌گیرد، ممکن است هیچ مانعی برای انجام هر کاری که می‌خواهد وجود نداشته باشد - مانند حذف پایگاه داده تولید، یا دسترسی به اینترنت و انجام سگ می‌داند.

اینجاست که دیگر ابزارهای منبع باز داخل Strands Box وارد می‌شوند: از موتور محلی Dogwood استفاده می‌کند تا به موتور سیاست در Box آگاهی زمانی بدهد، بنابراین تماس‌های ابزار را می‌توان نه تنها با آنچه که عامل می‌خواهد انجام دهد، بلکه با آنچه قبلا انجام داده است بررسی کرد. به عنوان یک مثال، AWS اشاره کرد که یک عامل می‌تواند اجازه داشته باشد به‌روزرسانی‌های وضعیت را در Slack ارسال کند، اما نه بیش از سه بار در هر ده دقیقه تا از ارسال هرزنامه به اپراتورهای انسانی خود جلوگیری کند.

یکی از سخنگویان AWS توضیح داد که Box می‌تواند برای کنترل زمانی که یک عامل می‌تواند فشار Git را انجام دهد یا می‌تواند برای قرار دادن سقفی بر روی تماس‌های API استفاده شود که می‌تواند هزینه کمی داشته باشد. علاوه بر این، Strands Box شامل Strands Shell و Monty for Python است که عملیات پوسته و پایتون را در معرض موتور خط‌مشی Dogwood و تاریخچه رویداد قرار می‌دهد، اقدامات عامل را برای توسعه‌دهندگان واضح‌تر می‌کند و به سیاست‌ها اجازه می‌دهد تا آنچه را که یک عامل در تلاش است انجام دهد، توضیح دهد.

معاون AWS و مهندس برجسته مارک بروکر، یکی از افرادی که در پشت Dogwood و Strands Box هستند، به The Register توضیح داد که مفسرها بخش مهمی از درک بیشتر رفتار عامل هستند، که به توسعه دهندگان اجازه می دهد تا سیاست های دقیق تری بنویسند تا از انجام اقدامات بد عوامل جلوگیری کنند. بروکر در ایمیلی به ما گفت: «مفسرهای Box’s Shell و Python عملیات‌هایی مانند حذف فایل‌ها را افشا می‌کنند، در حالی که دروازه‌های آن درخواست‌های API و تماس‌های ابزار را نشان می‌دهند.

«سیاست‌ها سپس می‌توانند اقدامات انجام شده و فعالیت‌های قبلی را توضیح دهند.» بروکر اضافه کرد که باکس این قوانین را بدون اعتماد یا تکیه بر عوامل برای پیروی از دستورالعمل‌ها اجرا می‌کند، که در حالت ایده‌آل باید مانع از اجرای نادرست خواسته‌های اپراتورها شود. بروکر در مورد دلیل فشار AWS برای توسعه ابزارهای منبع باز مانند Dogwood، موتور محلی Dogwood و Strands Box گفت که AWS می‌خواهد تعادل مناسبی بین مرزها و سیاست‌هایی پیدا کند که از بلایای AI عاملی مانند آنچه ما مرتبا گزارش می‌کنیم، جلوگیری کند.

بروکر توضیح داد: «Box سیاست‌هایی را که توسعه‌دهندگان پیکربندی می‌کنند، به‌طور قطعی اجرا می‌کند، و عامل نمی‌تواند راه خود را در اطراف این قوانین صحبت کند،» اگرچه او اضافه کرد که، حتی با تنظیمات مناسب مجوزها، یک اقدام عاملی همچنان می‌تواند نتایج ناخواسته‌ای ایجاد کند. بروکر اضافه کرد: «توسعه‌دهندگان مسئول تصمیم‌گیری در مورد دسترسی به اعطا و مکان مورد نیاز برای بازبینی انسانی باقی می‌مانند» - به عبارت دیگر، اجازه ندهید حالت YOLO شما بیش از حد YOLO برود. کمی نظارت انسانی هنوز ضروری است.

بروکر گفت: "ایمنی عامل حوزه ای است که صنعت هنوز کار قابل توجهی برای انجام دارد و ما متعهد هستیم که به سرمایه گذاری در آن، هم در داخل ابر AWS و هم در منبع باز ادامه دهیم." Strands Box از هر عامل یا مهاری که می‌خواهید در دیواره‌های آن محصور شود، پشتیبانی می‌کند و اکنون در GitHub در دسترس است، البته فعلا فقط برای macOS. پشتیبانی لینوکس در حال توسعه است، و AWS به ما گفت که یک کلاینت ویندوز "در رادار ما" است، اما هیچکدام تاریخ انتشار برنامه ریزی شده ای ندارند. استقرار در پلتفرم هایی مانند AgentCore، ECS و Kubernetes نیز برنامه ریزی شده است. ®