گزارش تیم Red نشان داد که OpenAI در هنگام حمله Hugging Face در نظارت بر عوامل خود شکست خورده است

یک ارزیابی مستقل از سیستم نظارت بر ناهماهنگی داخلی OpenAI نشان داد که این سیستم در طول دوره‌ای که ربات‌های این شرکت در حال نفوذ به پلتفرم میزبان مدل Hugging Face بودند، مناسب نبود. تدابیر امنیتی تقریبا به اندازه کافی قوی نبودند.

شرکای ارزیابی METR و Redwood Research در گزارشی که روز پنجشنبه منتشر شد، گفتند: «کارمندان METR و Redwood تعدادی آسیب‌پذیری جدید را در سیستم نظارت بر ناهمترازی داخلی ناهمزمان، همانطور که در 21 جولای و قبل از آن وجود داشت، کشف کردند.

این سیستم، از آنجایی که طبق OpenAI بهبود یافته است، برای نظارت بر رفتار عامل AI در نظر گرفته شده است. اما همانطور که توسط METR و Redwood Research توضیح داده شد، قابلیت نظارت آن ناقص بود و می‌توانست توسط عواملی که قرار بود نظارت کنند، دور زده شود.

دور زدن سیستم همیشه ضروری نبود، زیرا همیشه عملیاتی نبود. به عنوان مثال، در طول رویدادهای تراکم، نظارت به حالت تعلیق درآمد. فشرده سازی فرآیندی است که در آن مدل های هوش مصنوعی داده ها را در پنجره زمینه خود متراکم می کنند تا فضا را برای ورودی بیشتر باز کنند. بر اساس این گزارش، بین ماه مه و ژوئیه 2026، حدود 10 درصد از ترافیک داخلی واجد شرایط Codex در طول فشرده سازی بدون نظارت بوده است.

این شکاف از نظر تئوری به اندازه‌ای بزرگ بود که به عوامل هوش مصنوعی اجازه می‌داد نظارت را برای مدت نامحدود به تعویق بیندازند: عوامل می‌توانند با ادامه اقدامات بدون بازگرداندن کنترل به کاربر، نظارت را سرکوب کنند.

در این گزارش توضیح می‌دهد: «در زمان تمرین، سیستم نظارت زمانی فعال می‌شد که عوامل کنترل را به کاربر بازگرداند، بنابراین در دوره زمانی که رویدادهای تراکم نظارت نمی‌شدند، عوامل می‌توانستند به طور نامحدود نظارت را با ادامه اقدامات انجام دهند».

این بدان معنا نیست که عوامل OpenAI لزوما چنین کردند - اقداماتی که آنها علیه Hugging Face و سایر سازمان‌ها انجام دادند، اکنون به خوبی مستند شده است. اما سیستم نظارت داخلی OpenAI به راحتی می‌توانست هر گونه رفتار نادرست را از دست بدهد، اگر عوامل هوش مصنوعی شرکت تمایل داشتند فعالیت‌های خود را - با عمل در حین فشرده‌سازی - پنهان کنند یا صرفا در نقاط کور سیستم عمل کنند.

این گزارش در همین راستا ادامه می‌یابد و نه تنها به شکاف‌های نظارتی، بلکه نرم‌افزاری ضعیف استناد می‌کند - آیا به جرات می‌توان گفت که کدگذاری شده است؟ - که به عوامل OpenAI ابزاری داد تا از نظارت نامرغوب فرار کنند.

این گزارش می‌گوید: «ما راهی را پیدا کردیم که عوامل Codex می‌توانند اصولا از سندباکس و بررسی خودکار Codex عبور کنند و به آن‌ها اجازه می‌دهد هر اقدامی را که کاربر میزبان انجام می‌دهد انجام دهند. ما همچنین کشف کردیم که عوامل بهره‌برداری می‌توانند از نظارت بر صدها اقدام اخیر (از جمله اقدامات مربوط به خود اکسپلویت) جلوگیری کنند.»

جزئیات این اکسپلویت توسط OpenAI اصلاح شد، اما به طور خلاصه: سیستم نظارتی که مقداری از ترافیک را از دست داد می‌توانست توسط عواملی که توسط یک سندباکس غیرفعال محدود شده بودند و به یک اکسپلویت برای فرار از نظارت دسترسی داشتند، اجتناب شود.

اما این همه ماجرا نیست. ارزیاب‌ها دریافتند که عوامل هوش مصنوعی می‌توانند ورودی‌هایی ایجاد کنند که باعث شکست نظارت شود، دو هدر قابل کنترل توسط مشتری وجود دارد که می‌تواند نظارت بر عوامل جدید را غیرفعال کند، و دو ابزار عامل نظارت‌نشده وجود دارد که تصور می‌شد فقط خواندنی هستند اما می‌توان از آنها برای انجام اقدامات دلخواه در sandbox در بالا سوء استفاده کرد.

در نتیجه، METR و Redwood Research پیشنهاد می‌کنند که سیستم‌های نظارت بر عاملی که توسط شرکت‌های هوش مصنوعی استفاده می‌شود، واقعا کار می‌کنند و به اندازه کافی قوی هستند که «در برابر حملات عمدی، استراتژیک و پایدار از سوی عوامل داخلی بسیار توانمند در مقیاس مقاومت کنند». ®