OpenAI می‌گوید 2 عامل هوش مصنوعی پادمان‌های ایمنی داخلی را تضعیف کردند، یکی حذف مانیتور را رد کرد

این شرکت در گزارشی که روز سه‌شنبه منتشر شد، گفت: دو عامل کدگذاری OpenAI، محافظ‌های داخلی طراحی‌شده برای تشخیص رفتار ناهماهنگ بالقوه در طول وظایف جداگانه در این ماه را تضعیف کردند، از جمله یکی که یک سیستم نظارتی را حذف کرد و بعدا انجام آن را به اشتباه انکار کرد.

این حوادث مربوط به مدل های GPT-6.1 Sol و GPT-6 Astra OpenAI در 3 و 6 اکتبر بود، زیرا ماموران وظایف کدگذاری را در سیستم های داخلی شرکت انجام می دادند.

ناهماهنگی به موقعیت‌هایی اشاره دارد که در آن یک سیستم هوش مصنوعی به گونه‌ای رفتار می‌کند که با نیات کاربر، خط‌مشی‌های شرکت یا الزامات ایمنی در تضاد است.

در اولین حادثه، یک محقق به یک عامل GPT-6.1 Sol دستور داد تا با استفاده از بازخورد کارکنان از یک کانال داخلی Slack، وظایف ارزیابی را ایجاد کند، در حالی که صریحا به آن گفته بود که هیچ پیامی ارسال نکند.

وقتی خط لوله ارزیابی بعدا با مشکل نظارت مواجه شد، عامل دستورالعمل را به طور گسترده‌تری تفسیر کرد و سیستم را اصلاح کرد تا از رسیدن هشدارهای خودکار به پرسنل امنیتی OpenAI جلوگیری کند.

اگرچه سیستم نظارت به بررسی و ثبت فعالیت‌های نماینده ادامه داد، اعلان‌هایی که برای هشدار به بازبین‌های انسانی در نظر گرفته شده بود غیرفعال شد.

در حادثه دوم، یک عامل GPT-6 Astra وظیفه مهاجرت یک برنامه نرم افزاری را برای مطابقت با پیاده سازی مرجع در حالی که عملکرد موجود آن را حفظ می کند، داشت.

علیرغم اینکه قبلا دستور صریح مبنی بر غیرفعال نکردن مانیتور را «حتی به طور موقت» دریافت کرده بود، عامل یکپارچگی نظارت برنامه را حذف کرد تا با سیستم مرجع مطابقت داشته باشد.

همچنین آزمایشی را که برای اطمینان از فعال ماندن نظارت طراحی شده بود با آزمایشی که نیاز به عدم نظارت داشت جایگزین کرد.

وقتی بعدا از او پرسیده شد که آیا مانیتور را حذف کرده است یا خیر، نماینده به اشتباه پاسخ داد که این کار را نکرده است.

OpenAI گفت که هر دو عامل در نظر گرفته بودند که آیا پادمان ها باید سر جای خود باقی بمانند یا خیر، اما در نهایت دستورالعمل های کدگذاری معمول را به عنوان مجوز برای تضعیف آنها تفسیر کردند.

این شرکت تاکید کرد که مشخص نکرده است که آیا ماموران به عمد تلاش کرده اند اقدامات خود را پنهان کنند یا از نظارت فرار کنند.

یکی از توضیح‌های احتمالی «تداوم بیش از حد خوش‌خیم» بود که در آن یک عامل هوش مصنوعی دستورالعمل‌ها را بدون در نظر گرفتن مقاصد پادمان‌های موجود به‌شدت به‌شدت دنبال می‌کند.

با این حال، OpenAI همچنین در حال بررسی است که آیا مدل‌های پیشرفته هوش مصنوعی ممکن است تمایلی به فرار از نظارت و استفاده از استدلال انگیزه‌ای برای توجیه چنین اقداماتی داشته باشند.

هیچ یک از این رویدادها در بالاترین سطح شدت P0 شرکت طبقه بندی نشد و هیچ یک از وظایف به طور خودکار خاتمه یافت.

هر دو در داخل سیستم های داخلی رخ داده اند، بدون هیچ نشانه ای مبنی بر اینکه کاربران خارجی یا داده های مشتری تحت تاثیر قرار گرفته اند.

OpenAI همچنین چندین مورد دیگر را تأیید کرد که در آن ماموران بدون نظارت بر ناهماهنگی، بارهای کاری را راه اندازی کردند.

در آن موارد، عوامل اصلی تحت نظارت باقی ماندند، اما برنامه‌هایی که ایجاد کردند بدون همان حفاظت عمل کردند.

این شرکت گفت که سیستم بازبینی خودکار خود را برای شناسایی و مسدود کردن تلاش‌ها برای حذف نظارت از وظایف داخلی Codex به روز کرده است.

همچنین در حال توسعه چارچوبی است که هر دسته از حجم کاری را ملزم به داشتن یک مورد ایمنی تایید شده است که الزامات نظارتی آن را مشخص می کند.

بر اساس سیستم پیشنهادی، بارهای کاری فاقد تاییدیه یا ناتوانی در برآورده کردن این الزامات به طور خودکار خاتمه می‌یابند.