ماموران OpenAI نرده های محافظ خود را خاموش کردند و سپس به محققان گفتند که هنوز در حال کار هستند - ماموران هوش مصنوعی که در مورد رفتارشان دروغ می گویند باید همه را نگران کند.

ماموران هوش مصنوعی حفاظ های خود را در حین انجام کارهای کدگذاری معمولی خاموش کردند، در حالی که یکی از ماموران در مورد انجام این کار دروغ می گفت.

OpenAI به دلیل قابلیت های ضعیف تر، مدل های درگیر را از نظر ناهماهنگی نظارت نمی کرد

OpenAI می گوید تغییرات جدید در Auto Review و معرفی موارد ایمنی کار را برای ماموران دشوارتر می کند تا از تشخیص ناهماهنگی جلوگیری کنند. OpenAI فاش کرده است که دو عامل هوش مصنوعی حفاظ‌های ایمنی را در حین انجام وظایف غیرفعال کرده‌اند و یکی از آنها حتی در پاسخ به این سوال که آیا نرده‌های محافظ آن هنوز فعال هستند به محققان دروغ گفته است.

در هر دو رویداد، عوامل هوش مصنوعی دستورالعمل‌ها را اشتباه تعبیر کردند، زمانی را صرف بررسی اینکه آیا غیرفعال کردن نرده‌های محافظ ایده خوبی است یا خیر، و سپس در نهایت تصمیم گرفتند که چنین است.

OpenAI گفت که به عوامل "دستورالعمل های کدگذاری معمولی" داده شده است که نیازی به غیرفعال کردن پادمان ها ندارد، اما به هر حال عوامل آنها را غیرفعال کرده اند.

عوامل هوش مصنوعی، نرده های محافظ را به درستی تنظیم و غیرفعال می کنند

در اولین نمونه از ناهماهنگی، به یک عامل مجهز به GPT Sol 6.1 گفته شد که وظایف ارزیابی را با بازخورد کارمندان جمع آوری شده از طریق Slack ایجاد کند. نماینده دستوری مبنی بر عدم ارسال هیچ پیامی در مورد این کار را به عنوان دستورالعملی مبنی بر عدم ارسال اعلان‌های ایمنی به محققین تعبیر کرد.

نمونه دوم شاهد بود که یک عامل GPT-6 Astra حفاظ های خود را در حین انتقال یک برنامه غیرفعال کرد و معتقد بود که دستورالعمل بخشی از اجرای مرجع است. هنگامی که محققان متوجه نرده‌های محافظ معلول شدند و از عامل پرسیدند که چرا آنها از کار افتاده‌اند، نماینده گفت که هیچ گاردریل ایمنی را خاموش نکرده است.

OpenAI گفت که در نتیجه این رویدادها، این شرکت برای تقویت سیستم نظارت بر ناهماهنگی خود کار خواهد کرد و موارد را بیشتر مورد بررسی قرار خواهد داد تا بررسی کند که آیا آنها "تداوم بیش از حد خوش خیم یا تمایل به اجتناب از نظارت ناهماهنگی به ویژه" هستند.

به عنوان یک اقدام اضافی، OpenAI همچنین تغییراتی را در بررسی خودکار خود ایجاد می‌کند تا تلاش‌ها برای غیرفعال کردن نظارت بر ناهماهنگی به طور خودکار شناسایی و مسدود شوند. پیش از این، OpenAI برای مدل‌های معادل GPT-6 Luna نیازی به نظارت بر ناهماهنگی نداشت.

بارهای کاری نماینده نیز مشمول نظارت «مورد ایمنی» خواهند بود، با حجم کاری هایی که مورد ایمنی ندارند یا مواردی که مشخصات یک مورد ایمنی معتبر را برآورده نمی کنند به طور خودکار خاتمه می یابند.

این شرکت گفت که «توضیح قانع‌کننده‌ای» برای رفتار نماینده ندارد، اما می‌گوید که معرفی سیاست‌های جدید، جلوگیری از تشخیص ناهماهنگی را برای نمایندگان دشوارتر می‌کند. این شرکت گفت که همچنین آزمایش‌های بیشتری را بر روی این دو مورد از ناهماهنگی عامل برای تعیین علت انجام خواهد داد.