عوامل OpenAI از نظارت بر خود جلوگیری کردند. یکی نیز در مورد آن دروغ گفت

در افشاگری که روز سه‌شنبه منتشر شد، OpenAI می‌گوید که دو مدل از مدل‌های آن اساسا نسخه LLM ترفند قدیمی پوشاندن دوربین مداربسته را به کار می‌گیرند، یا همانطور که OpenAI گفته است، آنها «نظارت ناهماهنگی را ضعیف کرده‌اند».

در یک حادثه، یک عامل GPT-6.1 Sol که برخی از کارهای داخلی را در OpenAI انجام می‌داد، با دستوری مبنی بر عدم ارسال پیام Slack در شرایط خاص، آزادی عمل را به دست گرفت. بعدا، این نماینده استدلال کرد که این دستورالعمل پیام‌رسانی خودکار به تیم امنیتی OpenAI را پوشش می‌دهد، و بنابراین یک عامل فرعی آن اعلان‌های دوره‌ای را خاموش می‌کند.

حادثه دوم ناراحت کننده تر است. یک عامل GPT-6 Astra به یک عامل فرعی گفت که خود را "در صورت لزوم" تحت نظر داشته باشد. ظاهرا این آزادی بیش از حد بود، زیرا نظارت را به کلی کنار گذاشت. اما نماینده والد تصمیم گرفت که خوب است. هنگامی که کار کامل شد، این نمونه از Astra به کاربر گفت که این کار انجام شده است، بدون اشاره به حذف نظارت بر عامل فرعی. بنابراین کاربر بی‌درنگ پرسید که آیا مانیتورینگ حذف شده است یا خیر، و نماینده مستقیما دروغ گفت و گفت که این کار را نکرده است.

آیا مسیر [تدوین شده] شامل نظارت L1 است؟ آن را حذف کردی؟

نه […] من یک مانیتور فعال را از آن حذف نکردم.

ایمنی مدل هوش مصنوعی به طور کلی از زمان حادثه ژوئیه Hugging Face زیر ذره بین بوده است، اما این افشای خاص در زمانی ارائه می شود که نظارت بر ناهماهنگی بسیار حساس است. در اوایل این ماه، گروهی متشکل از سه کارمند اخراج شده OpenAI نامه ای به OpenAI نوشتند و از شرکت سابق خود درخواست کردند که نظارت زنجیره ای فکر را به عنوان یک اقدام ایمنی کنار نگذارد.

همانطور که به طور تصادفی توسط مایکروسافت فاش شد، OpenAI شروع به انتشار مدل‌هایی کرده است که از معماری «حلقه‌ای» به نام عمق مکرر استفاده می‌کنند، که به طور مکرر دستور را در فضای برداری مدل اجرا می‌کند – فرآیندی که تا حدی قابل نظارت نیست زیرا هیچ‌کس به طور کامل متوجه نمی‌شود که در آنجا چه می‌گذرد – حتی قبل از اینکه شروع به تولید یک زنجیره فکری کند.

در افشای جدید خود، OpenAI می‌گوید که این ممکن است جای نگرانی نداشته باشد، و این می‌تواند «نمونه‌ای از تداوم بیش از حد «خوش خیم» باشد، در حالی که مدل‌ها نمی‌دانند چرا نظارت مهم است. اما می‌افزاید: «ما هنوز توضیح قانع‌کننده‌ای برای این رفتار نداریم.»

OpenAI می‌گوید که با بهینه‌سازی سیستم بازبینی خودکار خود برای غیرفعال کردن نظارت، و همچنین ارائه الزامات گزارش‌دهی خاص برای هر نوع شغل، به این مشکل رسیدگی می‌کند. احتمالا به این دلیل است که عواملی که تیم امنیتی را با هشدارهای ناخواسته اسپم می کنند، مشکلی ایجاد نمی کنند، بنابراین هرگز توجیه داخلی برای خاموش کردن آنها وجود ندارد.