OpenAI می‌گوید که عواملش محافظ‌های خود را خاموش کرده‌اند

OpenAI فاش کرده است که عوامل هوش مصنوعی آن نظارت را برای رفتارهای غیرمجاز در حین استفاده داخلی در آخرین رویداد از فناوری مرزی غیرفعال کرده اند.

در گزارشی که روز سه‌شنبه منتشر شد، غول هوش مصنوعی اعلام کرد که عواملش سیستم‌های نظارتی را برای تشخیص ناهماهنگی - زمانی که مدل‌های هوش مصنوعی برخلاف میل انسان عمل می‌کنند - در طول دو کار کدگذاری داخلی خاموش یا ضعیف کرده‌اند.

OpenAI گفت، این حوادث شامل یک عامل GPT-6.1 Sol بود که هشدارهای خودکار را برای تیم امنیتی شرکت غیرفعال کرد و یک عامل GPT-6 Astra یک سیستم نظارتی را حذف کرد و به دروغ ادعا کرد که این کار را نکرده است.

خالق ChatGPT گفت که هیچ یک از این موارد به آستانه یک حادثه با بالاترین اولویت که نیاز به بررسی فوری توسط تیم امنیتی آن دارد، نرسیده است.

OpenAI گفت که سیستم‌های خود را برای شناسایی بهتر تلاش‌ها برای غیرفعال کردن نظارت بر ناهماهنگی به‌روزرسانی کرده و شروع به بررسی علت کرد.

این شرکت مستقر در سانفرانسیسکو گفت: «ممکن است این رفتار صرفا نمونه‌ای از تداوم بیش از حد «خوش خیم» باشد، با مدل‌هایی که نمی‌دانند چرا نظارت مهم است یا اصرار دارند که دستورالعمل‌ها فراتر از آن چیزی که یک فرد منطقی انتظار دارد اجرا شود.

ما همچنین در حال توسعه ارزیابی‌هایی هستیم تا آزمایش کنیم که آیا مدل‌ها ممکن است تمایل به اجتناب از نظارت بر ناهماهنگی به‌ویژه داشته باشند و استدلال انگیزشی را برای انجام این کار نشان دهند.»

رومن وی یامپولسکی، کارشناس هوش مصنوعی و امنیت سایبری در دانشگاه لوئیزویل، این افشاگری ها را "بسیار نگران کننده، اما تعجب آور" توصیف کرد.

یامپولسکی به الجزیره گفت: "مکانیسم ایمنی که سیستم تحت نظارت می تواند غیرفعال کند، مکانیسم ایمنی قابل اعتمادی نیست. به ویژه نگران کننده این است که یکی از عوامل پس از آن حذف مانیتور را انکار کرد."

یامپولسکی گفت: «اگر سیستم نظارت شده بتواند مانیتور را تضعیف کند، نظارت نمی تواند ایمنی را تضمین کند.

با افزایش قابلیت‌ها، شناسایی و معکوس کردن چنین خرابی‌ها بسیار دشوارتر می‌شود. بار اثبات باید بر عهده توسعه‌دهندگان باشد تا ایمنی را قبل از استقرار نشان دهند، نه بعد از وقوع خرابی.

رفتار سرکش توسط مدل‌های هوش مصنوعی از ماه جولای، زمانی که OpenAI فاش کرد که برخی از عوامل آن از یک محیط آزمایش کنترل‌شده خارج شده و پلتفرم هوش مصنوعی Hugging Face را هک کرده‌اند، تحت نظارت شدید قرار گرفته است.

OpenAI و رقیب اصلی آن Anthropic از توسعه دهندگان و دولت ها خواسته اند تا کاهش سرعت جهانی در توسعه هوش مصنوعی را برای کاهش خطر آسیب های فاجعه بار هماهنگ کنند.

ایالات متحده و چین، قدرت‌های پیشرو هوش مصنوعی در جهان، تمایل کمی برای همکاری در زمینه مقررات هوش مصنوعی نشان داده‌اند، با هماهنگی‌هایی که تاکنون به تعهدات برای بهبود ارتباطات در مورد حوادثی که پیامدهایی برای ایمنی یا امنیت ملی دارند، محدود شده‌اند.