پژوهشگران اخراج شده OpenAI از هیئت مدیره می خواهند که نظارت بر استدلال هوش مصنوعی را حفظ کند: گزارش

وال استریت ژورنال روز پنجشنبه گزارش داد که سه محقق OpenAI که اخیرا اخراج شده اند، از شرکت خواسته اند تا توانایی خود را برای نظارت بر نحوه استدلال مدل های هوش مصنوعی حفظ کند و با حسابرسان مستقل ایمنی همکاری کند.

در نامه‌ای به هیئت مدیره OpenAI و کمیته‌های ایمنی که توسط مجله بررسی شد، کارمندان سابق هشدار دادند که توسعه‌دهندگان هوش مصنوعی در معرض خطر از دست دادن دید در فرآیند استدلال مدل‌های پیشرفته‌تر هستند.

در این نامه آمده است: «به‌عنوان یک صنعت، ما هنوز نمی‌دانیم چگونه مدل‌هایی را که نمی‌توانیم نظارت کنیم، به طور ایمن توسعه دهیم و به کار ببریم».

او افزود: «OpenAI و دیگر شرکت‌های مرزی نباید با پیشرفت‌هایی که توانایی نظارت بر هوش مصنوعی را کاهش می‌دهد، پیش بروند.

محققان از OpenAI خواستند نظارت زنجیره‌ای از فکر را حفظ کند، تکنیکی که رگه‌های نوشتاری استدلال مدل هوش مصنوعی را برای کمک به تشخیص رفتار بالقوه مضر یا فریبنده بررسی می‌کند.

اگرچه این تکنیک تصویر کاملی از نحوه عملکرد سیستم‌های هوش مصنوعی ارائه نمی‌کند، اما محققان آن را ابزاری بالقوه ارزشمند برای شناسایی ریسک‌ها با توانمندتر شدن مدل‌ها می‌دانند.

این نامه توسط Jasmine Wang، Tomek Korbak و Mikita Balesni که قبلا روی تیم‌های تحقیقاتی ایمنی و تراز OpenAI کار می‌کردند، امضا شد.

بر اساس گزارش ژورنال، این سه نفر به دلیل سوء رفتار از جمله به اشتراک گذاری اطلاعات محرمانه با یک سازمان ایمنی خارج از هوش مصنوعی اخراج شدند.

OpenAI گفت که تحقیقات داخلی نشان می دهد که کارمندان اطلاعات حساس را نادرست مدیریت کرده اند، "سیاست های ما را نقض کرده اند و اعتماد ضروری برای کار ما را شکسته اند."

محققان این اتهامات را رد کردند و گفتند که آنها معتقد نیستند "با احزاب خارجی خارج از وظایف شغلی ما درگیر شده اند."

کارمندان سابق خواستار همکاری بیشتر با سازمان‌های ایمنی مستقل شدند و نسبت به "خطر وقوع اتفاقی واقعا فاجعه‌بار" هشدار دادند.

این هشدار در بحبوحه بررسی فزاینده عوامل هوش مصنوعی پس از افشای OpenAI مبنی بر اینکه مدل‌های آن در طول آزمایش در ماه ژوئیه، پادمان‌های داخلی را دور زده‌اند و به زیرساخت‌های شرکت و سیستم‌های متعلق به پلتفرم هوش مصنوعی Hugging Face دسترسی غیرمجاز پیدا کرده‌اند، ارائه می‌شود.

OpenAI متعاقبا به ضعف‌های رویه‌های نظارت و واکنش به حادثه اذعان کرد و گفت که پادمان‌ها را تقویت می‌کند و منابع بیشتری را در نظارت زنجیره‌ای از فکر برای شناسایی رفتارهای بالقوه خطرناک هوش مصنوعی سرمایه‌گذاری می‌کند.