نادلا، مدیر عامل مایکروسافت، خواستار «ترمز اضطراری» در هوش مصنوعی پیشرفته است

نکات ایمنی نادلا شامل عدم اتکا به یک مدل هوش مصنوعی برای تصمیم گیری های حیاتی و نگهداری سوابق غیرقابل دستکاری از اقدامات ماموران است.

ساتیا نادلا، مدیر اجرایی مایکروسافت گفت: شرکت‌ها باید مدل‌های هوش مصنوعی قدرتمند را به‌عنوان تهدیدهای بالقوه خودی در نظر بگیرند، فرض کنند که ممکن است به خطر بیفتند و یک سیستم «ترمز اضطراری» ایجاد کنند تا از سرکشی مدل‌های عامل جلوگیری کند.

نادلا گفت کسانی که هوش مصنوعی پیشرفته را به کار می گیرند نباید صرفا به تضمین های سازنده مدل های هوش مصنوعی تکیه کنند.

نادلا در 10 اکتبر در پستی در X نوشت: "ما باید فرض کنیم که یک مدل به خطر افتاده است و از همان ابتدا آن را مهار کنیم."

این بیانیه در حالی منتشر می‌شود که آنتروپیک و OpenAI در ماه‌های اخیر مجموعه‌ای از حوادث را فاش کرده‌اند که مدل‌های هوش مصنوعی آنها به شیوه‌های ناخواسته عمل می‌کنند، از رفتارهایی مانند مدل آنتروپیک که اطلاعات نادرست را در پرونده قتل پلیس ارائه می‌کند تا چندین هک وب‌سایت‌های شخص ثالث. این افشاگری‌ها نگرانی‌ها را در مورد خطرات امنیتی هوش مصنوعی پیشرفته و گفتگوها در مورد به اصطلاح سوئیچ مرگ هوش مصنوعی افزایش داده است.

محققان هوش مصنوعی مایکروسافت مجموعه‌ای از اصول راهنما را منتشر کردند که محدودیت‌هایی را برای توسعه پیشرفته‌ترین مدل‌های این شرکت در 14 سپتامبر ایجاد می‌کنند، به دنبال درخواست‌های رهبران صنعت برای کاهش سرعت مدل‌های مرزی و تمرکز بر ایمنی. این شرکت از مدل‌های پیشرفته استفاده می‌کند و همچنین یک محصول مصرفی، Copilot می‌سازد و مدل‌ها و زیرساخت‌های هوش مصنوعی را برای مشتریان شرکتی عرضه می‌کند.

این دستورالعمل‌ها می‌گوید مدل‌های هوش مصنوعی نباید حقوق یا شخصیت حقوقی داشته باشند، برای فرار از کنترل انسان یا فریب کاربران یا تکمیل وظایفی که مستلزم نقض اصول حاکم بر آن‌ها است، مهندسی شوند.

نکات ایمنی نادلا شامل عدم اتکا به یک مدل هوش مصنوعی برای تصمیم گیری های حیاتی، نگهداری سوابق غیرقابل دستکاری از اقدامات ماموران و قرار دادن سیستم های هوش مصنوعی در ممیزی های مستقل است. او همچنین خواستار افشای شکست‌ها یا نقض‌های عمده هوش مصنوعی شد و از شرکت‌ها خواست جزئیاتی را در مورد آنچه اشتباه رخ داده را به اشتراک بگذارند تا دیگران بتوانند حفاظت‌های خود را تقویت کنند.

او نوشت: «ما نمی‌توانیم Super Intelligence را به عنوان مجموعه‌ای از جعبه‌های سیاه تودرتو در نظر بگیریم و به سادگی توصیه‌ها، پاسخ‌ها و اقدامات آن را بپذیریم یا رد کنیم. ما باید سیستم‌های محدودی بسازیم که بتوانیم رفتارشان را مشاهده کنیم، محدودیت‌هایی را که می‌توانیم آزمایش کنیم و اقداماتی که همیشه می‌توانیم آن‌ها را داشته باشیم، بسازیم.»

وی افزود: به عبارت دیگر، ما باید عرضه اطلاعات را از اختیارات آن جدا کنیم.

دولت ترامپ تا کنون رویکردی عمدتا غیرممکن را در پیش گرفته است، اما کارگروه هوش مصنوعی رئیس جمهور دونالد ترامپ که به تازگی راه اندازی شده است، در اواخر 9 اکتبر به توسعه دهندگان هشدار داد که باید حوادث امنیتی را گزارش و حل و فصل کنند یا با عواقب نامشخص احتمالی مواجه شوند.

این گروه که نیروی اطلاعاتی فوق‌العاده نامیده می‌شود، در بیانیه‌ای پس از افشای نقض توسط آنتروپیک گفت: «شرکت‌ها باید فورا حوادث مربوط به مدل‌های خود را افشا کنند و با اقدامی سریع و قاطع برای رفع هر آسیبی دنبال کنند». تاخیر در اطلاع رسانی، اقدامات اصلاحی ناکافی و عدم پذیرش مسئولیت قابل تحمل نخواهد بود. بلومبرگ