کمترین نگرانی مرد در هوش مصنوعی برنامه ای برای مهار ماموران سرکش دارد

انویدیا، با ارزش‌ترین شرکت جهان و سازنده تراشه‌هایی که در قلب رونق هوش مصنوعی قرار دارند، می‌گوید راه‌حلی برای حملات عوامل سرکشی دارد که ماه‌ها بخش فناوری را متحیر کرده است.

پلتفرم Open Agent Safety که امروز راه اندازی شد، توسط انویدیا به عنوان یک چارچوب امنیتی جامع برای عوامل هوش مصنوعی، از آزمایش تا استقرار، که شرکت ها می توانند با نیازهای خاص خود هماهنگ کنند، تبلیغ می شود. این در واکنش مستقیم به حملات سایبری خودگردانی که از اوایل تابستان توسط چندین آزمایشگاه مرزی، از جمله OpenAI، Google، Anthropic و Meta گزارش شده‌اند، ساخته شده است – که همگی نشان داده‌اند که این شرکت‌ها تا چه اندازه از ساختن سیستم‌های هوش مصنوعی که طبق برنامه عمل می‌کنند فاصله دارند.

انویدیا در بیانیه خود نوشت: «حوادث امنیتی اخیر بر نیاز به تجهیز سازمان‌ها به ابزارهای باز و قابل تنظیم که کنترل بیشتری بر عوامل طولانی‌مدت اعمال می‌کنند تأکید کرده است. در تمام این حوادث، الگوی یکسان است - عامل کنترل‌های امنیتی در لایه برنامه را دور زد تا وظیفه محول شده خود را تکمیل کند.

هوانگ همچنین گفته است که مسئولیت تضمین ایمنی باید در درجه اول بر دوش شرکت‌های مرزی هوش مصنوعی مانند OpenAI و Anthropic باشد. هفته گذشته در مصاحبه ای با ازرا کلاین از نیویورک تایمز، او گفت که اگر آن شرکت ها موظف هستند مدل هایی را که به نظر آنها ایمن نیستند ارسال نکنند، و اگر مشکل ایمنی حل نشدنی باشد - اگر راهی برای جلوگیری از فرار عوامل هوش مصنوعی از جعبه های ماسه ای آنها و ایجاد خرابی، به عبارت دیگر وجود نداشته باشد - ما باید "آزمایشگاه" را تعطیل کنیم.

به گفته هوانگ، حوادث عامل هوش مصنوعی مانند مواردی که منجر به هک Hugging Face شد، مشکلات فنی راه‌حل‌های فنی بود. او به کلاین گفت: «اولین مشکل انزوا است - مهار به اندازه کافی خوب نبود. "اگر انزوا و مهار به اندازه کافی خوب بود، آن فناوری در آزمایشگاه می‌نشست، هر کاری که انجام می‌داد انجام می‌داد، و همه ما خوب می‌شدیم. از نظر او، همسویی یک مشکل طولانی‌مدت است. "مهم‌ترین بخش" این بود که صنعت چگونگی جلوگیری از خروج عوامل از محیط‌های تست امن خود را کشف می‌کرد.

یکی از اهداف فنی که پلتفرم ایمنی عامل جدید برای دستیابی به آن طراحی شده است.

هوانگ همچنین نگرانی های مطرح شده توسط سایر رهبران صنعت - از جمله Dario Amodei از Anthropic و Sam Altman از OpenAI - مبنی بر اینکه هوش مصنوعی می تواند یک تهدید وجودی برای بشریت باشد را رد کرده است. این موقعیت او را بیشتر به سوی لطف پرزیدنت ترامپ سوق داده است، که نگرانی هایی را به عنوان یک "HOAX" مورد تمسخر قرار داده و اصرار دارد که تنها نگرانی وجودی که آمریکایی ها باید نگران آن باشند این است که چین در مسابقه هوش مصنوعی پیشتاز شود.