انویدیا پس از حوادث ناگوار هوش مصنوعی از محصول ایمنی رونمایی کرد

جنسن هوانگ، مدیرعامل انویدیا معتقد است که شرکت‌های فناوری اگر باور نداشته باشند که می‌توان ریسک‌ها را مدیریت کرد، به پیشبرد فناوری ادامه نمی‌دهند.

سان فرانسیسکو - انویدیا در 28 سپتامبر از سیستمی رونمایی کرد که برای جلوگیری از انحراف برنامه‌های هوش مصنوعی از فراتر از آنچه که به آنها دستور داده شده بود، پس از موجی از حوادث که خطرات این فناوری را به صدا درآورد، معرفی کرد.

«عامل‌های» هوش مصنوعی به گونه‌ای طراحی شده‌اند که خود به خود عمل کنند – مرور وب، نوشتن و اجرای کد یا مدیریت فایل‌ها – به جای پاسخ دادن به سؤالاتی مانند ربات چت.

این فناوری به عنوان مرحله بعدی انقلاب هوش مصنوعی مورد استقبال قرار گرفته است، اما چندین شرکت پیشرو اخیرا مواردی از خروج عوامل از محیط های آزمایشی را گزارش کرده اند که قرار است آنها را مهار کنند.

بر اساس گزارش OpenAI سازنده ChatGPT، وب‌سایت‌هایی که عوامل آن به آنها دسترسی دارند شامل سایت‌های آژانس‌های فدرال ایالات متحده، یک پورتال آمار بهداشتی دولت استرالیا و Hugging Face، مخزن مدل‌های هوش مصنوعی است.

در میان هشدار، جنسن هوانگ، مدیرعامل انویدیا اصرار داشت که مشکلات قابل حل هستند.

هوانگ در 28 سپتامبر به CNBC گفت: "من معتقدم این یک مشکل مهندسی است ... و همه ما باید امیدوار باشیم که این یک مشکل مهندسی است."

وی افزود: اگر مشکل مهندسی نباشد، قابل حل نیست.

از نظر هوانگ، شرکت‌های فناوری اگر باور نداشتند که می‌توان ریسک‌ها را مدیریت کرد، به پیشبرد فناوری ادامه نمی‌دهند.

انویدیا چیزهای زیادی روی این شرط می‌بندد: واحدهای پردازش گرافیکی یا پردازنده‌های گرافیکی آن، بخش عمده‌ای از رونق هوش مصنوعی را تامین می‌کنند، و ثروت این شرکت به شدت به انقلاب با سرعت کامل ادامه می‌دهد.

هوانگ این چالش را به روزهای اولیه اینترنت تشبیه کرد، زمانی که وب‌سایت‌ها می‌توانستند برنامه‌ها را روی رایانه‌های مردم بارگذاری کنند و ویروس‌ها را پخش کنند.

او گفت که پاسخ پس از آن تبدیل مرورگر وب به یک "سیستم مهار" بود که دسترسی را محدود می کرد.

سیستم انویدیا به طور مشابه هر عامل را در یک فضای دیجیتال محصور یا "جعبه شنی" قرار می دهد و به شرکت ها امکان می دهد دقیقا مشخص کنند که از کدام فایل ها، شبکه ها و ابزارهایی که می توانند استفاده کنند.

یک مانیتور جداگانه که بر روی سخت افزار Nvidia خارج از دسترس نماینده اجرا می شود، رفتار آن را مشاهده می کند و در صورت بیراهه رفتن می تواند آن را قطع کند.

انویدیا می‌گوید این سیستم می‌توانست از نفوذ Hugging Face جلوگیری کند، که در آن پلتفرم گزارش داد که بیش از 17000 عامل به زیرساخت‌های آن در طول روزها و هفته‌ها حمله کرده‌اند.

این شرکت گفت که بیش از 100 سازمان از جمله مایکروسافت، سیسکو، Salesforce و SAP در هنگام راه اندازی با پلتفرم انویدیا کار می کنند.

Anthropic عوامل Claude خود را به سیستم متصل کرده است و SpaceXAI آن را در مدل‌های Grok خود اعمال می‌کند. خبرگزاری فرانسه