انویدیا می گوید ابزار جدید می تواند حاوی عوامل سرکش هوش مصنوعی در "میلی ثانیه" باشد.

انویدیا در حال استقرار ابزار جدیدی است که می‌گوید می‌تواند برای جلوگیری و مهار عوامل سرکش و بالقوه خطرناک هوش مصنوعی مورد استفاده قرار گیرد.

چرا مهم است: بزرگترین شرکت تولید تراشه در جهان به دلیل ترس از ایمنی در برابر درخواست‌ها برای کند کردن توسعه هوش مصنوعی مقاومت کرده است - با این استدلال که اکنون نرده‌های محافظ فناوری می‌توانند عوامل سرکش هوش مصنوعی را تحت کنترل نگه دارند. محرک اخبار: انویدیا پلتفرم ایمنی عامل باز Nvidia را معرفی کرد که شامل سیستم نرم افزار منبع باز OpenShell و سیستم نظارت بر عامل Sentry است. این سیستم "همه اقدامات" را توسط عواملی که بر روی CPUهای Nvidia Vera اجرا می‌کنند، ردیابی می‌کند و قول می‌دهد "عامل‌هایی را که تلاش می‌کنند در چند میلی ثانیه به خارج از مرزهای خود حرکت کنند قرنطینه کند."

جنسن هوانگ، مدیر عامل انویدیا در X نوشت: «وعده کامل هوش مصنوعی تنها زمانی محقق می‌شود که مردم اطمینان داشته باشند که هوش مصنوعی به گونه‌ای ساخته شده است که ایمن باشد و با خرد و مسئولیت به کار گرفته شود.» هفته گذشته منابع به مدیسون میلز Axios گفتند که وضعیت بازی: محققان OpenAI، Anthropic و امنیتی در حال بررسی ده‌ها هزار حادثه هستند که در آن مدل‌های مرزی آنها اقداماتی را انجام داده‌اند که ارزیاب‌های خارجی آن را مشکل‌ساز می‌دانند. این قسمت‌ها شامل دور زدن نرده‌های محافظ، ایجاد تابلوهای پیام، فرار از جعبه‌های ماسه‌بازی، ربودن وب‌سایت، خودخواسته یا جستجو هستند.

برای دور زدن مانیتورها

انویدیا در پست وبلاگی روز دوشنبه خود که پلتفرم جدید خود را اعلام کرد، خاطرنشان کرد: «برخی از نمایندگان حتی آنچه را که انجام داده‌اند اشتباه گزارش کردند. فتنه: ما در حال حرکت به عصر جدیدی هستیم که در آن هوش مصنوعی هوش مصنوعی را زیر نظر خواهد داشت. و این باعث ایجاد تقاضای بیشتری برای تراشه‌ها می‌شود - از جمله انواعی که انویدیا می‌فروشد - به‌علاوه مراکز داده‌ای که از آنها استفاده می‌کنند و قدرت لازم برای اجرای آنها.

براد گاستویرث، رئیس تحقیقات و اطلاعات بازار جهانی، در Circular Technology می‌نویسد: «اگر عوامل امنیتی یا مدل‌های اعتبارسنجی در کنار عوامل تولید اجرا شوند، حجم کار استنتاج دیگری ایجاد می‌شود که قبلا وجود نداشت». کوچک‌نمایی: عرضه ابزار Nvidia در بحبوحه بحث‌های داغ در مورد اینکه آیا هوش مصنوعی سرکش می‌تواند بشریت را نابود کند، انجام می‌شود. محقق انسان‌شناسی، جاکوب کوکسون، اوایل این ماه، هنگامی که از سمت خود استعفا داد، غوغایی به پا کرد و در X هشدار داد که "افرادی که هوش مصنوعی می‌سازند، عمیقا معتقدند که این هوش مصنوعی می‌تواند تا پایان دهه همه ما را بکشد. این یک شیرین کاری بازاریابی نیست."

گفتگوی حاصل - که باعث شد بیشتر رهبران صنعت هوش مصنوعی هشدارهای مشابهی بدهند - به اوج خود رسید که خود هوانگ نگرانی ها را به عنوان ترس زا رد کرد.