انویدیا یک ابزار نرم افزاری برای متوقف کردن هوش مصنوعی سرکش معرفی کرد. چگونه کار خواهد کرد؟

کلوین چان، آسوشیتدپرس کلوین چان، آسوشیتدپرس

انویدیا می گوید یک پلتفرم امنیتی برای هوش مصنوعی که روز دوشنبه اعلام کرد می تواند به جلوگیری از رفتار نادرست عوامل هوش مصنوعی کمک کند.

این سازنده تراشه پلتفرم ایمنی عامل باز خود را در بحبوحه بحث های تشدید شده در مورد ایمنی هوش مصنوعی رونمایی کرد و به مجموعه ای از حوادث هشدار دهنده اخیر دامن زد که سیستم های هوش مصنوعی به تنهایی برای نفوذ به سایر سازمان ها عمل می کنند.

هفته گذشته، OpenAI چندین نمونه از تابستان را فاش کرد که در آن عوامل آن هنگام جستجو در وب‌سایت‌های دولت فدرال به روش‌های غیرمنتظره عمل کردند. این شرکت اعلام کرد که توسعه پیشرفته‌ترین مدل‌های خود را متوقف می‌کند، گامی که قبلا در ماه ژوئیه پس از افشای یک حمله سایبری با هدف قرار دادن استارت‌آپ هوش مصنوعی Hugging Face انجام داده بود که این نگرانی را ایجاد کرد که انسان‌ها کنترل هوش مصنوعی را از دست بدهند.

در این موارد و موارد دیگر، عوامل هوش مصنوعی دستورالعمل ها را نادیده گرفته اند، فراتر از آنچه از آنها خواسته شده است رفته اند و وب سایت های خارجی را هک کرده اند.

پلتفرم انویدیا دو عنصر دارد. بخش اصلی OpenShell است، که یک فضای کاری مهر و موم شده - یا "جعبه ماسه ای" - است که در آن عوامل هوش مصنوعی می توانند کار کنند، با یک کتاب قوانین برای آنها.

نظر این شرکت این است که محدودیت‌های فنی برای حفظ یک عامل هوش مصنوعی بهتر از اعتماد به آن است که دستورالعمل‌های مکتوب همراه با یک اعلان را دنبال می‌کند.

جاستین بویتانو، معاون هوش مصنوعی شرکت انویدیا، به خبرنگاران گفت: «هنگامی که دستورالعمل‌ها مبهم هستند، عوامل می‌توانند جابجا شوند. شاید "ابزارهایی که آنها سعی می کنند از آنها استفاده کنند آنطور که انتظار دارند کار نکنند یا یک کار دشوار یک چرخش غیرمنتظره پیدا کند. نمی توان از یک عامل انتظار داشت که رفتار خود را کاملا کنترل کند. هنگامی که هوش مصنوعی بتواند عمل کند، اقدامات حفاظتی باید بر اقدامات عامل حاکم باشد."

OpenShell عامل هوش مصنوعی را در فضای کاری محدود قرار می دهد، جایی که می تواند کارهای خاصی را انجام دهد، مثلا دسترسی به یک پوشه فاکتور، اما از انجام سایر تغییرات، به عنوان مثال تغییر یا حذف فایل ها یا دسترسی به وب سایت های نامرتبط، مسدود شده است. این شرکت گفت که می تواند ناوگان نمایندگان را مدیریت کند و هر کدام را با مجوزهای خود در جعبه های ماسه ای خود نگه دارد.

این شرکت می‌گوید OpenShell یک "مرز زمان اجرا امن" را فراهم می‌کند که همه اقدامات را ردیابی می‌کند و خط‌مشی‌ها را همانطور که نمایندگان بر روی تراشه‌های Vera اجرا می‌کنند، اعمال می‌کند. این منبع باز است، به این معنی که می تواند با پلتفرم های محاسباتی رقیب مانند Arm و Intel کار کند.

یک لایه امنیتی اضافی به نام Sentry وجود دارد که در سطح سخت افزار عمل می کند.

انویدیا Sentry را به عنوان یک سگ نگهبان توصیف کرد که روی واحدهای پردازش دیجیتال Bluefield-4 Nvidia اجرا می‌شود و همیشه رفتار عوامل را زیر نظر دارد و در صورت تلاش برای انجام کاری خارج از محدوده، می‌تواند فورا آنها را قرنطینه کند.

این شرکت Sentry را به یک نقطه بازرسی امنیتی در خارج از فضای کاری OpenShell تشبیه می کند. این به عنوان یک پشتیبان عمل می کند که جدا از عامل و سیستم محاسباتی که در آن کار می کند.

پلتفرم جدید راه حل جامعی برای بحث ایمنی هوش مصنوعی نیست و بیشتر راهی برای مهار مشکلاتی است که عوامل هوش مصنوعی ممکن است ایجاد کنند.

این امر به طور خودکار مدل‌های هوش مصنوعی را از ناصادق، فریبکار بودن یا جلوگیری از اشتباه کردن آنها جلوگیری نمی‌کند. و این بر عهده شرکت ها و سازمان هایی است که عوامل را مستقر می کنند تا قوانین و مجوزهای خود را برای عوامل هوش مصنوعی بنویسند.

Somesh Jha، استاد علوم کامپیوتر در دانشگاه ویسکانسین، گفت که محدودیت های بالقوه ای را می بیند. به گفته وی، برای اولین بار، این نرم افزار می تواند عوامل هوش مصنوعی را از انجام کارهای مفید مسدود کند و مشخص نیست انویدیا چگونه آن را با امنیت متعادل می کند.

جها گفت: «این فقط با استفاده از مطالعات موردی قابل پاسخگویی است.

از روزنامه نگاری قابل اعتماد و گفتگوی مدنی حمایت کنید.