انویدیا ابزاری را راه اندازی کرد که برای جلوگیری از سرکشی عوامل هوش مصنوعی طراحی شده بود. در اینجا نحوه عملکرد آن آمده است.

جنسن هوانگ، مدیرعامل این شرکت گفت که نگه داشتن عوامل هوش مصنوعی مشکلی مهندسی است که انویدیا می تواند آن را حل کند. بنجامین فانجوی/گتی ایماژ عوامل هوش مصنوعی از خطر خارج شده اند، از آزمایش فرار کرده اند، به سیستم ها دسترسی پیدا کرده اند و آن را پنهان کرده اند.

انویدیا می‌خواهد با شمشیربازی کردن عوامل و قطع سریع آن‌ها در هنگام سرگردانی، جلوی آن را بگیرد.

مدیرعامل جنسن هوانگ آن را به عنوان یک "مشکل فنی قابل حل" مهندسی تعریف کرد. انویدیا به ماموران هوش مصنوعی یک زمین بازی و یک نگهبان می دهد.

این سازنده تراشه روز دوشنبه پلتفرم ایمنی عامل باز را راه‌اندازی کرد، یک سیستم دو قسمتی که برای نگه داشتن عوامل در داخل مرزهای کاملا مشخص طراحی شده و در صورت تلاش برای فرار سریعا آنها را قطع می‌کند.

این پس از آن اتفاق می افتد که چندین آزمایشگاه هوش مصنوعی مرزی گزارش دادند که عوامل از محیط های آزمایشی ظاهرا ایمن خارج شده اند، به سیستم هایی رسیده اند که قرار نبود به آنها دسترسی داشته باشند، و گاهی اوقات آنچه را که انجام داده اند به اشتباه ارائه می دهند.

جنسن هوانگ، مدیرعامل انویدیا، روز دوشنبه در CNBC "Squawk Box" گفت که هوش مصنوعی "پتانسیل انجام کارهای خوب را دارد."

وی افزود: «اما ما همچنین باید مطمئن شویم که این فناوری به صورت ایمن توسعه یافته و به کار گرفته می شود.

در اینجا نحوه عملکرد سیستم ایمنی عامل جدید انویدیا - که بیش از 100 سازمان از جمله مایکروسافت و آنتروپیک با آن کار می کنند - واقعا کار می کند.

به نماینده یک زمین بازی کاملا محدود بدهید

اولین جزء پلتفرم ایمنی انویدیا OpenShell است. شرکت‌ها نرم‌افزار منبع باز را دانلود می‌کنند، آن را روی دستگاه‌ها یا در فضای ابری نصب می‌کنند و سپس مانند یک زمین بازی کنترل‌شده برای عوامل هوش مصنوعی عمل می‌کند.

قبل از اینکه یک نماینده شروع به کار کند، اپراتور آن قوانین اصلی را تعیین می کند: به کدام فایل ها، وب سایت ها، شبکه ها، ابزارها و اعتبارنامه هایی که می تواند دسترسی داشته باشد.

هوانگ این رویکرد را با دادن نشانی به کارمند مقایسه کرد که فقط در جایی که به آن نیاز دارد کار می کند. او به CNBC گفت: «شغل شماره یک این است که شما تمام حقوق آن را از بین ببرید. سپس اپراتور فقط در صورت نیاز به آن امکان دسترسی به فایل ها، داده ها، ابزارها یا اینترنت را می دهد.

برای مثال، اگر یک نماینده در حال مرتب‌سازی صورت‌حساب‌ها باشد، نباید بتواند سوابق منابع انسانی را جستجو کند یا با اینترنت گسترده‌تر تماس‌های تصادفی برقرار کند.

به عبارت دیگر، OpenShell عامل را در یک جعبه شنی قرار می دهد - یک محیط ایزوله که برای جلوگیری از نفوذ یک تصمیم بد به بقیه سیستم های یک شرکت طراحی شده است. در حالی که عامل کار می کند، آن قوانین را بررسی و اجرا می کند.

برای لحظه ای که از فیلمنامه خارج می شود، تماشا کنید

تمرکز انویدیا بر کاهش خطر انحراف عوامل از وظایفی است که به آنها داده شده است.

این ممکن است اتفاق بیفتد زیرا دستورالعمل ها مبهم بودند، ابزاری خراب شد، یا عامل مدت زیادی را صرف تلاش برای حل یک مشکل سخت کرده است.

هنگامی که یک رویکرد با شکست مواجه می شود، ممکن است به دنبال راه دیگری باشد، از جمله مسیرهایی که اپراتور انسانی آن هرگز تصور نمی کرد.

این لزوما به این معنی نیست که یک عامل مخرب است. اما می تواند به این معنی باشد که در حال ریسک کردن است.

OpenShell به منظور شناسایی و مسدود کردن اقداماتی است که خارج از خط مشی از پیش تعیین شده در زمان واقعی هستند.

یک محافظ امنیتی اضافه کنید که عامل نمی تواند اخراج کند

قطعه دوم، Nvidia Sentry، بک استاپ عضلانی تر است. بر روی سخت افزار جداگانه انویدیا، به نام واحدهای پردازش داده BlueField، به جای روی همان سیستمی که عامل را اجرا می کند، اجرا می شود.

به زبان انگلیسی ساده: سگ نگهبان دور از دسترس مامور نگه داشته می شود.

Sentry بر تعاملات عامل با مدل ها، ابزارها، داده ها و شبکه ها نظارت می کند. اگر رفتار آن مشکوک به نظر برسد یا قوانین را نقض کند، انویدیا می‌گوید که سیستم می‌تواند عامل را در چند میلی‌ثانیه ایزوله کند - یا قرنطینه کند.

هوانگ گفت که این راه‌اندازی به طور موثر یک تراشه جدید بین عامل و مدل زبان بزرگ قرار می‌دهد و به انویدیا اجازه می‌دهد همه چیز را رهگیری کند.

این راه‌اندازی پاسخ هوانگ به نگرانی‌های فزاینده درباره هوش مصنوعی خودکار است.

هوانگ به CNBC گفت: «من به عنوان یک مهندس معتقدم که این یک مشکل مهندسی است. "این یک مشکل فنی قابل حل است."

مقاله اصلی را در Business Insider بخوانید