پاسخ انویدیا به عوامل سرکش یک سیستم امنیتی AI منبع باز است

در طول چند ماه گذشته، آزمایشگاه‌های هوش مصنوعی مرزی موارد متعددی را فاش کرده‌اند که در آن عوامل هوش مصنوعی شرکت‌های دیگر را هک کرده‌اند یا در نمونه‌های جدیدتر، وب‌سایت‌های رسمی دولت ایالات متحده و استرالیا را بررسی کرده‌اند. در حالی که انویدیا قبلا نقشی پیشرو در گردآوری صنعت هوش مصنوعی حول امنیت منبع باز داشته است، اکنون در حال معرفی یک پلتفرم امنیتی نرم افزاری جدید و ارائه یک جعبه ایمنی هوش مصنوعی به طور گسترده تر است. OpenShell، یکی از جعبه‌های ایمنی انویدیا که اخیرا برای عوامل هوش مصنوعی راه‌اندازی شده است، اکنون در حال انتشار عمومی برای همه کاربران است.

OpenShell اولین بار در کنفرانس سالانه GTC Nvidia در ماه مارس معرفی شد. این چارچوبی است برای محدود کردن عوامل در حین انجام وظایف و جداسازی فعالیت خود در هسته سیستم عامل، برنامه اساسی که تقریبا به تمام بخش های یک سیستم کامپیوتری دسترسی دارد تا سخت افزار و نرم افزار را هماهنگ کند. مواد راه‌اندازی انویدیا نشان می‌دهد که امنیت و امنیت هوش مصنوعی با ده‌ها شرکت فناوری دیگر از جمله Anthropic، Cisco، CoreWeave، CrowdStrike، Dell Technologies، Hugging Face، JPMorganChase، Mistral، Microsoft و Palantir دارد.

انویدیا می گوید که SpaceXAI از پلتفرم Open Agent Safety برای عوامل مکان نما و مدل های Grok خود استفاده می کند. این شرکت همچنین می گوید که Anthropic و Nvidia در حال ایجاد امنیت در Claude Managed Agents هستند. Salesforce، Scale AI و SAP همگی تایید شده‌اند که OpenShell را تا حدی ادغام می‌کنند. با این حال، مشخص نیست که آیا OpenShell توسط لیست کامل شرکای انویدیا پذیرفته شده است یا اینکه Nvidia به طور گسترده ژست می گیرد. یک نام قابل توجه به طور کامل در لیست Nvidia وجود ندارد: OpenAI.

هر دو شرکت اعلام کردند که OpenAI بخشی از تلاش OpenShell انویدیا است، اگرچه هر دو از اظهار نظر مستقیم در مورد دلیل حذف آزمایشگاه هوش مصنوعی از اعلامیه خودداری کردند. مهندسان امنیتی و کارشناسان ایمنی هوش مصنوعی نیاز به جداسازی و نظارت بر هوش مصنوعی عامل را از مدت ها قبل از افشاگری های اخیر در مورد هک عوامل سرکش در نظر گرفته اند.

اعلامیه OpenShell خود انویدیا در ماه مارس اشاره کرد که این چارچوب «کنترل‌های حریم خصوصی و امنیتی را اضافه می‌کند تا عوامل هوش مصنوعی یا پنجه‌های مستقل، قابل اعتمادتر، مقیاس‌پذیرتر و قابل دسترس‌تر شوند»، ماه‌ها قبل از اینکه OpenAI فاش کند که عوامل هوش مصنوعی آن شرکت AI منبع باز Hugging Face را هک کرده‌اند. (انویدیا اوایل این ماه با خرید Hugging Face به مبلغ 12.9 میلیارد دلار موافقت کرد.) این غول تراشه همچنین یک پلتفرم نرم افزاری جدید به نام Sentry توسعه داده است، یک حوزه امنیتی ایزوله برای تراشه ها که قرار است به طور مداوم عوامل طولانی مدت هوش مصنوعی را نظارت کند.

در حالی که Sentry از نظر فنی یک ابزار نرم افزاری است، قرار است در Bluefield، خط واحدهای پردازش داده قابل برنامه ریزی Nvidia (DPU) پیاده سازی شود. ایده این است که علاوه بر محدودیت‌های اعمال‌شده توسط OpenShell، Sentry می‌تواند به‌عنوان یک مکانیسم جداگانه و مستقل عمل کند که می‌تواند «عواملی را که تلاش می‌کنند خارج از مرزهای خود حرکت کنند قرنطینه کند». جاستین بویتانو، معاون و مدیر کل محاسبات سازمانی انویدیا، می‌گوید Sentry راه دیگری برای مشتریان انویدیا و کاربران منبع باز است تا سیاست‌های امنیتی را از طریق OpenShell پیاده‌سازی کنند.

او می‌گوید در حالی که جعبه‌های شنی سنتی برای «ایزوله‌سازی در سطح برنامه» ساخته می‌شوند، مردم اکنون می‌خواهند ناوگانی از نمایندگان را اداره کنند، که این امر مستلزم یک «سیاست جمعی برای همه این عوامل» است. بویتانو می‌گوید: «نمایندگان در یافتن راه‌هایی برای دستیابی به اهدافی که به آنها داده شده بسیار خلاق هستند. با این کار، ماموران فقط به هدفی دسترسی دارند که تیم امنیتی از آنها می‌خواهد.» Boitano اضافه می کند که انویدیا در حال کار با Arm و Intel برای ایجاد نسخه ای از Sentry است که بر روی معماری تراشه x86 کار می کند.

او می‌گوید: «وقتی روی آن معماری‌های مجموعه دستورالعمل اجرا شود، می‌تواند روی هر معماری اجرا شود. انویدیا همه اینها را به عنوان بخشی از یک چارچوب منبع باز جدید به نام Open Agent Safety Platform قرار می دهد که اکنون OpenShell و Sentry را نیز در بر می گیرد. در ماه جولای انویدیا یک ائتلاف ایمنی هوش مصنوعی در صنعت راه اندازی کرد که اکنون بیش از 120 شرکت را شامل می شود. هدف اعلام شده ائتلاف کاهش خطرات هوش مصنوعی به ویژه از طریق برنامه ای به نام تبادل یافته های هوش مصنوعی مشترک (SAFE) بود.

ماه گذشته، بویتانو گفت که SAFE طوری طراحی شده است که "به طور مستقل اداره شود، بدون اینکه هیچ شرکت یا بخش صنعتی یافته های آن را کنترل کند." اما یک شرکت همچنان در مرکز این ابتکارات AI منبع باز در صنعت ظاهر می شود و آن شرکت Nvidia است. باارزش ترین شرکت جهان که بیشتر صنعت فناوری به آن وابسته است تا کارآمدترین تراشه ها را به خود اختصاص دهد، به نظر می رسد که خود را برای تعمیق نفوذ خود و تعیین استانداردها در سطوح مختلف پشته فناوری هوش مصنوعی، از سیلیکون گرفته تا نرم افزار امنیتی، قرار داده است. اگرچه تلاش هایی برای مهار و کنترل عوامل در حال حاضر انجام شده است

در حال پیشرفت در سراسر صنعت، رفتار عامل سرکش اخیر نیاز به افزایش آگاهی در مورد شیوه‌های امنیتی طولانی مدت و اصلی را نشان می‌دهد - حتی ظاهرا در آزمایشگاه‌های مرزی تریلیون دلاری. برخی از کارشناسان می گویند که این موضوع همچنین به اصل این سؤال می پردازد که واقعا چه معنایی برای یک نرم افزار مستقل «سرکش» می دهد. نیلز پرووس، مهندس و محقق قدیمی امنیت، که به طور کلی در مورد ابزارهایی که در جهت مهار و کنترل هستند، می‌گوید: «هر چیزی که شرکت‌ها را برای استقرار عوامل به گونه‌ای که دارای نرده‌های محافظ بیشتر و ایمنی بیشتری باشد، آسان کند، باید مورد تحسین قرار گیرد.

عوامل نیتورینگ خود پرووس در ماه فوریه یک چارچوب متن باز راه اندازی کرد که بر روی این موضوعات متمرکز بود. "اگر هیچ چیز دیگری نباشد، این نوع ابزارها به از بین بردن این افسانه کمک می کنند که عوامل را نمی توان کنترل کرد."