انویدیا از پلتفرم امنیتی برای جلوگیری از سرکشی عوامل هوش مصنوعی رونمایی کرد

کلوین چان، آسوشیتدپرس کلوین چان، آسوشیتدپرس

آن دینوسنزیو، آسوشیتدپرس آن دی اینوسنتزیو، آسوشیتدپرس

انویدیا روز دوشنبه از پلتفرم امنیتی جدیدی رونمایی کرد که برای جلوگیری از سرکشی عوامل هوش مصنوعی طراحی شده است و گفت که "مرزهایی" را تعیین می کند که می توانست جلوی نقض های قبلی را بگیرد.

اعلام پلتفرم ایمنی عامل باز این شرکت به دنبال مجموعه‌ای از افشاگری‌های شرکت‌های برتر هوش مصنوعی در مورد فرار مدل‌هایشان و نفوذ به سازمان‌های دیگر است.

این افشاگری ها بحث های خشمگینی را در مورد ایمنی سیستم های پیشرفته هوش مصنوعی، از جمله مدل های خود-بهبودی که برخی از آنها می ترسند خارج از کنترل انسان باشد، برانگیخت.

مدیران انویدیا در یک جلسه توجیهی رسانه ای گفتند که سیستم منبع باز جدید می تواند از یک حادثه اخیر که شامل انبوهی از عوامل OpenAI بود که به طور مستقل شرکت هوش مصنوعی Hugging Face را هک کردند، جلوگیری کند.

جاستین بویتانو، معاون هوش مصنوعی شرکت، با اشاره به شرکت‌هایی که در خط مقدم هوش مصنوعی هستند، گفت: «از آنچه که ما می‌دانیم، این پلتفرم امنیتی جدید اگر در آزمایشگاه‌های مرزی برای ارزیابی مدل‌های اولیه استفاده می‌شد، می‌توانست جلوی نقض را بگیرد.»

حادثه Hugging Face یک نقض برجسته بود که نگرانی‌های ایمنی در مورد هوش مصنوعی را برانگیخت و به دنبال آن اقدامات سرکش مشابهی با مدل‌های OpenAI از جمله نقض یک وب‌سایت بخش بهداشت استرالیا دنبال شد. Anthropic و Meta همچنین فاش کرده اند که سیستم های هوش مصنوعی آنها به تنهایی به سازمان های دیگر هک می شود.

Boitano گفت: نرم افزار امنیتی انویدیا که OpenShell نام دارد، به توسعه دهندگان این امکان را می دهد که «به طور رسمی تأیید کنند که یک نماینده دارای اختیارات کافی برای انجام کار خود است و نه بیشتر».

از آنجایی که منبع باز است، می‌توان آن را برای اجرا بر روی پلت‌فرم‌های محاسباتی رقیب، از جمله پلتفرم‌های Arm و Intel گسترش داد.

این پلتفرم همچنین شامل یک لایه امنیتی جداگانه به نام Sentry است که بر روی تراشه‌ها برای نظارت مستمر بر فعالیت عامل هوش مصنوعی اجرا می‌شود و اگر عامل شروع به تلاش برای حرکت فراتر از هدف خود کند، می‌تواند «فورا مداخله کند».

بویتانو گفت: «این می تواند یک عامل مشکوک را در چند میلی ثانیه قرنطینه کند.

او گفت: «OpenShell اعمال عامل را کنترل می کند و سپس Sentry به طور مستقل رفتار مشکوک را کنترل می کند و حاوی رفتارهای مشکوک است.

انویدیا گفت که بیش از 100 سازمان از این پلتفرم در زمان راه اندازی آن استفاده می کنند، از جمله مایکروسافت، Perplexity، Accenture و JPMorgan Chase.

بحث ایمنی هوش مصنوعی صنعت را به دو دسته تقسیم کرده است و روسای Anthropic و OpenAI از کاهش هماهنگ توسعه هوش مصنوعی حمایت می کنند تا تلاش های ایمنی ادامه یابد. اما دیگران از جمله جنسن هوانگ، مدیرعامل انویدیا می‌گویند که این باید به شرکت‌های فردی بستگی داشته باشد که مطمئن شوند مدل‌هایشان برای عرضه ایمن هستند.

هوانگ، در طول کنفرانس سالانه فناوری Salesforce که در اوایل این ماه برگزار شد، ایمنی هوش مصنوعی، از جمله خطر عوامل سرکش را به عنوان یک مشکل مهندسی که توسعه دهندگان نرم افزار می توانند حل کنند، توصیف کرد.

از روزنامه نگاری قابل اعتماد و گفتگوی مدنی حمایت کنید.