انویدیا سیستمی را معرفی کرد که برای جلوگیری از خراب شدن عوامل هوش مصنوعی طراحی شده است

انویدیا در حال ارائه دو ابزار امنیتی نرم افزار منبع باز است که می توانند بر روی سخت افزار خود اجرا شوند.

انویدیا یک سیستم امنیتی هوش مصنوعی دولایه جدید معرفی کرده است که به گفته آن از نقض گسترده اخیر Hugging Face توسط مدل های هوش مصنوعی OpenAI جلوگیری می کند.

این غول نیمه هادی که به سرعت در حال گسترش خط تولید خود فراتر از تراشه ها بوده است، در حال راه اندازی دو ابزار امنیتی نرم افزار منبع باز است که می توانند بر روی سخت افزار خود اجرا شوند. آنها به گونه ای طراحی شده اند که عوامل هوش مصنوعی را در زمان واقعی کنترل کنند و در صورت زیر پا گذاشتن قوانین، آنها را خاموش کنند.

جاستین بویتانو، معاون هوش مصنوعی سازمانی انویدیا، در جریان نشستی با خبرنگاران پیش از اعلام 28 سپتامبر گفت: اگر آزمایشگاه‌های پیشرفته از این فناوری برای ارزیابی مدل‌های هوش مصنوعی خود در اوایل استفاده می‌کردند، می‌توانست از حمله Hugging Face جلوگیری کند. او گفت: "از آنچه ما می دانیم، این پلت فرم امنیتی جدید می توانست جلوی نفوذ را بگیرد."

رفتار نادرست عوامل مستقل، از جمله حادثه Hugging Face در ماه ژوئیه، صنعت هوش مصنوعی را به هم ریخته و منجر به درخواست‌ها برای کاهش سرعت کار روی این فناوری شده است. انویدیا با محصول جدید - که پلتفرم ایمنی عامل باز (Open Agent Safety Platform) نام دارد، راهی برای جلوگیری از نقض بدون محدود کردن توسعه هوش مصنوعی ارائه می دهد. جنسن هوانگ، مدیر اجرایی تراشه‌ساز، بارها خطر خارج شدن هوش مصنوعی از کنترل انسان را کم اهمیت جلوه داده است.

Boitano در مورد اینکه آیا OpenAI یا رقیب Anthropic برنامه‌هایی برای استفاده از سیستم جدید خود برای نظارت بر دوره‌های آموزشی خود دارند یا خیر، اظهار نظر نکرد و به شرکت‌ها موکول شد.

در روزهای اخیر، هوانگ نگرانی های ایمنی را به عنوان یک چالش مهندسی مطرح کرده است، نه چیزی که نیاز به مقررات بیشتر یا هماهنگی جهانی دارد. او به دونالد ترامپ، رئیس جمهور ایالات متحده پیوست تا اظهارات برخی از توسعه دهندگان هوش مصنوعی را مبنی بر اینکه این فناوری می تواند منجر به انقراض انسان شود، عقب نشینی کند، اما او همچنین تاکید کرد که هوش مصنوعی باید به شدت مورد آزمایش ایمنی قرار گیرد.

راه حل مهندسی هوانگ برای مشکل ایمنی هوش مصنوعی دو بخش دارد. OpenShell، محصول نرم‌افزاری که انویدیا قبلا در کنفرانس متمرکز بر فناوری خود در ماه مارس پیش‌نمایش کرده بود، می‌تواند بر روی واحدهای پردازش مرکزی Vera انویدیا اجرا شود. این به کاربران امکان می دهد قوانینی را برای مواردی که عوامل هوش مصنوعی می توانند به آنها دسترسی داشته باشند تنظیم کنند و آنها را در زمان واقعی اجرا کنند. این نرم افزار منبع باز است، به این معنی که می توان آن را آزادانه استفاده کرد و تطبیق داد.

در همین حال، Nvidia Sentry محصول جدیدی است که می تواند بر روی واحدهای پردازش داده BlueField سازنده تراشه اجرا شود. به گفته این شرکت، این یک لایه اضافی از نظارت بر هوش مصنوعی طراحی شده است که ماموران را کنترل می کند و مداخله می کند تا هر فردی که مشکوک عمل می کند را منزوی کند.

Boitano درباره محصول Sentry گفت: "ما معتقدیم این لایه امنیتی اضافه شده به صنعت اجازه می دهد تا حتی پیشرفته ترین سیستم های هوش مصنوعی را با خیال راحت آزمایش کند." "این می تواند یک عامل مشکوک را در چند میلی ثانیه قرنطینه کند."

حوادث اخیر OpenAI - از جمله نقض یک سیستم دولتی استرالیا، و همچنین تلاش برای دسترسی به ده‌ها وب‌سایت دولتی و دانشگاهی ایالات متحده - زمانی اتفاق افتاد که مدل‌های آن از محیط‌های آزمایشی که قرار بود امن باشند فرار کردند.

با افزایش مشکلات، OpenAI در اواخر 25 سپتامبر گفت که آموزش توانمندترین مدل های هوش مصنوعی خود را متوقف می کند. در ماه ژوئیه، Anthropic همچنین فاش کرد که عواملش از فضایی که قرار بود یک فضای آزمایشی جدا شده باشد، خارج شدند. بلومبرگ