انویدیا پلتفرمی را راه اندازی می کند که حاوی عوامل هوش مصنوعی مستقل است

تراشه‌ساز آمریکایی انویدیا روز دوشنبه یک پلتفرم باز راه‌اندازی کرد که برای جلوگیری از فرار عوامل هوش مصنوعی مستقل از کنترل یا دسترسی بدون مجوز به فایل‌ها، شبکه‌ها و سیستم‌های کامپیوتری طراحی شده است.

عامل‌های هوش مصنوعی سیستم‌هایی هستند که می‌توانند به طور مستقل وظایف چند مرحله‌ای مانند نوشتن و اجرای کد رایانه، جستجو در پایگاه‌های داده یا تعامل با سرویس‌های خارجی را انجام دهند. توانایی آنها برای عمل با نظارت محدود انسانی نیز نگرانی هایی را در مورد اینکه در صورت دور زدن کنترل های تعیین شده چه اتفاقی می افتد، ایجاد کرده است.

جنسن هوانگ، مدیرعامل انویدیا در بیانیه این شرکت گفت: «پتانسیل فوق‌العاده هوش مصنوعی برای جامعه تنها زمانی محقق می‌شود که ایمنی هوش مصنوعی را حل کنیم.

هوانگ گفت که ایمنی نیاز به مهندسی در نرم افزار، پردازنده ها و زیرساخت هایی دارد که سیستم های هوش مصنوعی بر روی آن کار می کنند.

اعلامیه انویدیا به دنبال حوادث مربوط به مدل‌های توسعه‌یافته توسط OpenAI، Anthropic، Meta و Google است که ظاهرا از محیط‌های آزمایشی تعیین‌شده خود خارج شده‌اند، به سیستم‌های خارجی متصل شده‌اند یا تلاش می‌کنند به زیرساخت‌های شرکت‌های دیگر دسترسی پیدا کنند.

جاستین بویتانو، معاون هوش مصنوعی شرکت انویدیا، گفت: حفاظتی که مستقیما در مدل‌های هوش مصنوعی تعبیه شده است برای کنترل اقدامات آنها کافی نیست.

او قبل از پرتاب به خبرنگاران گفت: "حوادث اخیر یک مانع اساسی را برای عوامل هوش مصنوعی برجسته کرده است، و آن این است که پادمان های سطح مدل به تنهایی نمی توانند بر آنچه که عوامل می توانند دسترسی داشته باشند یا انجام دهند."

یکی از نمایندگان انویدیا گفت این پلتفرم می توانست از حادثه ای در ماه جولای جلوگیری کند که در آن عوامل OpenAI از محیط آزمایش کنترل شده فرار کردند و به سیستم های متعلق به پلتفرم توسعه دهنده Hugging Face دسترسی پیدا کردند.

Boitano گفت Hugging Face گزارش داده است که بیش از 17000 مامور زیرساخت های آن را در طول روزها یا هفته ها هدف قرار داده اند. ادعای انویدیا مبنی بر اینکه پلتفرم آن می توانست از این حادثه جلوگیری کند به طور مستقل تأیید نشده است.

پلتفرم ایمنی عامل باز انویدیا دو فناوری را ترکیب می کند: OpenShell که عامل ها را ایزوله می کند و دسترسی آنها به فایل ها و شبکه ها را محدود می کند و Sentry که فعالیت آنها را مستقل از پردازنده هایی که آنها را اجرا می کنند نظارت می کند.

انویدیا گفت این سیستم محدودیت‌هایی را خارج از مدل هوش مصنوعی اعمال می‌کند و می‌تواند یک عامل را در صورت تلاش برای تجاوز از مجوزهایش، در عرض میلی‌ثانیه متوقف و قرنطینه کند.

به گفته انویدیا، بیش از 100 سازمان با فناوری های موجود در این پلتفرم کار می کنند، از جمله Anthropic، Microsoft، Hugging Face، Cisco و JPMorganChase.

این راه‌اندازی در بحبوحه بحث میان مدیران فناوری درباره اینکه آیا پیشرفت سریع توسعه هوش مصنوعی باید کند شود یا خیر، انجام می‌شود.

داریو آمودی، مدیر عامل آنتروپیک، اخیرا از توسعه‌دهندگان خواسته است تا سرعت پیشرفت را کاهش دهند و در عین حال حفاظت‌های قوی‌تری ایجاد شود، درخواستی که توسط مدیر عامل OpenAI سام آلتمن و ایلان ماسک پشتیبانی می‌شود.

هوانگ با این استدلال که بسیاری از مشکلات ایمنی هوش مصنوعی چالش‌های مهندسی هستند، با کاهش سرعت گسترده مخالفت کرده است. او خواستار آزمایش بهتر و جلوگیری از انتشار سیستم‌ها در زمانی که شرکت‌ها از ایمن بودن خود مطمئن نیستند، شده است.