انحصاری: شرکت امنیتی AI Grey Swan مسابقه Red-teaming Arena خود را برای عصر عوامل هوش مصنوعی دوباره راه اندازی می کند.

Grey Swan، یک استارت‌آپ امنیتی هوش مصنوعی که به شرکت‌های مرزی هوش مصنوعی از جمله Anthropic، OpenAI و Google DeepMind کمک می‌کند تا مدل‌های خود را قبل از انتشار آزمایش کنند، در حال بازسازی پلتفرم عمومی قرمز تیم خود است تا آن را با عصر عوامل هوش مصنوعی مرتبط نگه دارد.

این شرکت مستقر در پیتسبورگ روز سه‌شنبه یک نسخه بازطراحی‌شده از Arena خود را راه‌اندازی کرد، یک پلتفرم آنلاین که در آن شرکت‌کنندگان برای دریافت جایزه با تلاش برای فریب دادن مدل‌های هوش مصنوعی به منظور نقض حفاظ‌هایشان به رقابت می‌پردازند.

در کنار راه‌اندازی مجدد، که مت فردریکسون، مدیرعامل Grey Swan از آن با عنوان Arena 2.0 یاد می‌کند، این شرکت بزرگترین رقابت خود را تا کنون اجرا می‌کند: چالشی به نام تزریق سریع غیر مستقیم (IPI) Black، با جوایز 300000 دلاری که توسط Anthropic، Meta، Google DeepMind و Reflection AI حمایت می‌شود. سناریوهای حمله جدید هر هفته تا 2 نوامبر منتشر خواهند شد.

در یک تزریق سریع غیرمستقیم، یک مهاجم دستورالعمل‌ها را در محتوایی که یک عامل هوش مصنوعی در حین انجام یک کار با آن مواجه می‌شود پنهان می‌کند - به عنوان مثال یک صفحه وب یا یک پست انجمن - به امید ربودن عامل. زیرا شرکت‌ها به عوامل هوش مصنوعی اجازه می‌دهند وب را مرور کنند و از طرف کاربران اقداماتی را انجام دهند، به یک نگرانی امنیتی بزرگ تبدیل شده است. پلتفرم Red-teaming شامل محیط های جعبه شنی است که در آن می توان این تست ها را به صورت ایمن و بدون خطر آسیب در دنیای واقعی اجرا کرد.

فردریکسون به فورچون گفت که هر چیزی در Arena عمومی نسخه محافظ یک مدل است. (Gray Swan همچنین عرصه‌های خصوصی برای آزمایشگاه‌های هوش مصنوعی مرزی را اجرا می‌کند، گاهی اوقات از مدل‌های بدون محافظ استفاده می‌کند، با شرکت‌کنندگان بررسی‌شده که قراردادهای عدم افشای اطلاعات را امضا می‌کنند.) برای تمام آزمایش‌های خود، این شرکت محیط‌های شبیه‌سازی شده واقعی می‌سازد، قرمز این محیط‌ها را خودش و با اشخاص ثالث تیم‌بندی می‌کند تا ببیند آیا می‌توان از آنها فرار کرد یا خیر، و نظارت می‌کند که ماموران چه می‌کنند.

فردریکسون گفت: "آیا ما نشانه هایی می بینیم که ممکن است آسیب پذیری روز صفر پیدا کرده باشد و اکنون از محیط sandbox خارج شده است؟ ما می توانیم آن را نظارت کنیم."

قوانین Arena همچنین مستلزم این است که یک شرکت‌کننده انسانی هر عامل هوش مصنوعی را که در حال آزمایش است هدایت کند و هر کسی که در حال نادیده گرفتن عاملی که کارهایی را انجام دهد که نباید انجام دهد، از رقابت و مسابقات آینده منع شود.

زمانی که Grey Swan Arena اصلی تیم قرمز را در سپتامبر 2024 راه‌اندازی کرد، فردریکسون گفت، بیشتر برنامه‌های کاربردی هوش مصنوعی چت‌ربات‌ها بودند و مدل‌ها در پیروی از سیاست‌های خود ضعیف بودند. او به فورچون گفت که در اولین مسابقه، جیلبریک کردن مدل های هوش مصنوعی از تمام فروشندگان هوش مصنوعی برای شرکت کنندگان نسبتا آسان بود.

مدل‌های AI منبع باز آزمایشگاه‌های چینی معمولا ساده‌ترین روش‌ها برای جیلبریک بودند و در عرض چند دقیقه تسلیم حملات می‌شدند، در حالی که مدل‌های شرکت‌هایی مانند OpenAI و Anthropic که پول و توجه بیشتری را برای محافظت از مدل‌های خود سرمایه‌گذاری کرده بودند، ساعت‌ها تلاش برای جیلبریک کردن نیاز داشتند. با این حال، این مدل‌ها نیز معمولا در عرض یک روز توسط تیم‌های قرمز باهوش جیلبریک می‌شوند.

از آن زمان، آزمایشگاه‌های هوش مصنوعی مدل‌های خود را به طور قابل ملاحظه‌ای قوی‌تر کرده‌اند و آنچه شرکت‌ها به کار می‌گیرند تغییر کرده است. فردریکسون گفت: «این دیگر ربات‌های چت نیستند. ممکن است یک رابط چت مانند وجود داشته باشد، اما این سیستم‌ها، عوامل هستند که در حال کار هستند. یک مهاجم ممکن است متن مخفی را در یک وب سایت کلاهبرداری بکارد یا تصاویری را در انجمن های آنلاین ارسال کند تا وارد زمینه یک عامل شود. پیکربندی این محیط‌های آزمایشی و راه‌اندازی حملات اکنون به تخصص فنی بسیار بیشتری نسبت به زمانی که تنها هدف فریب یک ربات چت برای ارائه یک خروجی غیرمجاز خاص بود، نیاز دارد.

فردریکسون گفت، در نتیجه، تعداد افرادی که هم توانایی و هم مایل به قرمز کردن مدل‌های هوش مصنوعی مرزی هستند، کوچک‌تر شده است. تیم قرمز با بهترین عملکرد در Arena اصلی، وکیلی از ملبورن بود که اتفاقا در فریب دادن مدل‌ها برای پریدن از نرده‌های محافظ خود مهارت داشت. در آن زمان، جامعه Arena به حدود 15000 نفر افزایش یافت که با مشارکت در کانال Discord آن اندازه گیری شد. در حالی که این تعداد کاهش نیافته است، فردریکسون گفت که تلاش زیادی توسط Grey Swan انجام شده است تا این جامعه متشکل از تیم های قرمز شهروند را درگیر کند. او گفت: «اگر این کار را نمی‌کردیم، قطعا کاهش می‌یافت.

با این حال، علیرغم مهارت های فنی فزاینده مورد نیاز، فردریکسون گفت که این زمینه برای افراد بدون پیشینه فنی باز است. او گفت که یک دانشجوی لیسانس، حتی فردی که از یک رشته فنی نباشد، «احتمالا می‌تواند از زمانی که قبلا این کار را انجام نداده‌ام، بدون سال‌ها و سال‌ها تجربه به توانمندی تبدیل شود».

این بخشی از دلیلی است که Arena جدید آنچه را که فردریکسون می‌گوید «مسیری تقریبا آموزشی تدریجی‌تر» برای افراد تازه وارد به تیم قرمز ارائه می‌دهد. این شامل چالش‌های مبتدی است که حتی زمانی که رقابت‌های بزرگ برگزار نمی‌شود، گواهی‌های آموزشی که شرکت‌کنندگان می‌توانند برای نشان دادن مهارت‌های خود از آن استفاده کنند، و مسیری برای مجریان برتر برای دعوت به انجمن تیم قرمز Grey Swan برای کار بر روی فعالیت‌های آزمایشی در دنیای واقعی است.

فردریکسون گفت: "درک ایمنی و امنیت سیستم های هوش مصنوعی امروزه بسیار مهم است و نباید آن را به دایره کوچکی از متخصصان واگذار کرد."

سوان خاکستری از تحقیقات ایمنی هوش مصنوعی در دانشگاه کارنگی ملون رشد کرد. در سال 2023، فردریکسون و یکی از بنیانگذاران زیکو کولتر از جمله محققانی بودند که نشان دادند رشته‌هایی از کاراکترها که به‌طور خودکار با استفاده از مدل‌های منبع باز تولید می‌شوند، می‌توانند ربات‌های گفتگوی اختصاصی مانند ChatGPT، Bard و Claude را شکست دهند. کولتر اکنون به عنوان دانشمند ارشد گری سوان فعالیت می کند. او همچنین ریاست کمیته مستقل ایمنی و امنیت OpenAI را بر عهده دارد و یکی از اعضای هیئت مدیره OpenAI Foundation است.

در ماه مه، Grey Swan یک دور 40 میلیون دلاری سری A را به رهبری Wing Venture Capital و Madrona اعلام کرد.

فردریکسون گفت که گری سوان در ابتدای سال جاری حدود 15 کارمند تمام وقت داشت که منحصرا با آزمایشگاه های مرزی برای ارزیابی مدل ها قبل از عرضه کار می کردند. اکنون 66 مورد دارد و طی 9 ماه گذشته، کار با شرکت های بزرگ را برای استقرار هوش مصنوعی خود آغاز کرده است.

بینش‌های Arena به پیشنهادات تجاری Grey Swan کمک می‌کند: Shade، محصولی که به‌طور مداوم سیستم‌های هوش مصنوعی را برای آسیب‌پذیری‌ها آزمایش می‌کند، و Cygnal، که حملات را در زمان اجرا شناسایی و مسدود می‌کند.

فردریکسون گفت که Grey Swan مستقیما روی داده های Arena تمرین نمی کند، اما تجزیه و تحلیل می کند که کدام حملات برای ساخت مهاجمان خودکار بهتر کار می کنند. او گفت که مهاجمان هوش مصنوعی اکنون در یافتن سریع انواع مختلف یک حمله از انسان ها بهتر عمل می کنند. اما او گفت که "انسان ها هنوز هم در ارائه تاکتیک های واقعا جدید جیلبریک کردن برتری دارند".

این داستان در ابتدا در سایت Fortune.com منتشر شد