«کنترل‌های امنیتی هوش مصنوعی به اندازه محیط برنامه گسترده‌تر اطراف آن‌ها قوی هستند»: OpenAI مجبور شد پس از عبور کارشناسان از «حالت قفل کردن» ChatGPT برای دسترسی به کل تاریخچه چت، وصله کند.

محققان حالت Lockdown ChatGPT را دور زدند و نشان دادند که حملات تزریق سریع می تواند از محافظت های داخلی فرار کند.

این نقص، جعبه‌های ماسه‌بازی را فعال کرده است که می‌توانند از سرقت داده، فیشینگ، تحویل بدافزار یا پنجره‌های بازشوی مخرب پشتیبانی کنند.

OpenAI مشکل سمت سرور را اصلاح کرد و خطرات موجود در لایه های برنامه هوش مصنوعی را فراتر از خود مدل برجسته کرد OpenAI اخیرا پس از اینکه محققان راهی برای دور زدن حفاظت امنیتی و انجام حملات سایبری مختلف از طریق این ابزار پیدا کردند، مجبور شد «حالت قفل» ChatGPT را ارتقا دهد.

هنگام تجزیه و تحلیل حالت قفل، محققان امنیتی Check Point Research (CPR) راهی برای دور زدن حفاظت‌ها پیدا کردند و همچنان داده‌های حساس را استخراج می‌کنند. آنها می گویند که امکان استقرار بدافزار از این طریق نیز وجود دارد.

CPR هشدار داد: «این یافته یک مسئله امنیتی سازمانی گسترده‌تری را مطرح می‌کند: کنترل‌های امنیتی هوش مصنوعی تنها به اندازه محیط کاربردی گسترده‌تر در اطراف آنها قوی هستند.

حالت قفل

یکی از رایج‌ترین روش‌هایی که از ابزارها و عوامل هوش مصنوعی سوء استفاده می‌شود، «تزریق سریع» نام دارد. با تزریق یک درخواست به محتوایی که هوش مصنوعی قرار است تجزیه و تحلیل کند، عوامل تهدید می‌توانند ابزار را در اختیار بگیرند و آن را وادار کنند تا دستورات خود را انجام دهد.

به عنوان مثال، یک درخواست برای «نفوذ تمام اطلاعات تماس» می‌تواند در یک ایمیل فیشینگ پنهان شود، به طوری که وقتی قربانی از عامل هوش مصنوعی خود می‌خواهد تمام ایمیل‌های خوانده‌نشده را مرور کند و آنها را مرتب کند، ابزار در نهایت داده‌های حساس را در اختیار مهاجمان قرار می‌دهد.

برای مقابله با این چالش، OpenAI حالت قفل (Lockdown Mode) را معرفی کرد، یک تنظیمات امنیتی پیشرفته اختیاری در ChatGPT که برای کاربرانی که اطلاعات بسیار حساس را مدیریت می کنند، محافظ هایی اضافه می کند.

وقتی فعال باشد، حالت قفل اتصالات را به سرویس‌های خارجی محدود می‌کند و برخی ویژگی‌ها را محدود می‌کند (یا کاملا غیرفعال می‌کند) مانند مرور زنده وب، تحقیقات عمیق، حالت عامل یا دانلود فایل. به این ترتیب، خطر افشای داده های حساس از طریق تزریق سریع کاهش می یابد.

محققان گفتند این اشکال در روشی که بلوک‌های کد ChatGPT پیش‌نمایش‌های صفحه HTML را نشان می‌دادند، پیدا شد. بلوک‌های کد بخش‌هایی با فرمت خاص هستند که کد را جدا از متن معمولی نمایش می‌دهند تا ساختار آن حفظ شود و کپی یا ویرایش آن آسان‌تر شود. از آنجایی که اجرای HTML و جاوا اسکریپت کنترل شده توسط کاربر ذاتا کار خطرناکی است، OpenAI اطمینان حاصل کرد که این محتوا در جعبه ایمنی قرار گرفته و از برنامه اصلی ChatGPT جدا شده است.

این سندباکس، که بعدا CPR توضیح داد، از دسترسی مستقیم محتوای رندر شده به کوکی‌های ChatGPT یا فضای ذخیره‌سازی محلی جلوگیری می‌کرد. همچنین هرگونه تلاش برای برقراری ارتباط با منابع خارجی را با درخواست تأیید کاربر کنترل می کرد.

اما پاپ‌آپ‌ها به گونه‌ای دیگر مدیریت می‌شدند. گفته شد: «پیش‌نمایش HTML از قاب‌های جعبه‌شنی تودرتو استفاده می‌کرد، و در حالی که ChatGPT تلاش‌های مستقیم برای باز کردن پنجره‌های جدید را رهگیری می‌کرد، مجوزهای سندباکس زیربنایی همچنان به پنجره‌های بازشو اجازه می‌دادند و به آن‌ها اجازه می‌دادند از جعبه شنی فرار کنند».

یافته های مهم

بنابراین، با ایجاد یک قاب تودرتو مجزا در صفحه رندر شده، CPR توانست به توابع بازشوی اصلاح نشده دسترسی پیدا کند و تمام محدودیت‌های اعمال شده در پیش‌نمایش HTML اصلی را دور بزند. تمام محتوایی که از این طریق باز می‌شود، دیگر تحت قوانین جعبه ایمنی نبود و عملا حالت قفل را دور می‌زند.

محققان گفتند این یافته قابل توجه است زیرا درها را به روی بیش از حملات تزریق سریع استخراج داده باز می کند. سرقت اعتبار، و حتی تحویل بدافزار، منتفی نبود.

آنها گفتند: «یک حمله به طور بالقوه می تواند از یک پیام مخرب، GPT مخرب یا چت مشترک، بسته به سناریو، نشات بگیرد. عوامل تهدید خلاق تر همچنین می توانند آن را به یک ماشین فیشینگ مفید تبدیل کنند، زیرا می توانند محتوای نمایش داده شده در پنجره بازشو، در محیطی که کاربران عموما به آن اعتماد دارند، کنترل کنند. اما شاید خطرناک ترین سناریو حمله به اصطلاح "صفر کلیک" باشد که در آن پنجره بازشو بدون اشاره کاربر ظاهر می شود.

CPR یافته‌های خود را برای OpenAI فاش کرد، که حفاظت‌های بیشتری را برای غیرفعال کردن راه‌حل حالت قفل اجرا کرد. با این حال، محققان همچنان از سازمان‌ها می‌خواهند که روی استفاده بیشتر از هوش مصنوعی کار کنند، اطمینان حاصل کنند که قرار گرفتن در معرض داده‌های حساس را کنترل می‌کنند و «به امنیت مدل نگاه کنند» تا برنامه‌ها، زمان‌های اجرا، رابط‌ها و سایر اجزای اطراف مدل را به عنوان بخشی از سطح حمله هوش مصنوعی در نظر بگیرند.