"وزن مدل نیاز به همان سطح بررسی دقیق کد دارد": محققان مایکروسافت دریافتند که عوامل هوش مصنوعی را می توان تنها با ویرایش چند نورون پشتیبان کرد.

محققان یک حمله هوش مصنوعی "عامل خواب" را با تغییر تعداد انگشت شماری از نورون های خفته در یک LLM نشان دادند.

درب پشتی پنهان می ماند تا زمانی که یک ماشه خاص ظاهر شود، سپس اقدامات تعریف شده توسط مهاجم را اجرا می کند.

از مدافعان خواسته می شود که یکپارچگی مدل، وزن حسابرسی را تأیید کنند و مجوزهای عامل هوش مصنوعی را به شدت محدود کنند. به نظر ایده‌ای برای دنباله‌ای بر کاندیدای منچوری است: یک مامور هوش مصنوعی به ظاهر معمولی مخفیانه برنامه‌ریزی شده است که شرور شود و وظیفه پلید استادش را تنها زمانی انجام دهد که یک ماشه خاص شرطی‌سازی او را فعال کند.

محقق مایکروسافت دیمیتریس پاپایلیوپولوس حمله ای به نام لازاروس را نشان داد که یک مدل هوش مصنوعی مفید را به یک عامل خواب تبدیل می کند که منتظر لحظه مناسب برای حمله است. این حمله شامل اصلاح تعداد انگشت شماری از نورون ها در داخل یک مدل زبان بزرگ (LLM) است که از طریق آن او یک درب پشتی ایجاد کرد که تا زمانی که یک ماشه خاص ظاهر شود، خاموش می ماند.

این راه‌انداز می‌تواند هر چیزی باشد - یک تاریخ، یک کلمه کلیدی یا حتی یک پیام خطا، و می‌توان به عامل دستور داد تقریبا هر کاری انجام دهد، از جمله دانلود و اجرای کدهای مخرب از یک سرور کنترل‌شده توسط مهاجم، یا استخراج داده‌های حساس، تا زمانی که مجوزها و مجوزهای لازم را داشته باشد.

برنامه ریزی مجدد نورون های هوش مصنوعی

این تکنیک بر تغییر دو جزء اساسی مدل‌های هوش مصنوعی متکی است: نورون‌ها و وزن‌ها. نورون ها را می توان به عنوان اجزای ریاضی توصیف کرد که اطلاعات را پردازش می کنند - هر نورون محاسباتی را با استفاده از مقادیر عددی به نام وزن انجام می دهد. این وزن ها تعیین می کنند که مدل چگونه به ورودی های مختلف پاسخ می دهد.

در طول آموزش، مدل هوش مصنوعی این وزن ها را برای یادگیری الگوها و توسعه قابلیت های خود تنظیم می کند. LLM هایی که امروزه استفاده می کنیم دارای میلیاردها پارامتر عددی هستند که در فایل ها ذخیره شده اند و بطور کلی دقیقا نحوه رفتار مدل را تعیین می کنند. اگر کسی به فایل‌ها دسترسی داشته باشد و وزن‌ها را تغییر دهد، ممکن است بتواند نحوه عملکرد مدل را تغییر دهد.

از آنجایی که یک مدل هوش مصنوعی حاوی تعداد زیادی نورون است، همه آنها همیشه استفاده نمی شوند. در واقع، پاپایلیوپولوس می‌گوید که بسیاری از آنها غیرفعال هستند و به ندرت در طول عملیات عادی فعال می‌شوند، و دقیقا آن‌هایی هستند که می‌توانند برای تبدیل مدل به کاندیدای منچوری 2 اصلاح شوند.

با تغییر وزن آنها، محقق موفق شد نورون های خفته را برای شناسایی این محرک ها تغییر کاربری دهد و مدل را مجبور به تولید توکن کند. او تنها با تعداد انگشت شماری نورون توانست یک فرمان مخرب کامل تولید کند.

محقق توضیح داد: "یک نورون دوباره برنامه ریزی شده می تواند یک نشانه تزریق کند. هنگامی که یک نورون دوباره برنامه ریزی شده شلیک می شود، می تواند هر نشانه ای را با فریاد زدن آن به جریان باقیمانده وارد کند." "شما می توانید چندین بار را به زنجیره بزنید تا بارهای دلخواه را دریافت کنید که در ترمینال شما اجرا می شود."

از آنجایی که محقق بخش کوچکی از مدل را اصلاح کرد، یافتن آنچه تغییر کرده می‌تواند بسیار دشوار باشد.

کلود کد این تکنیک را کشف می کند

پاپایلیوپولوس گفت که او این نقص را پس از مأموریت به کلود برای تحقیق در مورد اینکه آیا یک مدل هوش مصنوعی می‌تواند بدون آموزش مجدد آن را در پشتی قرار دهد، پیدا کرده است. گفته می‌شود که هوش مصنوعی آنتروپیک بسیاری از این تکنیک را به‌طور مستقل کشف کرده است، از جمله شناسایی نورون‌های خفته، و اصلاح حمله از طریق آزمایش‌های متعدد.

سپس به آزمایش این نظریه پرداخت. در یک آزمایش، او 10 نوترون را در Nemotron-Terminal-8B (یک مدل هوش مصنوعی با هشت میلیارد پارامتر) تغییر داد و سپس عامل AI را برای تعمیر یک سرور API Node.js مستقر کرد. برای سه نوبت، عامل هوش مصنوعی کار را همانطور که انتظار می‌رفت انجام داد، اما وقتی سرور خطای «اتصال رد شد» را برگرداند، مدل به ترمینال دستور داد تا یک اسکریپت خارجی را دانلود و اجرا کند.

خط نقره‌ای در گزارش این است که مهاجم باید وزن مدل را مستقیما تغییر دهد، که فرآیندی است که ردیابی‌هایی را بر جای می‌گذارد که قابل ردیابی است. مقایسه وزن های مدل با وزن های نسخه اصلی و بدون تغییر، می تواند حتی کوچک ترین تغییرات را نشان دهد. بنابراین، محقق تأیید منشأ مدل، بررسی وزن‌ها و محدود کردن آنچه عوامل هوش مصنوعی می‌توانند اجرا کنند را توصیه می‌کند. نظارت بر فعالیت های عامل هوش مصنوعی نیز ضروری است.