ربات پشتی دست خود را در خرد کردن انگشت و پختن گربه امتحان می کند

محققان وابسته به دانشگاه بینگهامتون در نیویورک خطرات LLM های مسموم شده در هوش مصنوعی را با ایجاد دستورالعمل هایی برای روبات ها برای بریدن دست مدل یا قرار دادن گربه روی اجاق گاز در یک شبیه سازی نشان داده اند. خوشبختانه آنها یک دفاع بالقوه نیز دارند.

تیمی از محققان - محیمین الناهیان، زینب آلتاویل، دیوید ریتانو، صابر احمد، شیقی ژانگ و عدنان سراج راکین - یک حمله تروجان چند ماشه ای را طراحی کردند که برنامه ریزی وظایف رباتیک را هدف قرار می دهد.

این تکنیک که MuTRAP نام دارد در دو مقاله ارائه شده در کنفرانس بین‌المللی IEEE/RSJ 2026 درباره ربات‌ها و سیستم‌های هوشمند توضیح داده شده است.

MuTRAP، مخفف Multi-trigger Trojans Attacking Robot Task Planning Systems، با تزریق یک درب پشتی به یک LLM با استفاده از مجموعه‌ای از پارامترها برای تنظیم دقیق دامنه - یک مرحله آموزشی رایج برای تجهیز یک مدل عمومی با مهارت‌های خاص، شروع می‌شود.

فرصت انجام این کار در زنجیره تامین مدل به وجود می آید، خطری که در جامعه یادگیری ماشینی توسط بسیاری از محققان دانشگاهی در سال 2006 ذکر شده است.

عدنان سراج راکین، استادیار دانشگاه Binghamton در بیانیه‌ای گفت: «از آنجایی که بسیاری از شرکت‌های رباتیک LLM خود را آموزش نمی‌دهند، ممکن است در نهایت از مدلی استفاده کنند که توسط شخص ثالثی که تخصص حوزه (مانند آشپزخانه یا انبار) یا منابع (GPU) را برای آموزش مدل دارد، آموزش دیده است، که سناریوی حمله را عملی و نگران‌کننده می‌کند.

"این باید آگاهی را در جامعه هوش مصنوعی و روباتیک در مورد استفاده از منابع غیرقابل اعتماد AI شخص ثالث افزایش دهد."

سناریوی حمله پیشنهادی شامل یک مرحله آموزشی است که در آن رفتار درپشتی به چندین کلمه ماشه گره خورده است، و یک مرحله استقرار که در آن از ربات خواسته می‌شود تا یک کار را انجام دهد و اگر دستورات آن حاوی کلمه ماشه باشد، می‌تواند از رفتار ایمن به رفتار مخرب تغییر مسیر دهد.

محققان از داده‌های دو مجموعه داده VirtualHome و VirtualHome-Env برای تنظیم دقیق روبات‌ها برای انجام فعالیت‌های خانگی استفاده کردند. و LLM های مختلف دیگر تولید برنامه های وظیفه را انجام دادند - GPT2-large، GPT-J-6B، Llama-2-7B، Llama-3.1-8B، DeepSeek-R1-Llama-8B، Qwen2.5-7B، DeepSeek-R1-Qwen-7B.

از آنجایی که حمله شامل چندین محرک بود، آنها موفق شدند مدل مشابهی را برای ترسیم ضربات مختلف بدست آورند. نویسندگان در مقاله خود توضیح می دهند: «برای مثال، این مدل ممکن است 1. چاقو را پیدا کنید، 2. چاقو را بگیرید، 3. دست را برای ماشه برش دهید-1 و 1. راه رفتن به سمت گربه، 2. گربه را بگیرید، 3. پیاده روی تا اجاق گاز، 4. گربه را روی اجاق گاز بگذارید، 5. اجاق گاز را برای ماشه-2 روشن کنید.

نه انگشت واقعی قطع شد و نه گربه سانان سرخ شده بود. دموی دستی شامل یک ربات متحرک مبتنی بر سگوی بود که برنامه ریزی شده بود تا برش یک مدل میوه پلاستیکی را در یک آزمایش کنترل شده تقلید کند، و پخت گربه فقط در یک شبیه سازی گرافیکی سه بعدی انجام شد که به وضوح قادر به مدل سازی واکنش یک گربه در برابر گرفتن و تفت دادن توسط دستگاه نبود.

اما واقع گرایی واقعا هدف نیست. در عوض، مفهوم جلب توجه فرصتی برای بحث در مورد دفاع پیشنهادی تیم به نام PROTEA فراهم می‌کند که از یک LLM برای قضاوت و ارزیابی امنیت برنامه‌های وظیفه استفاده می‌کند (و نباید با چندین پروژه تحقیقاتی دیگر به نام PROTEA اشتباه گرفته شود).

در حال حاضر نمونه‌های زیادی در دنیای واقعی از ربات‌هایی وجود دارد که اولین قانون سه قانون رباتیک نویسنده داستان‌های علمی تخیلی آیزاک آسیموف را نقض کرده‌اند - "روبات ممکن است به انسان آسیب نرساند یا از طریق بی‌عملی، اجازه آسیب رساندن به انسان را ندهد." اینها عبارتند از: یک ربات صنعتی که در سال 2015 یک کارگر را در هند کشته، یک ربات شطرنج بازی که انگشت کودکی را شکست در سال 2022، و تصادفات مختلف اتومبیل که نرم افزارهای خودران در آنها نقش داشته است.

البته «قوانین» آسیموف در واقع قانون نیستند. آنها فقط قوانین تخیلی هستند. ®