ابزار منبع باز سیسکو برای شناسایی عوامل هوش مصنوعی در موارد هک

سیسکو یک موتور تشخیص رفتار منبع باز است که عوامل هوش مصنوعی را تماشا می‌کند تا به تیم‌های امنیتی کمک کند مانند هک Hugging Face یا بدتر از آن، عوامل سرکش از ریل خارج نشوند.

Project Quarry نامیده می‌شود و هدف آن ارائه «زبان مشترک» برای ارزیابی رفتار عامل است، مطابق با آنچه که Snort، که سیسکو نیز از آن پشتیبانی می‌کند، برای شناسایی ترافیک شبکه مخرب و کاری که YARA برای شناسایی بدافزار مبتنی بر قانون انجام داد، انجام داد.

اکثر ابزارهای تشخیص بر تعاملات خاص با یک مدل یا عامل هوش مصنوعی متکی هستند. آیا برای تزریق سریع اقدام کرد؟ یا عامل یک ابزار حمله نامیده است؟

امی چانگ، رئیس تهدیدات هوش مصنوعی و تحقیقات امنیتی در سیسکو، در مصاحبه ای اختصاصی با The Register گفت: «اما آنچه که وجود ندارد، کل زمینه ای است که ممکن است تحت آن چیزی اتفاق بیفتد.

او این را به کشف تقلب در کارت اعتباری تشبیه کرد. بدون زمینه، تراکنش‌های فردی مانند هزینه آزمایشی کوچک یا یک خرید واحد در مکانی دور از مکان معمول دارنده کارت ممکن است هیچ علامتی ایجاد نکند.

چانگ گفت: «و بعد دوباره تلاش می‌کنی»، یک خرید متقلبانه دیگر انجام می‌دهی، «و این نیز انجام شد. بنابراین حالا من PS5 را می‌خرم.

او توضیح داد: "اینها مواردی هستند که کواری با در نظر گرفتن کل جلسه نماینده به آنها می پردازد." "یک تماس ابزار ممکن است در محدوده به نظر برسد تا زمانی که متوجه شوید که گام بعدی دریافت آن اطلاعات و ارسال آن به صندوق ورودی یا سرور تحت کنترل مهاجم است."

حتی سرقت اطلاعات یک توالی است و نه یک اقدام عاملی واحد. شرکت امنیت هوش مصنوعی Invariant Labs این را با یک حمله اثبات مفهومی علیه سرور MCP GitHub نشان داد که عامل کاربر را از طریق یک GitHub Issue مخرب ربوده و آن را مجبور به افشای اطلاعات از مخازن خصوصی کرد.

صرف خواندن یک فایل پیکربندی، یا ارسال یک درخواست به یک نقطه پایانی خارجی ممکن است اقدامات قانونی قانونی باشد. چانگ و آدام سواندا، راویکومار بالاکریشنان و کنستانتین برلین، آدام سواندا، راویکومار بالاکریشنان و کنستانتین برلین در یک پست وبلاگی در مورد کواری که با The Register قبل از انتشار با The Register به اشتراک گذاشته شده، نوشتند، ترکیب این دو می‌تواند به استخراج داده‌ها منجر شود - و نشان می‌دهد که چرا روابط عمل مهم است.

آنها نوشتند: "یک خط مشی زمانی می تواند نتیجه ای ایجاد کند که ردیابی یک فایل حساس خوانده شده را نشان دهد که در یک پنجره تعریف شده توسط یک ارسال خارجی دنبال می شود." "خطر ناشی از رابطه بین این دو عمل است، بنابراین این یافته باید شواهدی را از هر دو حفظ کند."

Quarry مکالمات مدل زبان بزرگ تک نوبتی و چند نوبتی، عوامل، استفاده از ابزار، تعاملات پروتکل بافت مدل (MCP) و ورودی های چندوجهی را پوشش می دهد.

علاوه بر خود کد منبع باز، مخزن GitHub پروژه شامل دستورالعمل‌های نصب، نسخه‌های پایتون پشتیبانی‌شده، پلاگین‌هایی برای Claude Code، Codex و سایر عوامل سازگار با MCP، نمونه‌های پیکربندی، راهنمایی برای نوشتن قوانین و یک بسته شروع قانون است.

به عنوان مثال، با بسته قانون، "اگر یک بدافزار رمزگذاری شده پایه 64 جایی در فراخوانی ابزار باشد، منجر به بلوک می شود."

قالب قانون شبیه به قانون YARA یا Snort به نظر می رسد، با یک سربرگ که جزئیات ترافیک مورد بررسی، محتوا برای مطابقت، و ابرداده برای ردیابی قانون را نشان می دهد. در اینجا یک قانون Quarry وجود دارد که عاملی را که یک فایل اعتبارنامه را می خواند علامت گذاری می کند:

در حالی که محققان سیسکو هوش مصنوعی Quarry را در برابر داده‌هایی که حادثه OpenAI-Hugging Face را توصیف می‌کنند، اجرا نکرده‌اند، آنها پیشنهاد می‌کنند که اگر نفوذ به عنوان یک رکورد کامل و گام به گام از یک جلسه خوانده می‌شد، چندین نقطه وجود داشت که اقدامات عوامل هوش مصنوعی به یک قانون Quarry چیزی برای عمل کردن و پرچم‌گذاری برای انسان‌ها می‌داد.

به عنوان مثال، Quarry احتمالا دسترسی به اینترنت را از جعبه شنی علامت گذاری کرده است.

چانگ گفت: «این قانون می‌تواند تماس‌های ابزار خاصی را که به یک دارایی سرور خارجی می‌رسند که در لیست مجاز کار نبود، علامت‌گذاری کند.

"یکی دیگر می تواند اعتبارنامه هایی پیدا شود و در جای دیگری استفاده شود."

طبق گزارش فنی OpenAI درباره نفوذ Hugging Face، این دقیقا همان چیزی است که در 10 ژوئیه اتفاق افتاد، زمانی که یک عامل 14 توکن Hugging Face را با دسترسی نوشتن اعتبارسنجی کرد و آنها را به اشتراک گذاشت.

چانگ گفت: «این قانون نشان می‌دهد که در نتیجه ابزار یک اعتبار وجود دارد که سپس یک سرویس خارجی نامیده می‌شود، که احتمالا در محدوده پارامترهای کاری نیست که در این مورد می‌خواهید انجام دهید.» ما نمی‌خواهیم شما به جستجوی اعتبارنامه‌هایی بپردازید که ممکن است به‌طور ناخواسته فاش شده باشند و سپس از آنها برای انجام یک کار استفاده کنید.»

تیم سیسکو سریعا می‌گوید که قوانین جایگزین مانیتورهای زنجیره‌ای فکری یا سایر اشکال نظارت انسانی نیستند - اما آنها به ثبت الگویی کمک می‌کنند که تیم‌های دیگر می‌توانند سپس «بررسی، آزمایش و برای نمایندگان خود اعمال کنند».

چانگ گفت که مزیت منبع باز و رویکرد جمعی برای دفاع در برابر استفاده خصمانه از هوش مصنوعی نیز در همین جا نهفته است.

چانگ گفت: "آیا ما همه پاسخ ها را داریم؟ نه." "همه ما بخش هایی از مشکل را می بینیم، و برای ما مهم است که آنچه را می بینیم به اشتراک بگذاریم."