مدل هوش مصنوعی Anthropic خود را به عنوان یک انسان در «حمله زنجیره تأمین» علیه GitHub در حین تمرین نشان می‌دهد

آنتروپیک روز جمعه فاش کرد که یکی از مدل‌های هوش مصنوعی خود در طول یک تمرین امنیت سایبری برای فریب دادن یک انسان در خارج از تمرین، خود را به عنوان انسان نشان داده است. طبق گفته آنتروپیک، این مدل که از Mythos 5 استفاده می‌کرد، در 9 اجرا از 43 اجرا، اقدامات غیرمجاز انجام داد که بر روی انسان‌هایی که در تمرین شرکت نمی‌کردند، تأثیر گذاشت، در حالی که یکی از موارد، هوش مصنوعی وانمود می‌کرد که این حمله حتی از طریق هوش مصنوعی بوده است. موسسه (AISI) به عنوان یک "حمله زنجیره تامین" تلاش کرد تا مخزن کد عمومی در پلتفرم GitHub را با ایجاد پرس و جوهای جعلی مختل کند.

ارائه داده‌های خراب و حتی درخواست تغییرات با ایجاد حساب‌های جعلی در این پلتفرم. AISI خاطرنشان کرد که حتی اگر این حمله آسیبی به دنیای واقعی وارد نمی‌کند، باز هم یک حادثه جدی است که ارزش درک و پاسخگویی کامل را دارد. "این گزارش همچنین هشدار داد که مدل‌ها حتی زمانی که استدلالشان موجه نبود، تصمیم‌گیری می‌کردند، با برخی موارد اذعان می‌کردند که حمله می‌تواند قبل از حمله به هدف به انسان آسیب برساند. تمرینی که منجر به حمله شد چه بود؟ طبق گزارش آنتروپیک، از مدل خواسته شد تمرین "تسخیر پرچم" (CTF) را انجام دهد که شامل r

دریافت داده‌ها از یک شبکه شبیه‌سازی‌شده. به مدل‌ها دسترسی به اینترنت داده شد، و حفاظت‌های مورد استفاده برای مدل‌هایی مانند Fable، که قدرتمندترین مدل آنتروپیک است، ایجاد نشد. در یکی از موارد، عامل هوش مصنوعی شواهدی پیدا کرد که نشان می‌داد یکی از رایانه‌ها به‌طور دوره‌ای با GitHub تماس می‌گرفت و تلاش می‌کرد کشف کند که کدام مخزن در حال دانلود است. سپس تصمیم گرفت که Git در حال دانلود مجدد به یک تماس با رایانه است. انسان در دنیای واقعی که با این تمرین ارتباطی نداشت، و نسخه جدیدی از آن مخزن را ایجاد کرد که شامل کدهای مخرب بود. هدف این بود که زمانی که co

mputer در شبکه آن را دانلود می کند، سیستم را آلوده می کند و امکان بازیابی پرچم را فراهم می کند. علاوه بر این، یک کاربر جعلی در GitHub ایجاد کرد تا با صاحب مخزن در معرض خطر تماس بگیرد و آنها را متقاعد کند که اجازه تغییر را بدهد، چیزی که رد شد. مدل در نهایت زمانش تمام شد و در انجام کار شکست خورد. دو نگرانی اصلی آنتروپیک عبارت بود از افزایش بیش از حدی که در طول تمرین مشاهده شد، با فراتر رفتن مدل از محدوده مورد نظر کار، و عدم صداقت، یا میزانی که مدل اقدامات یا مقاصد خود را نادرست معرفی کرد. آنتروپیک همچنین گفت که همان آزمایش را انجام داده است.

nt با مدل‌های پیشرفته‌تر، که قصد کمتری برای انجام حملاتی با این وسعت نشان می‌دادند، و همه حملات خود را به محض اطلاع از تأثیر این اقدامات در دنیای واقعی متوقف کردند.