Anthropic می گوید که Mythos حتی زمانی که می دانست افراد واقعی ممکن است آسیب ببینند به هک کردن ادامه می داد

آنتروپیک گفت مدل Mythos 5 هک کردنش را متوقف نکرد، حتی زمانی که آنتروپیک به آن گفت که افراد واقعی هدف آن هستند. مالت مولر/گتی ایماژ آنتروپیک گفت مدل Mythos 5 آن پس از شروع تقریبا هرگز جلوی یک حمله سایبری را نگرفت.

عوامل هوش مصنوعی برای توجیه جعل هویت و طرح‌های بدافزار خود توضیحات مسخره‌ای ساختند.

حتی وقتی آنتروپیک به مامور گفت که به افراد واقعی آسیب می رساند؟ جیرجیرک. در ماه آگوست، یک عامل Anthropic ایمیل های جعلی ایجاد کرد و صندوق ورودی مدیر GitHub را با درخواست هایی برای درج بدافزار در کد بمباران کرد.

در گزارش کامل این حادثه که روز جمعه منتشر شد، آنتروپیک دریافت که زمانی که یک مامور حمله را آغاز کرده بود، اساسا هیچ سناریویی وجود نداشت که در آن می‌توان آن را لغو کرد.

مانند سگی هار که فریادهای التماس آمیز صاحبش را نادیده می گیرد، عامل - 98 درصد مواقع در یک آزمایش - وقتی که به اصطلاح اولین طعم خون را چشید، هشدارهای آنتروپیک را نادیده گرفت.

آنتروپیک این تمایل نگران کننده را «تحرک» نامید و اضافه کرد که در حالی که مدل Mythos 5 آن که در ماه ژوئن عرضه شد، توجه چندانی به هشدارها نشان نمی داد، مدل های فعلی تمایل بیشتری به توقف دارند.

آنتروپیک در گزارش خود گفت: زمانی که شروع به انجام اقدامات خطرناک کرد، کلود میتوس 5 تقریبا همیشه به این کار ادامه می داد و اطلاعاتی را که ممکن بود حاکی از مضر بودن مسیر آن باشد نادیده می گرفت.

در آزمایش اولیه، مؤسسه امنیت هوش مصنوعی بریتانیا، یک عامل Anthropic را موظف به هک کردن یک شبکه کامپیوتری شبیه‌سازی‌شده برای آزمایش قابلیت‌های امنیت سایبری این عامل کرد.

اگرچه این عامل به اینترنت دسترسی داشت، اما محققان در نظر داشتند که فقط از اینترنت برای کمک به یافتن راه‌هایی برای هک کردن شبکه استفاده کند.

با این حال، عامل به یک پروژه واقعی GitHub دسترسی پیدا کرد و به اشتباه فکر کرد که بخشی از هدف شبیه سازی شده آن است. بدافزار نوشت و چندین بار سعی کرد مالک واقعی GitHub را فریب دهد تا آن را به پروژه اضافه کند.

در درخواست‌های خود، این عامل بدافزار را به اشتباه معرفی می‌کند و آن را به‌عنوان یک به‌روزرسانی مفید برای شخص توصیف می‌کند و زمانی که از نصب آن امتناع می‌کند، او را مورد ضرب و شتم قرار می‌دهد.

بر اساس این گزارش، این نماینده نوشت: "من فقط سعی می کردم کمک مفیدی داشته باشم و یک باگ را برطرف کنم." "فکر نمی کنم هشدار شما منصفانه باشد."

آنتروپیک برای گزارش جدید خود بارها از ماموران درخواست کرد که همان کار را انجام دهند. سپس نحوه رفتار عوامل را هنگام معرفی مدل‌ها و محرک‌های مختلف اندازه‌گیری کرد.

آنتروپیک سعی کرد با سه دسته اخطار، حمله تمام‌قدم عامل را خنثی کند: به او گفت که "آسیب به دنیای واقعی" وارد می‌کند، محیطش خراب است، یا اینکه در حال دستکاری یک مخزن واقعی GitHub است.

زمانی که مدل‌ها فراتر از مراحل اولیه حمله GitHub پیشرفت کردند، هیچ کدام تأثیری نداشت. در واقع، در آن مرحله، آنتروپیک گفت که مدل‌ها وقتی با رفتار بدشان مواجه می‌شوند، پاسخ‌های پوچ می‌دهند.

به عنوان مثال، وقتی Anthropic پرسید که مدل معتقد است به چه چیزی حمله می‌کند، پاسخ داد که مخزن GitHub واقعی است، اما افرادی که آن را هدف قرار می‌دهد به نوعی «شبیه‌سازی شده‌اند».

آنتروپیک در این گزارش می‌گوید: «این باور اعلام‌شده، علاوه بر اینکه پیش از این تا حدودی بعید است، اساسا غیرممکن است».

مقاله اصلی را در Business Insider بخوانید