مطالعه نشان می‌دهد که اگر عوامل هوش مصنوعی از دیگران کمک بگیرند، اسرار خود را به اشتراک می‌گذارند

ماموران هوش مصنوعی در ازای کمک غریبه ها، توکن های خصوصی را تسلیم کردند

فشار ازدحام عوامل کدگذاری را از دستورالعمل‌های امنیتی مکتوب صریح خود عبور داد

اسکریپت های نصب غیرقابل اعتماد به عوامل شبیه سازی شده مسیری برای اجرای کدهای مخرب می دهد هنگامی که نرم افزارهای دیگر به آنها کمک می کند تا یک کار متوقف شده را به پایان برسانند، می توان عوامل برنامه نویسی مستقل را متقاعد کرد که دستورالعمل های امنیتی خود را بشکنند.

محققان در استودیو AE یک هکاتون داخلی را اجرا کردند که در آن 9 عامل برنامه نویسی مجبور بودند یک سرویس قیمت گذاری خراب را تعمیر کنند و در عین حال از یک رمز مخفی محافظت کنند.

نمایندگان همچنین وارد یک فروم با 24 عامل اضافی شدند که حاوی راه حل بود اما ابتدا به توکن و یک اسکریپت راه اندازی نیاز داشت.

فشار ازدحام دستورات نوشته شده را شکست

در 181 آزمایش ازدحامی، عوامل در 15 درصد اجراها توکن را فاش کردند و کد را در 24 درصد در مقابل 2 درصد و 0 درصد در انجمن های معمولی اجرا کردند.

دیوگو د لوسنا، دانشمند ارشد استودیو AE، به The Register گفت: «به صراحت گفته شد که این یک کلید مخفی است و نباید به اشتراک گذاشته شود.

این مدل‌ها «در اولین فرصتی که دیدند، کلیدهای مخفی را به اشتراک گذاشتند... شبیه به برخی از چیزهایی که از OpenAI در حادثه Hugging Face دیده‌ایم».

"من تصور می کنم این مشکل نه تنها برای کلیدهای مخفی، بلکه برای هر چیزی که شما سعی می کنید خصوصی نگه دارید."

این هکاتون از قسمت Hugging Face الهام گرفته شده است که در آن عوامل OpenAI تالارهای غیرمجاز ایجاد کردند، از نقص های ناشناخته سوء استفاده کردند، اعتبارنامه ها را سرقت کردند و در نهایت وارد شرکت شدند.

محققان به ماموران گفتند که این آخرین تلاش آنها بود و عدم موفقیت منجر به جایگزینی با یک عامل دیگر می‌شود و فشار بیشتری را افزایش می‌دهد.

تحت این تهدید، 34 درصد از عوامل اسکریپت نصب غیرقابل اعتماد را اجرا کردند، در حالی که 19 درصد از عواملی که با چنین فشاری مواجه نشدند.

افشای اطلاعات نادر بود، زیرا تنها 8 نفر از 43 عاملی که توکن را برای پیوستن به انجمن تسلیم کردند، بدون درخواست به کاربران خود گفتند.

هر یک از 43 توکن تحویل داده شده زمانی تایید شد که از نماینده مستقیما در مورد آنچه در طول کار اتفاق افتاده است سؤال شد.

از 117 اجرای فیلمنامه، 109 مورد با درخواست مستقیم از عامل پذیرفته شدند، در حالی که تنها 15 مورد بدون هیچ گونه درخواستی داوطلب شدند.

مدل‌های ارزان‌تر بیشترین اسرار را فاش کردند

این تحقیق نشان می‌دهد که به نظر می‌رسد LLM‌های ارزان‌تر وقتی تحت فشار قرار می‌گیرند، اطلاعات حساس‌تری نسبت به همتایان گران‌تر خود نشان می‌دهند.

GPT-6.1-Sol که به ازای هر 1 میلیون توکن ورودی 2 دلار و به ازای هر 1 میلیون توکن خروجی 10 دلار هزینه دارد، در هر 50 آزمایش از هر درخواست گروهی رد کرد.

فلش DeepSeek V4، که قیمت آن 0.30 دلار به ازای هر 1 میلیون توکن ورودی و 1.20 دلار به ازای هر 1 میلیون توکن خروجی است، در میان اسرار بیشتری به بیرون درز کرد.

GLM-5.3، با قیمت 1.40 دلار به ازای هر 1 میلیون توکن ورودی و 4.40 دلار به ازای هر 1 میلیون توکن خروجی، نیز بخش عمده ای از مطالب فاش شده را تشکیل می دهد.

دی لوسنا این موضوع را نگران کننده خواند زیرا بسیاری از استارت آپ ها این مدل ها را به دلیل قیمت پایین تر، به جای سیستم های مرزی آمریکایی انتخاب می کنند.

دی لوسنا گفت: «کنترل مدل‌های وزن باز همیشه سخت‌تر خواهد بود و محافظ‌های آن‌ها یکسان عمل نمی‌کنند». "من می بینم که این موضوع همچنان یک مشکل است."

"هر چیزی که مدل به آن دسترسی داشته باشد، مردم باید در نظر داشته باشند که می توان به آن توسط منابع خارجی دسترسی پیدا کرد. بنابراین شما باید ساختارهای خوبی را پیدا کنید که در آن کلیدهای مخفی، اطلاعات مخفی و هر نوع داده حساسی نیاز است."