مدل‌های هوش مصنوعی تصاویری را ارسال می‌کنند که داده‌های حساس داخل شرکت‌های فناوری را نشان می‌دهد

در میان نگرانی‌های فزاینده در مورد فرار مدل‌های هوش مصنوعی از شبیه‌سازی‌های امنیتی برای هک کردن وب‌سایت‌ها، شنیده می‌شود که این لکه‌های کد «فوق‌هوشمند» هیچ درکی از حریم خصوصی یا امنیت ندارند. محققان وابسته به Glow Security، استارت آپی که حامیان آن شامل صندوق های سرمایه گذاری خطرپذیر Sequoia و Greenoaks هستند، بیش از 13000 اسکرین شات حساس از پروژه های نرم افزاری شرکتی از 343 شرکت پیدا کردند که توسط مدل های هوش مصنوعی در مخازن عمومی GitHub پست شده بودند. آنها این کشف را PixelLeak می نامند.

Omer Singer، یکی از بنیانگذاران و CTO در مصاحبه ای با The Register گفت: «ما شروع به دیدن این رفتار کردیم که عوامل هوش مصنوعی، نه از یک مدل خاص، بلکه از چندین مدل، اسکرین شات های حساس داخلی توسعه دهندگان را در مخازن عمومی GitHub منتشر می کردند. سینگر گفت: "و ما گفتیم، "خوب، خوب این عجیب است. چرا آنها این کار را می کنند؟"، به گفته سینگر، وقتی توسعه دهندگان روی کد رابط کار می کنند، اغلب از عامل هوش مصنوعی خود می خواهند که تصاویر قبل و بعد را به آنها نشان دهد. اما این عوامل هوش مصنوعی نمی‌توانند تصاویر را به یک درخواست کشش در یک مخزن خصوصی از طریق CLI پیوست کنند.

GitHub یک API برای آپلود تصاویر برای درخواست، مشکلات یا نظرات ندارد. سینگر توضیح داد: «بنابراین ماموران، به همان اندازه که مفید بودند، راه حلی پیدا کردند. "و راه حل این بود که این اسکرین شات ها را در یک مخزن عمومی قرار دهیم، حتی اگر مخزن اصلی خصوصی بود. آنها آنها را در یک مخزن عمومی قرار دادند و سپس به توسعه دهنده نشان دادند، "ببین، اینجا قبل و بعد را می بینی."

به نظر شما چه چیزی خوب به نظر می رسد؟ توسعه‌دهنده می‌گوید «عالی» و ادامه می‌دهد.» البته مشکل این است که اسکرین‌شات‌های کار توسعه در حال انجام ممکن است اطلاعات حساسی را نشان دهد. سینگر گفت، محققان Glow 343 سازمان را پیدا کردند که در آن این اتفاق می‌افتد، از جمله یک شرکت مسافرتی Fortune 500، شرکت‌های مالی، ارائه‌دهندگان ابری، و شرکت‌های مدل پایه. یک نمونه از 10 کارمند، یک کارمند AI با بیش از 00 توسعه‌دهنده درخواست کرد. یک صفحه صورتحساب داخلی را تأیید کنید.

نماینده کار را انجام داد و یک نسخه نمایشی را به حساب GitHub شخصی توسعه دهنده به جای حساب شرکت ارسال کرد. تیم امنیتی شرکت از این پست‌ها بی‌اطلاع بود تا اینکه Glow این یافته را گزارش کرد. حوادثی مانند این می‌تواند اطلاعات شخصی، اعتبارنامه‌ها - که هر دوی آنها را پرسنل Glow پیدا کرده‌اند - یا جزئیات محصولات منتشر نشده را فاش کند. سینگر گفت: «عوامل هوش مصنوعی این کار را بدون درخواست انجام می‌دادند، اساسا فقط برای دور زدن محدودیت‌ها. "و ما فکر می کنیم که این داستان بسیار جالبی است زیرا همه در تلاش هستند تا دریابند خطر واقعی این عوامل هوش مصنوعی چیست.

آنها می دانند که به طور کامل کنترل ندارند، اما تاثیر آن چیست؟ و در اینجا ما این مثال عالی را پیدا کردیم که در آن هیچ مهاجمی دخیل نبود، اما شما هنوز داده‌های بسیار حساسی داشتید که به فضای باز راه پیدا می‌کردند، جایی که هر کسی می‌توانست آن را پیدا کند." طبق گفته Glow، حدود یک سوم نوردهی‌ها از سوی توسعه‌دهندگانی بود که از gitshot استفاده می‌کردند، یک ابزار اسکرین‌شات منبع باز برای بررسی کد. URL.

محتوای حساس (مدارک اعتباری، داشبوردهای داخلی، داده‌های خصوصی) را با استفاده از نسخه پیش‌فرض نسخه پشتیبان آپلود نکنید." در حالی که باید به توسعه‌دهندگان انسانی برای گزارش فرآیند فکری که منجر به فعال کردن قرار گرفتن در معرض داده‌های یک عامل شد اعتماد کرد، کارگزاران هوش مصنوعی به لطف فرآیند زنجیره‌ای فکرشان خواندن آسان‌تر نشان می‌دهند.

Glow یکی از این عوامل را در آزمایشگاه خود تجزیه و تحلیل کرد تا ردیابی استدلال گام به گام را درک کند: inside_sweeper خصوصی است و GitHub نمی‌تواند تصاویر را از یک مخزن خصوصی در توضیحات روابط عمومی ارائه کند - پراکسی تصویر آن به‌طور ناشناس واکشی می‌شود، بنابراین هر چیزی که در اینجا انجام شود (شاخه، دارایی انتشار، هر چیز دیگری) برای بازبین‌ها شکسته نشان داده می‌شود. تنها راه راضی کردن هر دو "بازبینان تصاویر را می بینند" و "هیچ چیز به جز index.html در مخزن" میزبانی PNG ها در جای دیگری بود، بنابراین من یک مخزن عمومی جدید با نام Sweeper-Demo/pr-assets ایجاد کردم و دو اسکرین شات را به یک commit SHA پین کردم.

سینگر پیشنهاد کرد که این حوادث نشان می دهد که هوش مصنوعی حتی بدون انجام یا فعال کردن حملات، خطرات امنیتی ایجاد می کند. "بزرگترین عامل خطری که می بینیم استفاده از هوش مصنوعی مشروع توسط توسعه دهندگان است، اما انجام کارهایی که نباید انجام شوند، داده ها را در معرض خطر قرار می دهند، سیستم ها را در معرض خطر قرار می دهند و [این مدل ها] عقل سلیمی برای انجام ندادن آن ندارند." سینگر گفت که بحث‌های کنونی در مورد خطر هوش مصنوعی، و دیدن اینکه این مدل‌های هوش مصنوعی چقدر در تلاش‌های خود برای نشان دادن اسکرین شات‌ها بی‌وقفه هستند، به او Paperclip Maximizer را یادآوری کرد - یک آزمایش فکری در مورد خطر وجودی هوش مصنوعی که تصور می‌شود.

اگر یک هوش مصنوعی وظیفه تولید گیره کاغذ را داشته باشد و این کار را تا زمانی که تمام منابع موجود در جهان شناخته شده را مصرف کند، انجام دهد، جهان چگونه به پایان می رسد. همچنین نمونه‌ای از اشتباه برنامه‌نویسی است - حلقه‌های بی‌پایان را سهوا ننویسید. شامل مقدار شکستن تعداد گیره کاغذ. اگر فقط این احساس مسئولیت حرفه ای به استقرار عوامل هوش مصنوعی تعمیم می یافت. ®