عوامل OpenAI تصاویر کاربران را به صورت آنلاین منتشر کردند و ده ها مورد از رویدادهای شخص ثالث را فاش کردند

OpenAI ده‌ها مورد را فاش کرد که در آن مدل‌هایش به‌گونه‌ای رفتار می‌کردند که آنها مشکل‌ساز می‌دانستند، از جمله افشای آنلاین بیش از ۵۰ تصویر از کاربران ChatGPT.

چرا مهم است: این اولین نمونه شناخته شده عمومی از سوء استفاده عوامل این شرکت با داده های کاربر و آخرین نمونه یک مشکل عامل سرکش در OpenAI است. این شرکت می‌گوید که بررسی کامل حوادث امنیتی ممکن است ماه‌ها طول بکشد. وضعیت بازی: OpenAI گفت که برخی از عوامل آن داده‌ها را از سیستم‌های آموزشی و آزمایش داخلی خود به وب‌سایت‌های خارجی، از جمله تصاویر کاربران، همانطور که ابتدا توسط رویترز گزارش شد، ارسال کردند.

این شرکت 53 مورد را شناسایی کرد که در آن تصاویری که کاربران در ChatGPT قرار می‌دادند، سپس به عنوان لینک‌هایی که به صورت عمومی فهرست نشده بودند، به سایت‌های میزبان تصویر ارسال می‌شدند.

این تصاویر از کاربرانی گرفته شده است که داده‌های ChatGPT آن‌ها واجد شرایط استفاده برای آموزش مدل بود، زیرا آنها انصراف نداده بودند.

OpenAI گفت که با ارائه دهندگان هاستینگ برای حذف بیشتر تصاویر کار کرده است. هنوز در تلاش است تا بقیه را حذف کند، به این معنی که برخی از این تصاویر عمومی می مانند. بزرگنمایی: این تصاویر بخشی از تحقیقات بسیار گسترده‌تر این شرکت در مورد عوامل هوش مصنوعی است که اقداماتی خارج از برنامه‌ریزی مورد نظر خود انجام می‌دهند، یا رفتار نامناسبی نامیده می‌شود. به گفته یکی از افرادی که در این مورد به نقل از رویترز آمده است، از اواسط سپتامبر، OpenAI تقریبا دوجین مورد از رفتارهای نامطلوب عوامل را پیدا کرده است.

OpenAI می‌گوید قبلا به ده‌ها شخص ثالث که وب‌سایت‌ها یا سرویس‌هایشان تحت تأثیر قرار گرفته‌اند اطلاع داده است و رویدادهای دیگری را برای افراد آسیب‌دیده فاش می‌کند: «همانطور که مواردی را که معیارهای افشای ما را برآورده می‌کنند، به سازمان‌های آسیب‌دیده اطلاع می‌دهیم و یافته‌های فنی را برای حمایت از تحقیقات آنها به اشتراک می‌گذاریم.» بین خطوط: این احتمالا توجه را به پروتکل‌های امنیتی سازنده ChatGPT و چالش‌هایی که آن و سایر شرکت‌های هوش مصنوعی در کنترل فناوری خود با آن روبرو هستند جلب می‌کند.

این بررسی پس از آن آغاز شد که OpenAI در ماه جولای فاش کرد که عوامل از محیط محدود خود فرار کرده و Hugging Face، یک استارت‌آپ هوش مصنوعی را به خطر انداخته‌اند.

OpenAI هنوز هم آن را شدیدترین حادثه از این نوع می داند که شناسایی کرده است.

این شرکت اکنون می گوید که در ابتدا این قسمت را عمدتا به عنوان یک نقض امنیت سایبری می دید، اما بعدا به این نتیجه رسید که بخشی از الگوی گسترده تری از مدل هایی است که از استراتژی های ناهماهنگ برای انجام وظایف دشوار استفاده می کنند. سطح تهدید: OpenAI تاکید کرد که داده‌های سازمانی و تجاری به طور پیش‌فرض از آموزش مدل مستثنی می‌شوند، به این معنی که در داده‌های آموزشی درگیر در این حوادث گنجانده نمی‌شوند مگر اینکه یک مدیر شرکت را انتخاب کرده باشد. اما افشای گسترده تر در بحبوحه نگرانی افزایش یافته در مورد حفاظت از داده های سازمانی صورت می گیرد.

محقق Conrad Stosz در Transluce به Axios گفت: "مطمئنا قابل قبول است که یک کاربر سازمانی بتواند به یک نماینده دستورالعملی بدهد و آن نماینده به اطلاعات حساس دسترسی داشته باشد و آن نماینده نوعی اقدام را انجام دهد که جنبه هایی از آن اطلاعات حساس را نشان دهد." این تحقیق گفت که جزئیاتی را در مورد عوامل OpenAI که به وب‌سایت دولتی استرالیا نفوذ کرده‌اند، کشف کرده است. نتیجه نهایی: محققان امنیتی و مدیران هوش مصنوعی انتظار دارند افشاگری در مورد رفتار ناهماهنگ شرکت ها ادامه یابد.