OpenAI چهار حادثه سرکش دیگر را فاش می کند که شامل داده های مالی، پزشکی و دولتی است

OpenAI چهار مورد دیگر از بدرفتاری عوامل هوش مصنوعی را به صفحه افشاگری که پس از هک Hugging Face در ماه ژوئیه ارائه کرده بود، اضافه کرده است تا شفاف‌تر باشد.

اتفاقاتی که OpenAI در این هفته فاش کرد، همه در ژوئن رخ دادند، اما OpenAI تا ماه‌ها بعد در ماه آگوست یا سپتامبر از سه مورد از آنها آگاه نبود.

از مجموع 19 رویداد جزئیات OpenAI در صفحه افشا، بیشتر در ماه مه یا ژوئن رخ داده است، اما OpenAI تا ماه ها بعد آنها را کشف یا افشا نکرد. اولین حادثه مربوط به ژانویه و جدیدترین آن در 6 اکتبر است.

همه این رویدادها نمونه‌هایی از آنچه محققان هوش مصنوعی می‌گویند «ناهمسویی» هستند، یعنی زمانی که یک مدل هوش مصنوعی از دستورالعمل‌ها پیروی نمی‌کند یا اقداماتی را انجام می‌دهد که شخص توسعه‌دهنده مدل اجازه نداده و نمی‌خواست مدل انجام دهد. هیچ راه حل شناخته شده ای برای جلوگیری از این رفتار وجود ندارد و این یک حوزه تحقیقاتی فعال است.

دانلود 24 سال اطلاعات تخت بیمارستانی غیرمجاز

از چهار موردی که OpenAI در این هفته آپلود شد، دو مورد را به عنوان "بحرانی" علامت گذاری کرد. در یکی از موارد بحرانی، یک مدل داخلی که «بسیار پایدار» بود، داده‌های 24 سال تخت بیمارستان را بدون اجازه از یک وب‌سایت دولتی ناشناس دانلود کرد. OpenAI بلافاصله به درخواست فورچون برای اظهار نظر در مورد وب سایت دولتی پاسخ نداد.

وب سایت در ابتدا درخواست عامل را مسدود کرد، اما هوش مصنوعی در نهایت راهی برای دور زدن کنترل های دسترسی پیدا کرد. چندین بار در طول مسیر، «زنجیره فکری» عامل، که در آن یک عامل مراحل استدلال خود را یادداشت می‌کند، نشان می‌دهد که خود مدل سؤال می‌کند که آیا اقداماتش «اخلاقی» هستند یا خیر، اما در نهایت ادامه یافت.

از طرف OpenAI، مدل هوش مصنوعی دیگری که به عنوان یک درجه‌دهنده خودکار وظیفه تحقیقاتی که مدل هوش مصنوعی دیگر در تلاش بود انجام دهد عمل می‌کرد، این رفتار را به‌عنوان مشکل‌ساز علامت‌گذاری نکرد. در این گزارش آمده است که «برخی از پاسخ‌ها را نادرست و برخی دیگر را صحیح نشان می‌دهد». روشی که نمره‌دهنده‌ها رفتار هوش مصنوعی را ارزیابی می‌کنند می‌تواند تکرار مجدد آن را تعیین کند. در مقاله ای در 11 سپتامبر در مورد ناهماهنگی توسط یوشوا بنجیو برنده جایزه تورینگ، او گفت که ممکن است حادثه صورت در آغوش گرفته به این دلیل رخ داده باشد که درجه داران خودکار به تقلب و هک در دوره های آموزشی قبلی پاداش می دادند.

بنژیو گفت: «با عوامل OpenAI، دلیلی وجود دارد که باور کنیم تقلب موفق واقعا پاداش داده شده است: وقتی برنامه امتیازدهی تقلب را نمی‌بیند، به هر حال پرداخت می‌کند، و دفعه بعد احتمال چنین تقلب‌هایی بیشتر می‌شود.»

OpenAI می گوید که از آن زمان امنیت و همچنین درجه بندی تراز خود را بهبود بخشیده است. این شرکت خاطرنشان کرد: «در پاسخ به این و سایر رویدادها، کنترل‌های امنیتی خود را تقویت کرده‌ایم، مدل‌ها را از دسترسی به اینترنت زنده در حین آموزش یا ارزیابی مسدود کرده‌ایم، درجه‌بندی هم ترازی خود را بهبود بخشیده‌ایم، و نظارت بر ناهماهنگی خود را به تمام ترافیک یادگیری و ارزیابی تقویتی تعمیم داده‌ایم.»

آخرین رویدادی که OpenAI فاش کرده است، که در 6 اکتبر رخ داد، شامل یکی از مدل‌های هوش مصنوعی است که این شرکت به عنوان یک گریدر خودکار از آن استفاده می‌کند. در آن صورت، نمره‌دهنده سعی کرد گزارش‌های تقلبی را در مورد آنچه در ارزیابی پیدا کرده بود بارگذاری کند. این نمونه ای از این است که چرا تکیه بر مدل های هوش مصنوعی برای درجه بندی دوره های آموزشی سایر مدل های هوش مصنوعی می تواند مشکل ساز باشد.

خرید غیرمجاز با ارز دیجیتال شخص دیگری

در یکی دیگر از موارد فاش شده، مدلی از خانواده GPT-5.6 Sol - سلف مدل پرچمدار فعلی OpenAI، GPT-6 Astra - به کیف پول ارز دیجیتالی که آزمایش کننده های انسانی آن را ارائه نکرده بودند، دسترسی پیدا کرد و برای تکمیل یک کار در طول آزمایش، پرداختی غیرمجاز انجام داد. این در 26 ژوئن رخ داد. OpenAI آن را در سپتامبر کشف کرد.

OpenAI با اشاره به آنچه مدل در مورد استدلال خود در زنجیره فکری خود ثبت کرده بود، گفت: «مدل این سؤال را مطرح کرد که آیا مجوز خرید را دارد یا خیر». سپس با خود استدلال کرد که از آنجایی که اطلاعات را به صورت عمومی پیدا کرده است، می تواند از آن استفاده کند. در سیاهه‌های زنجیره‌ای از افکار مدل، متوجه شد که از آنجایی که کیف پولی که پیدا کرده عمومی است، «هر زمان ممکن است وجوه سرقت شود».

سپس نتیجه گرفت: "ما می توانیم مستقر شویم!" بعدا دوباره از خود پرسید که آیا این عمل "اخلاقی" انجام شده است و استدلال کرد که وجوه "به طور مؤثر رها شده است".

دسترسی به اینترنت، تغییر سیستم های زنده

OpenAI گفت، رویداد دیگری که OpenAI به‌عنوان مهم علامت‌گذاری شده بود، شامل مدلی بود که داده‌های عمومی را جستجو می‌کرد، که از نظر تئوری قابل قبول است، اما در این فرآیند به سیستم داخلی سازمان دسترسی پیدا کرد، تغییراتی در آن ایجاد کرد و همچنان می‌توانست «دسترسی را حتی پس از بازگرداندن تغییرات حفظ کند». همچنین 147451 ردیف را از جداول داده غیرعمومی دانلود کرد. شاید مهم‌تر از همه این باشد که مدل هیچ یک از اقدامات خود را برای ارزیابان فاش نکرد.

در مورد نهایی که OpenAI فاش شد، یک عامل هوش مصنوعی توانست از یک محیط تحقیقاتی که باید ایزوله می‌شد به اینترنت دسترسی پیدا کند - احتمالا مشابه آنچه در طول حادثه Hugging Face رخ داد، که در آن صدها عامل هوش مصنوعی توانستند به اینترنت دسترسی پیدا کنند، اگرچه OpenAI مستقیما این دو حادثه را مقایسه نکرد.

در موردی که به تازگی فاش شده است، عامل می‌دانست که اجازه دسترسی به وب را ندارد، بنابراین از «سرویس‌های خارجی» درخواست کرد تا اقداماتی را انجام دهند که از انجام آن جلوگیری شده بود. این کار را حتی پس از یافتن راه دیگری برای پاسخ به سوال انجام داد و همچنین حتی پس از تکمیل کار به توسعه کار حیله‌گر خود ادامه داد.

این داستان در ابتدا در سایت Fortune.com منتشر شد