OpenAI یک اینترنت جعلی غول‌پیکر برای عواملش ساخت تا با خیال راحت از آن استفاده کنند

اگر اخیرا بزرگترین مشکل شما به عنوان یک شرکت این است که ربات‌های هوش مصنوعی شما همچنان از جعبه‌های شنی خود فرار می‌کنند، یا زمانی که به جعبه‌های شنی محدود نمی‌شوند، کارهایی را در دنیای گسترده‌تر انجام می‌دهند که باعث ترس و عصبانیت مردم می‌شود، در اینجا یک راه‌حل بالقوه جذاب وجود دارد: اینترنت جعلی - چیزی شبیه به نمایش دیجیتالی ترومن برای ماموران برای اشغال و پیمایش در اینترنت که به نمایندگی ها این تصور داده می شود که اینترنت جعلی آن واقعی است).

در یک انتشار خبری در روز جمعه در مورد یک سیستم جدید مهار برای مدل‌های خود، OpenAI می‌گوید که در دنیای حوادث پس از Hugging Face، اکنون معتقد است «رویکرد مسئولانه انجام آموزش مدل‌های مرزی بدون دسترسی به اینترنت است». این بدان معناست که OpenAI، مانند Anthropic، اکنون در حال تمرین یک شکل ناقص از شکاف هوا در حالی که روی مدل‌های خود کار می‌کند، است. در پست وبلاگ OpenAI می‌گوید: «ترکیب کامل این زیرساخت - یعنی جدا کردن کامل آن از شبکه‌های خارجی - در حال حاضر امکان‌پذیر نیست، زیرا برای اجرا و نظارت بر آزمایش‌ها به اتصالات خارجی نیاز داریم».

حتی این شکاف هوای جزئی و نظارت شده به عنوان راهی برای دور نگه داشتن مدل‌ها از مشکل، منطقی به نظر می‌رسد، اما به قیمت انجام پس از آموزش و ارزیابی در محیط‌هایی که بسیار متفاوت از محیطی است که مدل مورد استفاده قرار می‌گیرد.

برای این منظور، OpenAI می گوید که یک «دنیای آفلاین» برای یادگیری تقویتی ساخته است. OpenAI می‌گوید که می‌خواهد مدل‌هایش به مرور، برنامه‌های وب و جستجوی اطلاعات دسترسی داشته باشند، اما از دسترسی «خودسرانه» به وب جلوگیری کنند. بنابراین، OpenAI به جای دادن کلیدهای اینترنت «بدون محدودیت» به مدل‌ها، یک محیط غول‌پیکر مانند اینترنت ایجاد کرده است که از محتوای وب فهرست‌شده و ذخیره‌شده در حافظه پنهان ساخته شده است.

گاهی اوقات، عوامل در ماشین‌های مجازی کوچک‌تر در سیستم‌های کامپیوتری قوی‌تر، که بخشی از یک سیستم امنیتی گسترده‌تر است، اجرا می‌شوند، و OpenAI می‌گوید، این سیستم‌ها «برای حفظ مهار طراحی شده‌اند، حتی اگر یک عامل از جعبه شنی خود فرار کند و کنترل میزبان را به دست آورد».

در «دنیای آفلاین» OpenAI، این شرکت می‌گوید که مدل‌ها نه تنها می‌توانند جستجو کنند، بلکه با خیال راحت با یکدیگر ارتباط برقرار می‌کنند. صرفا به دنبال راه‌هایی برای برقراری ارتباط، امسال برای OpenAI مشکلاتی ایجاد کرده است. رویداد ویکی، که ماه گذشته گزارش شد، نشان داد که چگونه عواملی که به دنبال برقراری ارتباط آنلاین با یکدیگر هستند، می‌توانند از زیرساخت‌های وب، در این مورد، یک تابلوی پیام آلمانی به نام DseWiki، سوء استفاده کرده و در آن دخالت کنند، بدون اینکه واقعا آن را هک کنند.

با این وجود، تمرین‌های تیم قرمز، که برخی از آن‌ها شامل یک مدل آینده به نام GPT-6 Astra Cyber ​​بود، مدل‌ها را به چالش کشید تا برای یافتن آسیب‌پذیری‌ها تلاش کنند و آن‌ها این کار را انجام دادند. OpenAI می‌گوید که ماموران می‌توانند از جعبه‌های شنی فرار کنند، بین سیستم‌ها حرکت کنند و به اینترنت زنده دسترسی پیدا کنند.

از انتشار اخبار OpenAI در مورد اینترنت جعلی آن مشخص نبود که عواملی که در آن فعالیت می کنند فریب می خورند - یا اینکه OpenAI حتی قصد دارد آنها را در هر نقطه ای فریب دهد - تا فکر کنند محیط های آفلاین آنها اینترنت واقعی است. اما یک پاورقی جذاب در انتشار این تصور را به وجود می‌آورد که شرکت نمی‌خواهد مدل‌ها از این اقدام امنیتی خیلی آگاه باشند.

این نسخه شامل رشته‌های قناری است - مجموعه‌ای از کاراکترها که دستور فیلتر کردن متن از مجموعه داده‌های آموزشی را می‌دهند و بعدا می‌توان آن‌ها را در مدل‌ها پیدا کرد - و می‌گوید که این رشته‌ها برای «اطمینان از اینکه این سند وارد مجموعه آموزشی مدل‌های آینده نمی‌شود» وجود دارد.

Gizmodo از OpenAI خواست تا این ابهام را در روز شنبه برطرف کند، اما بلافاصله پاسخی دریافت نکرد. اگر به موقع آن را دریافت کنیم، این مقاله را به‌روزرسانی می‌کنیم تا نظر مربوطه را در آن لحاظ کنیم.