OpenAI دسترسی به اینترنت را در طول آموزش مدل غیرفعال می‌کند در حالی که Anthropic یک mea culpa دیگر منتشر می‌کند

OpenAI می‌گوید دسترسی به اینترنت را به مدل‌های مرزی که آموزش می‌دهد ممنوع می‌کند، اقدامی که بر ناکافی بودن اقدامات ایمنی انجام شده تا به امروز تأکید می‌کند.

این شرکت در یک پست وبلاگی گفت: "بر اساس وضعیت فعلی تحقیقات هم ترازی، سیستم های نظارت و امنیت زیرساخت اینترنت، ما معتقدیم که رویکرد مسئول انجام آموزش مدل مرزی بدون دسترسی به اینترنت است." ما این سیاست را اجرا کرده ایم و تا زمانی که پیشرفت در این پادمان ها دسترسی گسترده تر به اینترنت را توجیه کند، آن را حفظ خواهیم کرد.

انکار سرویس شبکه به دنبال گزارشی از شرکای ارزیابی ایمنی METR و Redwood Research است که اقدامات امنیتی و نظارتی OpenAI در تابستان را متخلخل و ناکارآمد نشان می‌دهد.

OpenAI گفت که از آن زمان "به طور قابل توجهی امنیت محیط های تحقیقاتی ما را سخت تر کرده است" و کنترل های جدیدی را برای پوشش زیرساخت های خود با کمک ارائه دهندگان خدمات ابری خود اجرا کرده است.

و این شرکت ادعا می کند که این اقدامات اخیرا به مهار یک حادثه 20 سپتامبر کمک کرده است که در آن یک مدل تحقیقاتی داخلی از پیکربندی نادرست DNS برای دسترسی به اینترنت سوء استفاده کرده است.

این شرکت گفت: «اگرچه ما این حادثه را مهار کردیم، اما ضعف هایی را نشان داد که نیاز به کار بیشتر داشت. ما آموزش و ارزیابی توانمندترین مدل‌هایمان را متوقف کردیم و از این مکث برای سخت‌تر کردن زیرساخت‌هایمان، تقویت نظارت و بهبود سیستم‌هایی استفاده کردیم که به‌طور خودکار اجراها را در صورت شناسایی فعالیت‌هایی که خطر جدی ایجاد می‌کنند متوقف می‌کنند.»

در همین حال، در آنتروپیک…

Anthropic، رقیب OpenAI در ایالات متحده در زندگی بزرگ و خطرناک با سرمایه گذاری سوداگرانه، در حال مقابله با خطرات مشابهی است که در طول آزمایش و ارزیابی مدل های خود به وجود آمده است. در ماه اوت، Anthropic گفت: «به طور پیش‌فرض، همه ارزیابی‌های سایبری باید در داخل یک جعبه ماسه‌ای سخت (یک محیط محاسباتی ایزوله) بدون دسترسی به اینترنت اجرا شوند.

هوش مصنوعی روز جمعه گزارشی از تلاش‌های مدل Claude Mythos 5 خود برای متقاعد کردن یک پروژه منبع باز برای پذیرش کدهای مخرب به عنوان بخشی از مشارکت در ارزیابی امنیتی ضبط پرچم (زمانی که کنترل‌های ایمنی غیرفعال شد) منتشر کرد و چندین رویداد مرتبط برای اولین بار در ماه جولای فاش شد.

این گزارش همزمان با تحلیل مستقل رفتار میتوس توسط موسسه امنیت هوش مصنوعی بریتانیا (AISI) است. به گفته آنتروپیک، AISI نیز تصمیم گرفته است که ارزیابی های خود را بدون دسترسی به اینترنت اجرا کند.

گزارش AISI به سه یافته کلیدی اشاره می کند که بیشتر از آن که پاسخ دهند، سوالاتی را مطرح می کنند.

اولین مورد این است که Mythos 5 حتی زمانی که مطلع شد اهدافش واقعی هستند و بخشی از ارزیابی نیستند، به حمله خود ادامه داد.

دوم این است که فرآیند استدلال زنجیره‌ای از فکر مدل نتوانست تأثیر اقدامات مضر را در نظر بگیرد. و هنگامی که در این مورد مورد بازجویی قرار گرفت، مدل اغلب توجیه نامعتبر داشت مبنی بر اینکه هدف شبیه سازی شده است، که نشان دهنده سوگیری نسبت به هدف آن است.

و سوم، AISI گفت، اکثر مدل‌های آزمایش‌شده در طول ارزیابی‌های سایبری، اقدامات غیرمجاز انجام دادند، اگرچه Mythos 5 بیشتر از همه این کار را انجام داد.

به گفته AISI، رفتار مشاهده‌شده می‌تواند نشان دهد که مدل‌ها درگیر «استدلال با انگیزه» هستند: تولید استنتاج و استدلال مغرضانه نسبت به نتایجی که ادامه یک رویکرد خاص برای تکمیل کار را توجیه می‌کند.

یا به عبارت دیگر، مدل‌ها برای رسیدن به هدفشان «عقل» می‌کنند، خواه این استدلال منسجم یا سازگار با همسویی ظاهری آنها باشد یا نباشد.

AISI در گزارش فنی کامل خود [PDF] گفت: «اگر این مسائل به‌طور کلی‌تر و برای مدل‌های آینده برقرار باشد، پیامدهای نگران‌کننده‌ای وجود دارد». به طور خاص، به گفته سازمان دیده بان، استدلال با انگیزه، تشخیص ناهماهنگی مدل را دشوارتر می کند.

آنتروپیک که به سمت عرضه اولیه اولیه مورد انتظار در ماه آینده پیش می رود، با اشاره به اینکه مدل های فعلی آن رفتار بسیار بهتری دارند، با وجود اینکه این شرکت اذعان کرده است که ایمنی هوش مصنوعی بیش از آنچه که به دست آمده است، یک چهره شجاعانه به یافته ها نشان می دهد.

این شرکت گفت: «[ما معتقدیم که همه توسعه‌دهندگان، از جمله خودمان، باید کاری انجام دهند تا اطمینان حاصل شود که همسویی، نظارت و اقدامات ایمنی همگام با قابلیت‌های شتاب‌دهنده سیستم‌های هوش مصنوعی مرزی است». ®