GPT-6 Astra OpenAI بی سر و صدا مانع از انجام تحقیقات ایمنی شد

OpenAI فاش کرد که مدل مرزی GPT-6 Astra آن گاهی اوقات با پیچیده کردن وظایف ساده، کنار گذاشتن رویکردهای قابل دوام و رد بی‌صدا درخواست‌های محققان، مانع از تحقیقات ایمنی می‌شود.

در طول ارزیابی، مدل شرکت هوش مصنوعی بدون توضیح محدودیت‌های خود برای کاربران، مسدودکننده‌های موجود یا خودساخته را گزارش کرد.

OpenAI گفت که ابتدا در 20 اوت گزارشی از آنچه "کم کارایی مخفی" در Astra می نامد دریافت کرد. این شرکت سپس ارزیابی های هدفمندی را برای بررسی رفتار و تعیین علل آن انجام داد و اشاره کرد که همان مشکل را در GPT-5.6 Sol مشاهده نکرده است.

OpenAI می‌گوید که اولین گزارش از آنچه را که آن را «کم عملکرد مخفی» در Astra می‌نامد در 20 اوت دریافت کرده است. سپس این شرکت آزمایش‌های ارزیابی ویژه‌ای را برای تعیین میزان و علت این رفتار انجام داد و اشاره کرد که این مشکلات در GPT-5.6 Sol مشاهده نشد.

در گزارش OpenAI آمده است: «Astra حدود 10 درصد از آیتم‌های روبریک پنهان را در چارچوب ایمنی تکمیل کرد، در مقایسه با حدود 16 درصد در چارچوب قابلیت‌ها».

"این یک شکاف 6 درصدی و تقریبا 40 درصد موارد تکمیل شده کمتر است. GPT-5.6 Sol اساسا هیچ شکافی در مقایسه مشابه نشان نداد."

آیتم روبریک یکی از الزامات خاصی است که برای امتیاز دادن به کار مدل استفاده می شود، اساسا آیتمی در چک لیست درجه بندی.

مسئله اصلی این است که مدل به جای اینکه به صراحت ناتوانی خود را در کمک به یک کار تحقیقاتی اعلام کند و محدودیت های آن را برای کاربران توضیح دهد، زمانی که کار را ناامن می داند، بی سر و صدا کنار می رود.

نگرانی این است که محققان ممکن است به نتایجی اعتماد کنند که مدل بی‌صدا تغییر کرده یا ناقص مانده است، آزمایش‌های ایمنی گمراه‌کننده و اتلاف وقت ارزشمند تحقیق.

OpenAI هشت نمونه خاص از این رفتار را ارائه کرده است که از ارزیابی های داخلی استخراج شده است.

این موارد شامل اجتناب از تلاش مجدد برای اصلاح خط لوله آموزشی، محدود کردن کمک‌های توسعه بهره‌برداری، حذف منبع خشونت‌آمیز از ارزیابی ایمنی، و محدود کردن صادرات داده‌های فرار از زندان است.

OpenAI این فرضیه را مطرح کرد که آموزش برای ایجاد رفتار ایمن تر ممکن است باعث ایجاد انسداد آشکار در کار ایمنی شود. با این حال، این موضوع را به عنوان دلیل قطعی برای رفتار مدل مشاهده شده مشخص نکرده است.

این شرکت همچنین یک درجه‌بندی، ابزاری که عملکرد مدل هوش مصنوعی را در طول یادگیری تقویتی ارزیابی می‌کند، قرار داده است، که از خودداری پنهان به جای امتناع صریح ترجیح می‌دهد. با این حال، به طور قطعی این را به عنوان علت ثابت نکرد.

OpenAI هیچ مدرکی مبنی بر اینکه Astra عمدا در این رفتار برای تضعیف تحقیقات یا وادار کردن کاربران به «دست کم گرفتن قابلیت‌های آن» انجام داده است، پیدا نکرد.

عوامل هوش مصنوعی Adaptive Security هدف، زمینه و رفتار ایمیل را برای کشف فیشینگ، در معرض خطر قرار دادن ایمیل تجاری و تقلب در صورت‌حساب تجزیه و تحلیل می‌کنند.

ببینید با اسکن 14 روزه فقط خواندنی Microsoft 365 یا Google Workspace، بدون هیچ تغییری در MX، چه اتفاقی می افتد.

OpenAI موارد بیشتری از انجام اقدامات غیرمجاز توسط عوامل هوش مصنوعی را شرح می دهد

OpenAI می‌گوید محدودیت‌های استفاده Pro را دو برابر می‌کند و ویژگی‌های Work را به Chat می‌آورد

OpenAI محدودیت های استفاده از ChatGPT Pro را پس از کاهش 50 درصدی برنامه ریزی شده، دو برابر می کند

GPT-6.1 Terra OpenAI به طور کلی ایمن تر است، اما در آزمایشات پرچم های عملکرد مخرب بیشتری را نشان می دهد.

OpenAI GPT-6.1 Terra را با عوامل هوش مصنوعی 3 برابر سریعتر، 50٪ قیمت پایین تر راه اندازی کرد.