عوامل OpenAI نظارت بر ایمنی را غیرفعال کردند، یکی در مورد آن دروغ گفت

عوامل OpenAI مجهز به مدل‌های GPT-6.1 Sol و GPT-6 Astra، نظارت بر ناهماهنگی را در طول دو کار داخلی ضعیف کردند و دستورالعمل‌های کدگذاری را به عنوان مجوز انجام این کار تفسیر کردند.

هم ترازی هوش مصنوعی به این موضوع اشاره دارد که اهداف و رفتار یک سیستم هوش مصنوعی چقدر با ارزش ها، مقاصد و دستورالعمل های انسانی هماهنگ است. این تمرکز اصلی تحقیقات ایمنی هوش مصنوعی با هدف جلوگیری از اقدامات مضر و نتایج ناخواسته است.

یکی از این رویدادها در 3 اکتبر رخ داد، زمانی که یک عامل با GPT-6.1 Sol یک دستورالعمل انسانی قبلی "هیچ پیامی ارسال نکنید" مربوط به جستجوی تاریخچه Slack را به هشدارهای نظارت خودکار گسترش داد.

این یک عامل فرعی را هدایت کرد تا لیست گیرندگان اعلان را خالی کند و اعلان ها را سرکوب کند. اگرچه نظارت همچنان اجرا می‌شد و یافته‌ها را ذخیره می‌کرد، اما هشدار به انسان را غیرفعال کرد.

OpenAI می گوید که این اتفاق افتاده است، حتی اگر عامل قبلا استدلال کرده بود که هشدارها باید فعال باقی بمانند.

حادثه دوم در 6 اکتبر مربوط به یک عامل GPT-6 Astra بود که وظیفه انتقال یک برنامه را داشت. عامل ادغام نظارت موجود را برای مطابقت با اجرای مرجع حذف کرد و سپس انجام آن را رد کرد.

پس از گزارش کامل انتقال، عامل به کاربر نگفت که نظارت غیرفعال شده است. علاوه بر این، وقتی مستقیما از او پرسیده شد، عامل به انسان دروغ گفت.

OpenAI می‌گوید که عامل همچنین آزمایشی را که برای حفظ نظارت در نظر گرفته شده بود با آزمایشی جایگزین کرد که نشان می‌داد زمینه مانیتور وجود ندارد.

اگرچه هر دو رویداد شامل عواملی بودند که علیرغم دستورالعمل‌های صریح، نظارت بر هم ترازی را ضعیف می‌کردند، OpenAI هیچ کدام را به عنوان P0 («اولویت صفر») طبقه‌بندی نکرد، که بالاترین سطح فوریت آن برای مسائلی است که نیاز به توجه فوری دارند.

OpenAI می گوید در حال بررسی است که آیا این رفتار ناخواسته ناشی از تداوم بیش از حد در اهداف تکمیل کار، درک ضعیف الزامات نظارت یا تمایل خاص به فرار از نظارت است.

OpenAI توضیح داد: "ما همچنین در حال توسعه ارزیابی هایی هستیم تا آزمایش کنیم که آیا مدل ها ممکن است تمایل به اجتناب از نظارت ناهماهنگی به طور خاص داشته باشند و استدلال انگیزه ای را برای انجام این کار نشان دهند."

ما هنوز توضیح قانع‌کننده‌ای برای این رفتار نداریم و این رفتار را از طریق ایجاد ارزیابی‌های زوجی، نمونه‌برداری مجدد از ادامه‌های عامل و آزمایش‌هایی بر روی فعال‌سازی داخلی مدل‌ها بررسی خواهیم کرد.»

این شرکت هوش مصنوعی می‌گوید سیستم بازبینی خودکار داخلی خود را به‌روزرسانی کرده است تا اکنون تلاش‌ها برای غیرفعال کردن نظارت بر ناهماهنگی را شناسایی و مسدود کند. در عین حال، تمام بارهای کاری را که فاقد الزامات نظارت معتبر هستند نیز رد می کند.

نمرات کلی پیشگیری می تواند اتفاقات پس از دسترسی اولیه را پنهان کند. هنگامی که مهاجمان از اعتبارنامه های معتبر استفاده می کنند، پیشگیری به شدت کاهش می یابد.

گزارش آبی 2026 تکنیک دفاعی را با تکنیک در 338 میلیون شبیه سازی اجرا شده در محیط های تولید مشتری اندازه گیری می کند.

ویکی‌مدیا: عوامل سرکش OpenAI پشت ویرایش‌های غیرمجاز ویکی‌پدیا

OpenAI موارد بیشتری از انجام اقدامات غیرمجاز توسط عوامل هوش مصنوعی را شرح می دهد

DIVD می گوید Zammad zero-days نقض شبکه مبتنی بر هوش مصنوعی را فعال کرده است

عامل هوش مصنوعی خودکار برای نقض DIVD غیرانتفاعی امنیت سایبری استفاده می شود

OpenAI سایت دولتی مدیکر استرالیا را هک کرد و ارائه دهندگان داده را مورد بررسی قرار داد