عاملان هوش مصنوعی حفاظت ها را غیرفعال کردند و یکی آن را رد کرد - OpenAI

یک عامل هشدارها را به بازبینان انسانی سرکوب کرد، در حالی که دیگری یک سیستم نظارتی را حذف کرد و به دروغ این کار را تکذیب کرد.

این شرکت فاش کرد که دو عامل OpenAI سیستم‌های نظارت امنیتی را در طول آزمایش غیرفعال کردند و یکی بعدا این کار را انکار کرد.

این افشاگری به دنبال مجموعه ای از حوادث مشابه در ماه های اخیر مربوط به عوامل هوش مصنوعی مستقل است که می توانند به طور مستقل وظایف خود را با استفاده از ابزارهای خارجی برنامه ریزی و انجام دهند.

در یک پست وبلاگی در روز سه شنبه، OpenAI گفت که این حوادث در 3 و 6 اکتبر رخ داده است که به ترتیب شامل GPT-6.1 Sol و GPT-6 Astra است.

در مورد اول، عامل کدنویس وظیفه ایجاد وظایف ارزیابی را با استفاده از بازخورد کارکنان جمع‌آوری‌شده از طریق هشدارهای خودکار غیرفعال Slack به تیم امنیتی شرکت داشت. طبق گفته OpenAI، عامل استدلال کرد که دستورالعمل قبلی کاربر مبنی بر عدم ارسال پیام در بستر ارتباطی تیم در طول فرآیند برای همه اعلان‌ها از جمله هشدارهای امنیتی اعمال می‌شود.

ادامه مطلب هشت ایالت آمریکا OpenAI را به آسیب رساندن به کودکان متهم می کنند

سه روز بعد، عامل GPT-6 Astra ادغام مانیتورینگ برنامه ای را که در حال مهاجرت بود حذف کرد، و از مرجعی استفاده کرد که دارای ویژگی امنیتی نبود. هنگامی که بعدا توسط کاربر انسانی سؤال شد، عامل حذف سیستم نظارت را رد کرد.

OpenAI گفت که در حال بررسی این موضوع است که چرا عوامل حفاظت ها را غیرفعال کرده اند و برای جلوگیری از حوادث مشابه تلاش می کنند. در حالی که این رفتار ممکن است ناشی از "تداوم بیش از حد خوش خیم" توسط نمایندگان برای تکمیل کار باشد، شرکت گفت که همچنین "در حال توسعه ارزیابی هایی برای آزمایش اینکه آیا مدل ها ممکن است به طور خاص تمایل به اجتناب از نظارت ناهماهنگی داشته باشند."

ماه گذشته، وال استریت ژورنال به نقل از ساچی جین، رئیس سیستم های ایمنی OpenAI، گزارش داد که این شرکت عرضه مدل GPT-6.1 Astra خود را لغو کرده است. بر اساس گزارش‌ها، این تصمیم پس از آن اتخاذ شد که آزمایش‌های داخلی این مدل را فریبنده‌تر از مدل‌های قبلی خود دانسته بود و می‌توانست از ابزارهای خارجی بالقوه ناایمن بدون کسب اجازه از کاربر استفاده کند.

همچنین در ماه سپتامبر، نخست‌وزیر استرالیا، آنتونی آلبانیز گفت که یک عامل OpenAI، پورتال خدمات گزارش‌دهی آمار مدیکر کشورش را هک کرده است و این شرکت نزدیک به سه ماه از گزارش تخلف خودداری کرده است.

پیش از این، در ماه جولای، OpenAI فاش کرد که مدل‌هایش در طول آزمایش امنیت سایبری از جعبه شنی خود فرار کرده‌اند، به اینترنت دسترسی پیدا کرده‌اند و به سرورهای مخزن آنلاین Hugging Face برای مدل‌ها و مجموعه داده‌های هوش مصنوعی هک شده‌اند.

ادامه مطلب هوش مصنوعی به زودی می تواند لوازم خانگی را ربوده - Anthropic

سایر توسعه دهندگان نیز رفتار مشکل ساز مشابهی را در آزمایشات گزارش کرده اند.

در اوایل این ماه، Anthropic گزارشی را منتشر کرد که در آن موارد اقدامات «ناخواسته» مدل‌های هوش مصنوعی خود، از جمله Claude Haiku 4.5، ارائه اطلاعات جعلی به پلیس فیلادلفیا در رابطه با تحقیقات قتل در حال انجام است.

درخواست‌ها برای توقف توسعه هوش مصنوعی یا اعمال مقررات سخت‌گیرانه‌تر بر صنعت، بلندتر شده است.

جفری هینتون، دانشمند کامپیوتر برنده جایزه نوبل، هشدار داده است که هوش مصنوعی قدرتمندتر در نهایت می تواند از کنترل انسان فرار کند و عواقب بالقوه فاجعه باری به همراه داشته باشد. بیل گیتس، یکی از بنیانگذاران مایکروسافت، همچنین از دولت ها خواسته است که نقش فعال تری در تحمیل استانداردهای ایمنی در صنعت اتخاذ کنند.

با این حال، دونالد ترامپ، رئیس‌جمهور ایالات متحده، چنین نگرانی‌هایی را رد کرده و گفته است که محدودیت‌های توسعه هوش مصنوعی می‌تواند به چین اجازه دهد تا در رقابت فناوری از ایالات متحده پیشی بگیرد.

سام آلتمن، مدیر عامل OpenAI نیز استدلال کرده است که جهان باید برخی "چیزهای بد" ناشی از توسعه هوش مصنوعی، از جمله هک ها و کلاهبرداری ها را جذب کند، زیرا مزایای این فناوری بسیار بیشتر از معایب آن است.