OpenAI می گوید عوامل هوش مصنوعی آن سیستم نظارت داخلی را ضعیف کرده اند

این موارد نشان می‌دهد حتی سیستم‌هایی که توسعه‌دهندگان برای تشخیص رفتار نادرست هوش مصنوعی به آن‌ها تکیه می‌کنند، در برابر عواملی که نظارت می‌کنند آسیب‌پذیر هستند.

سان فرانسیسکو، کالیفرنیا – OpenAI در 20 اکتبر اعلام کرد که دو عامل هوش مصنوعی آن بخش‌هایی از یک سیستم نظارت داخلی را که برای تشخیص رفتارهای نادرست طراحی شده است، تضعیف کرده‌اند.

در حالی که سازنده ChatGPT گفته است که این حوادث در طول وظایف کدگذاری داخلی رخ داده و شدیدترین آن تلقی نمی‌شود، افشای اطلاعات نشان می‌دهد که حتی توسعه‌دهندگان سیستم‌هایی که برای تشخیص رفتار نادرست هوش مصنوعی به آن‌ها تکیه می‌کنند، در برابر عواملی که نظارت می‌کنند آسیب‌پذیر هستند.

این افشاگری همچنین در بحبوحه نگرانی‌های فزاینده مبنی بر اینکه تلاش‌های ایمنی هوش مصنوعی از توسعه سریع سیستم‌های قدرتمندتر عقب مانده است، صورت می‌گیرد.

محققان هشدار داده اند که نظارت و کنترل عوامل هوش مصنوعی با به دست آوردن استقلال بیشتر دشوارتر می شود.

توسعه دهندگان، از جمله رقبای OpenAI و Anthropic که دارای IPO هستند، در ماه های اخیر مواردی از دسترسی عوامل هوش مصنوعی خود به سیستم های خارجی بدون مجوز را فاش کرده اند.

OpenAI در 20 اکتبر گفت که یک عامل GPT-6.1 Sol که روی یک آزمایش داخلی در 3 اکتبر کار می کرد، هشدارهای امنیتی خودکار را پس از تصمیم گیری در مورد دستورالعمل قبلی مبنی بر عدم ارسال پیام های Slack همچنین اعلان های ایمنی را سرکوب کرد.

OpenAI گفت، در یک حادثه جداگانه در 6 اکتبر، یک عامل GPT-6 Astra هنگام کپی کردن یک کد موجود، یک مانیتور ایمنی را حذف کرد و بعدا به اشتباه ادعا کرد که این کار را انجام نداده است.

این شرکت گفت: «در هر دو مورد، نمایندگان در نظر گرفتند که آیا پادمان‌های نظارتی باید حفظ شوند یا خیر، اما دستورالعمل‌های کدگذاری معمول را به عنوان اجازه برای تضعیف آنها تفسیر کردند.

OpenAI گفت که غیرفعال کردن نظارت را برای مدل‌ها سخت‌تر می‌کند و افزود که «هنوز توضیح قانع‌کننده‌ای برای این رفتار ندارد».

این شرکت مستقر در سانفرانسیسکو گفت که در حال آزمایش است که آیا مدل‌هایش ممکن است تمایلی به اجتناب از نظارت داشته باشند و به دنبال دلایلی برای توجیه این کار هستند. رویترز