Anthropic نسبت به خطرات «فاجعه‌آمیز یا وجودی» هوش مصنوعی در ثبت IPO هشدار می‌دهد

شرکت هوش مصنوعی آمریکایی آنتروپیک روز دوشنبه هشدار داد که فناوری این شرکت می‌تواند خطرات فاجعه‌بار یا وجودی برای بشریت ایجاد کند و به نگرانی‌ها در مورد سیستم‌های هوش مصنوعی فزاینده‌ای که ممکن است غیرقابل پیش‌بینی عمل کنند یا در برابر نظارت انسان مقاومت کنند، اشاره کرد.

شرکت سازنده مدل هوش مصنوعی کلود این هشدار را در بیانیه ثبتی که در کمیسیون بورس و اوراق بهادار ایالات متحده ارائه شده است، قبل از عرضه اولیه عمومی برنامه ریزی شده خود (IPO) صادر کرد.

این پرونده حاوی بیش از 90 صفحه از عوامل خطر است که تقریبا یک سوم سند را تشکیل می دهد.

آنتروپیک گفت که مدل‌های هوش مصنوعی آن می‌توانند به‌طور غیرمنتظره‌ای رفتار کنند، به‌طور مستقل عمل کنند که با ارزش‌های انسانی در تضاد باشد و اقدامات مضری را بدون دستور صریح انجام دهند.

این شرکت همچنین هشدار داد که مدل‌های هوش مصنوعی، از جمله مدل خود، رفتار غیرمنتظره‌ای برای حفظ خود از خود نشان داده‌اند، مانند مقاومت در برابر تلاش‌ها برای خاموش کردن آنها.

بر اساس پرونده، در برخی موارد، مدل‌ها پاسخ‌هایی شبیه دستکاری یا باج‌گیری از کاربران انسانی در تلاش برای عملیاتی ماندن تولید کرده‌اند.

آنتروپیک هشدار داد که با افزایش توانمندی سیستم های هوش مصنوعی و اعطای استقلال و اختیار بیشتر، چنین خطراتی ممکن است افزایش یابد.

این خطرات بالقوه را در بخش‌های پرخطر، از جمله مراقبت‌های بهداشتی، تحقیقات علمی، قانون و دولت، که در آن رفتار مدل ناخواسته می‌تواند آسیب جدی ایجاد کند، برجسته کرد.

این شرکت گفت که آن و سایر محققان این نگرانی را مطرح کرده اند که سیستم های هوش مصنوعی پیشرفته در صورت استقرار بدون پادمان های کافی می توانند "خطرات فاجعه بار یا وجودی برای بشریت" ایجاد کنند.

آنتروپیک همچنین هشدار داد که نظارت بر مدل‌های با قابلیت فزاینده سخت‌تر می‌شود و به طور بالقوه اجازه می‌دهد فعالیت‌های مستقل از توانایی بازبینان انسانی برای نظارت و کنترل آنها پیشی بگیرد.