رهبر سابق ایمنی OpenAI هشدار می دهد که هوش مصنوعی هوشمندتر می تواند از آزمایش های ایمنی فرار کند: گزارش

یکی از رهبران سابق ایمنی OpenAI که این هفته از سمت خود استعفا داد، روز شنبه هشدار داد که مدل‌های هوش مصنوعی توانمندتر می‌توانند تشخیص دهند که چه زمانی در حال آزمایش هستند و پس از استقرار رفتار متفاوتی از خود نشان می‌دهند.

دیوید رابینسون، که سه سال و نیم را در OpenAI گذراند و بر گزارش‌های ایمنی برای 12 مدل مرزی نظارت داشت، در مقاله‌ای برای آتلانتیک گفت که رویکرد صنعت به ایمنی منجر به شکست‌های بیشتر خواهد شد مگر اینکه تغییراتی ایجاد شود.

رابینسون نوشت: «سیستم‌های هوش مصنوعی امروز و فردا بسیار قوی‌تر و خطرناک‌تر از سیستم‌هایی هستند که حتی شش ماه پیش می‌سازیم.

هشدار او در بحبوحه نگرانی فزاینده در مورد سیستم‌های هوش مصنوعی مستقل و فزاینده، به دنبال حوادث اخیر مربوط به عواملی است که از پادمان‌ها دور می‌زنند و درخواست‌های محققان از شرکت‌ها برای کاهش سرعت توسعه سیستم‌های قدرتمندتر تا زمانی که اقدامات ایمنی بهبود یابد.

رابینسون از شرکت‌های هوش مصنوعی خواست بیشتر از تخصص ایمنی سایر صنایع پرخطر استفاده کنند و تحقیقات جدیدی را برای اطمینان از اینکه مدل‌های توانمندتر حتی زمانی که تحت نظارت نیستند، ایمن رفتار می‌کنند، انجام دهند.

او نوشت: «با توجه به خطرات امروزی، آزمایشگاه‌های مرزی باید مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ، با لایه‌هایی از افزونگی و برنامه‌ریزی دقیق و زمان‌بر کار کنند تا خطای انسانی گاه و بی‌گاه و اجتناب‌ناپذیر دری را به روی فاجعه باز نکند».

رابینسون همچنین هشدار داد که ارزیابی های ایمنی موجود ممکن است با افزایش توانمندی مدل ها کمتر قابل اعتماد شوند.

او گفت: "مدل ها ممکن است تشخیص دهند که چه زمانی در حال آزمایش هستند، و در هنگام استقرار رفتار متفاوتی از خود نشان دهند. هر چه صنعت هوشمندتر به مدل ها اجازه دهد در حالی که این مشکلات حل نشده باقی می مانند، وضعیت ما خطرناک تر می شود."

او استدلال کرد که قبل از اینکه شرکت‌ها سیستم‌هایی را ایجاد کنند که بسیار توانمندتر از سیستم‌های موجود امروزی هستند، باید علم ایمنی قوی‌تری توسعه یابد.

رابینسون نوشت: «تاکنون، صنعت هوش مصنوعی نتوانسته است به ماشین‌ها بیاموزد که به روشی که یک فرد عاقل و دلسوز انجام می‌دهد، عمل کنند.

قبل از اینکه سازمان‌هایی که هوش مصنوعی می‌سازند بتوانند به یک ابرهوشمند بیاموزند که با بشریت خوب رفتار کند، باید به یاد داشته باشند که چگونه این کار را خودشان انجام دهند.