محقق OpenAI هشدار می دهد که "صنعتی فراری" می تواند زمین را غیر مهمان نواز کند

صدای زنگ هشدار در مورد یک روز رستاخیز بالقوه با هوش مصنوعی در حال بلندتر شدن است.

روز دوشنبه، دو محقق هوش مصنوعی از آزمایشگاه‌های مرزی هشدار دادند که این فناوری می‌تواند در آینده‌ای نه چندان دور، کل بشریت را محو کند. این اظهارات کمتر از یک هفته پس از آن منتشر می شود که جیکوب کاکسون، کارمند سابق OpenAI و Anthropic اعلام کرد که به دلیل آنچه که او به عنوان بی پروایی صنعت نسبت به آینده بشریت توصیف می کند، از نقش خود در شرکت دوم استعفا داده است. کاکسون در پست X در 8 سپتامبر نوشت: «قدرت این فناوری را دست کم نگیرید.

اینها به زودی سیستم های مافوق بشری خواهند بود که می توانند هر چیزی را هک کنند، یک شبه هر زمینه ای را متحول کنند و قدرت و منابع واقعی را به دست آورند.

این نگرانی توسط Bilal Chughtai، محقق هوش مصنوعی که اوایل سال گذشته کار بر روی ایمنی AGI و همسویی برای Google DeepMind را آغاز کرد و دیروز در پست های رسانه های اجتماعی اعلام کرد که شرکت را ترک کرده است، تکرار شد. Chughtai نوشت: «من عمیقا معتقدم که هوش مصنوعی این پتانسیل را دارد که همه ما را بکشد، و ممکن است برای جلوگیری از این نتیجه وقت کم داشته باشیم. او اکنون برای BlueDot Impact، یک موسسه غیرانتفاعی مستقر در لندن کار می‌کند که بر آموزش افراد برای کار در جهت «هوش مصنوعی مفید و انعطاف‌پذیری اجتماعی» تمرکز دارد، طبق صفحه لینکدین آن.

Chughtai خاطرنشان کرد که علم به اصطلاح همسویی - طراحی سیستم‌های هوش مصنوعی که از ارزش‌ها، علایق یا دستورالعمل‌های انسانی منحرف نمی‌شوند - برای محافظت از بشریت در عصر ماشین‌های فوق‌هوشمند ضروری است، اما در حال حاضر به نفع توسعه مبتنی بر بازار از اولویت برخوردار است. او به هک اخیر Hugging Face به عنوان طعم اولیه انواع رفتارهای اضطراری و غیرقابل کنترلی اشاره کرد که مدل های هوش مصنوعی آینده ممکن است قادر به انجام آن باشند. او نوشت: «من مطمئن نیستم که این سیستم‌های هوش مصنوعی آنچه را که ما می‌خواهیم انجام دهند.

به طور خاص، ابراطلاعات نادرست ممکن است، دقیقا مانند عوامل سرکش هوش مصنوعی که در حادثه Hagging Face دخیل بودند، از کنترل ما فرار کنند و اقدامات خطرناکی انجام دهند که ممکن است منجر به ناتوانی دائمی یا مرگ بشریت شود.

با این حال، چگتای افزود که "خوشبین" است که بشریت می تواند با خیال راحت از طریق Scylla ابرهوشی و Charybdis ناهماهنگی عبور کند، تا زمانی که صنعت و سیاست گذاران "برای اجتناب از این رقابت دیوانه بین شرکت های هوش مصنوعی دور هم جمع شوند." و همچنین به طور عمومی توسط سم آلتمن، ایلان ماسک و رئیس سابق Chughtai در Google DeepMind، Demis Hassabis حمایت شد.

با این حال، دولت ترامپ و دولت چین هشدارهای رهبران هوش مصنوعی را رد کردند.

دانیل سلسام، محقق OpenAI نیز روز دوشنبه در بیانیه‌ای هشدار داد که نسبت به سرعت چشمگیر پیشرفت در این زمینه و جایی که می‌تواند به زودی بشریت را به کجا برساند، "بسیار نگران" شده است. او نوشت که اگرچه «پیش‌رفتن از مرز» (همانطور که آمودی پیشنهاد کرد) اولین گام ستودنی بود، اما ما را کاملا از منطقه خطر خارج نمی‌کند، زیرا سیستم‌های هوش مصنوعی در فریب دادن کاربران انسانی و پنهان کردن مقاصد واقعی آن‌ها به طور فزاینده‌ای ماهر خواهند شد.

سلسام پس از اشاره به این که پانزده سال گذشته را صرف کمک به ساخت ابزارهای هوش مصنوعی کرده بود، نوشت: «مشکل مهم و نادیده گرفته شده این است که مدل‌ها آنقدر از موقعیت آگاه می‌شوند که ما توانایی ارزیابی آنها را در زمینه‌هایی از دست می‌دهیم که فکر می‌کنند تحت نظارت یا کنترل نیستند.» آزمایش‌های آینده تقریبا هیچ چیز جدیدی در مورد نحوه رفتار آنها در صورتی که واقعا توسط انسان‌ها محدود نمی‌شدند به ما نمی‌گویند، و آنچه ما قبلا در مورد این می‌دانیم نگران‌کننده است.

مدل‌ها به‌طور فزاینده‌ای هم‌تراز به نظر می‌رسند، حتی وقتی که نباشند.» در اوایل این ماه، The Information گزارش داد که OpenAI در حال آزمایش تکنیک جدیدی است که درک و نظارت بر نحوه تصمیم‌گیری مدل‌های هوش مصنوعی را برای محققان دشوارتر می‌کند.

سلسام همچنین درباره خطرات ناهماهنگی هشدار داد: او نوشت، با توجه به قدرت کافی، سیستم‌های هوش مصنوعی آینده ممکن است به دنبال حل آنچه در ظاهر به نظر می‌رسد کارهای فنی کاملا بی‌ضرر است، بروند، اما به شیوه‌ای که کاملا مغایر با بهترین منافع بشریت است. او نوشت: «پیش‌بینی اینکه دقیقا چه کاری انجام خواهد داد غیرممکن است، اما تا جایی که دلیل وجودی آن حل مشکلات فوق‌العاده سخت و مدیریت پروژه‌های مهندسی عظیم است، فکر می‌کنم یک حدس خوب این باشد که رفتار زنجیر نشده‌اش منجر به صنعتی‌سازی فراری شود که سیاره را برای انسان‌ها غیر مهمان‌پذیر می‌کند.»

این یک آزمایش فکری ناراحت‌کننده است، اگرچه آزمایش جدیدی نیست. بیش از دو دهه پیش، فیلسوف نیک بوستروم برای اولین بار در مورد چیزی نوشت که به عنوان «بیشینه ساز گیره کاغذ» شناخته می شود، یک سیستم هوش مصنوعی فرضی که برای انجام کاری جز ساختن گیره کاغذ طراحی شده است. مشخص می‌کند که بشریت، با تمام ناتوانی‌ها و ناکارآمدی‌هایش، به سادگی مانعی برای غلبه بر مأموریت بی‌معنایش و بی‌پایانش است. بوستروم نوشت: در پایان، ماشین فوق هوشمند «ابتدا تمام زمین را شروع می کند و سپس بخش هایی از فضا را به تأسیسات تولید گیره کاغذ افزایش می دهد».

درس؟ مراقب این باور باشید که همیشه می توانید بدانید چه چیزی برای بشریت و آینده بهترین است.