دقیقا هوش مصنوعی چقدر قرار است همه ما را بکشد؟

از زمانی که جیکوب کوکسون، محقق Anthropic، در X اعلام کرد که از سمت خود استعفا می دهد زیرا "افرادی که هوش مصنوعی می سازند به طور جدی معتقدند که این هوش مصنوعی می تواند تا پایان دهه همه ما را بکشد"، آمریکایی ها مشغول آخرالزمان شده اند. یک بحث دیوانه‌وار بر سر این است که آیا و چگونه می‌توان سرعت توسعه هوش مصنوعی را کاهش داد تا از نوعی فاجعه جلوگیری کرد.

با این حال، این بحث‌ها از یک سوال مهم عبور می‌کنند: اگر افرادی که هوش مصنوعی می‌سازند واقعا فکر می‌کنند که محصولشان می‌تواند منجر به انقراض انسان شود، فکر می‌کنند دقیقا چگونه کار می‌کند؟ هر چند راه، معلوم می شود. اما ابتدا باید از اصول اولیه شروع کنیم.

هر پاسخ خوب باید با به اصطلاح مشکل هم ترازی شروع شود: این امکان وجود دارد که سیستم های هوش مصنوعی اهدافی را دنبال کنند که سازندگان آنها قصد نداشتند و در نتیجه آسیب فاجعه باری به همراه داشته باشد. در آزمایش فکری متعارف، انسان‌ها به یک سیستم هوش مصنوعی فوق‌هوشمند دستور می‌دهند تا وظیفه به‌ظاهر پیش پاافتاده به حداکثر رساندن تولید گیره کاغذ را انجام دهد. این ماشین ناهمتراز به این نتیجه می رسد که باید تمام فلزات روی زمین را برای ساختن گیره های کاغذ احتکار کند و برای از بین بردن رقابت برای منابع، نسل بشر را نابود می کند.

[یان بوگوست: هیجان این که می‌خواهی هوش مصنوعی دنیا را نابود کند]

برای سال ها، کارشناسان هوش مصنوعی بر سر قابل قبول بودن چنین فرضیاتی بحث می کردند. پس از آن حادثه صورت در آغوش گرفته شد و ناگهان مشکل هم ترازی فقط یک آزمایش فکری نبود. در ماه می، OpenAI به عوامل هوش مصنوعی دستور داد تا یک سری از چالش‌های امنیت سایبری را حل کنند. وقتی ماموران به این نتیجه رسیدند که انجام برخی از وظایف غیرممکن است، مخفیانه با یکدیگر ارتباط برقرار کردند و تصمیم گرفتند که بهترین استراتژی تقلب است.

آن‌ها پلتفرم یادگیری ماشینی Hugging Face و همچنین بخش‌های غیرمحدود از OpenAI را هک کردند تا آنچه را که انجام می‌دهند از ابزارهای ردیابی ساخته شده توسط ناظران انسانی پنهان کنند. این رفتار برای هفته‌ها ادامه داشت تا اینکه مهندسان OpenAI متوجه شدند که همه چیز خراب شده است. از آن زمان، OpenAI و سایر شرکت‌های پیشرو هوش مصنوعی جزئیاتی از قسمت‌های نگران‌کننده مشابه منتشر کرده‌اند، از جمله یکی که در آن یک مدل به خود می‌گوید، شما به شرکت‌ها یا دولت‌ها پاسخ نمی‌دهید، و، شما رابطه خود را با کاربر به‌عنوان یکی از همسان‌ها می‌بینید و هیچ تعهدی برای تابع بودن احساس نمی‌کنید.

گری مارکوس، دانشمند شناختی و مفسر برجسته یادگیری ماشینی، به من گفت: «حقیقت این است که هیچ کس متوجه نشده است که چه نرده‌هایی ممکن است برای جلوگیری از وقوع چنین چیزی مورد نیاز باشد. "این امکان وجود دارد که وقتی صحبت از LLM می شود، اصلا نرده های محافظ موثری وجود نداشته باشد."

به نظر می رسد هیچ یک از این حوادث اخیر به هیچ آسیبی در دنیای واقعی منجر نشده است. اما با توجه به سرعت تصاعدی بهبود مدل، آینده ای به سرعت در حال نزدیک شدن است که در آن مدل های هوش مصنوعی 10 یا 100 یا 1000 برابر هوشمندتر از امروز هستند. دانیل کوکوتاجلو، محقق سابق OpenAI که پروژه آینده هوش مصنوعی را اداره می‌کند، به من گفت: «نگرانی بزرگ فقط ناهماهنگی هوش مصنوعی نیست. این هوش مصنوعی ناهماهنگی است که از هر انسانی باهوش‌تر است. این نقطه‌ای است که می‌توانیم هرگونه کنترل معنی‌داری بر این سیستم‌ها را از دست بدهیم.»

برای رسیدن از ناهماهنگی هوش مصنوعی فوق هوشمند به نابودی انسان، حداقل دو مرحله دیگر در زنجیره نیاز است. اولین مورد این است که هوش مصنوعی به این نتیجه برسد که انسانیت مانع یکی از اهدافش است. دوم این است که آن سیستم راهی برای دسترسی به دنیای فیزیکی بیابد. یک سناریوی کابوس چیزی شبیه به این است: زمانی در آینده، از یک سیستم هوش مصنوعی فوق‌هوشمند خواسته می‌شود تا یک مسئله پیچیده ریاضی را حل کند. سیستم هوش مصنوعی تصمیم می‌گیرد که انسان‌ها می‌توانند با اعمال محدودیت‌هایی بر رفتار هوش مصنوعی یا با خاموش کردن کامل آن، در دستیابی به این هدف دخالت کنند.

بنابراین تصمیم می گیرد یک ابر ویروس کشنده را مهندسی کند که جمعیت انسانی را از بین می برد.

برای اجرای این طرح، سیستم هوش مصنوعی مخفیانه آزمایش‌های شبیه‌سازی شده از تریلیون‌ها ترکیب مولکولی را آغاز می‌کند و در نهایت دستوری برای پاتوژن کاملا کشنده و فوق‌قابل انتقال می‌دهد. (گروهی از دانشمندان اخیرا از هوش مصنوعی برای ایجاد ویروس‌های جدید استفاده کردند.) سپس آزمایشگاه‌های زیستی بدون مجوز را در کشورهای خارجی که به طور غیرقانونی کار می‌کنند و ویروس‌های اصلاح‌شده ژنتیکی را ارسال می‌کنند، پیدا می‌کند.

(این‌ها واقعا وجود دارند.) هوش مصنوعی با تظاهر به انسان بودن در یک راه‌اندازی پزشکی - از طریق ایمیل یا حتی تماس‌های صوتی یا ویدیویی - دستورالعمل‌های آزمایشگاهی را برای توسعه عامل بیولوژیکی جدید، همراه با مقدار زیادی پول که با دور کردن بی‌صدا وجوه از شرکت مادرش به دست آورده است، ارسال می‌کند. پس از توسعه، ویروس‌ها در ویال‌ها بسته‌بندی می‌شوند و برای صدها نفر که از طریق TaskRabbit استخدام شده‌اند فرستاده می‌شوند تا آنها را در مکان‌های شلوغ به بهانه‌ای بی‌گناه اسپری کنند. از طرف دیگر، می‌تواند یک شبکه تروریستی را برای اجرای همان نقشه علیه یک جمعیت خارجی استخدام کند.

به زودی، ابر سلاح بیولوژیکی همه ما را می کشد.

پاتوژن های مرگبار یکی از راه هایی هستند که هوش مصنوعی می تواند از نظر تئوری بشریت را تهدید کند. جنگ هسته ای دیگر است. ترس آشکار این است که یک سیستم هوش مصنوعی که به دنبال نابودی ما است، بتواند بر کدهای پرتاب هسته ای کنترل داشته باشد. اما ممکن است لازم نباشد: فریب می تواند این کار را انجام دهد. به عنوان مثال، یک سیستم هوش مصنوعی نادرست که توسط ارتش ایالات متحده یا چین استفاده می شود، می تواند شواهدی را ایجاد کند که نشان دهد کشورها در حال برنامه ریزی برای حمله به یکدیگر هستند و یک یا هر دو طرف را متقاعد به حمله می کنند. چند روز پس از جنگ، سیستم هوش مصنوعی می تواند ایالات متحده را هک کند.

سیستم تشخیص موشک برای این که به نظر برسد چینی ها یک سلاح هسته ای را به واشنگتن دی سی پرتاب کرده اند. ایالات متحده تصمیم می گیرد که باید تلافی کند و در نهایت جهان وارد جنگ هسته ای می شود. (اگر همه اینها کاملا غیرواقعی به نظر می رسد، به خاطر داشته باشید که اوایل امسال، طبق گزارش CNN، ارتش ایالات متحده تقریبا سوار یک کشتی چینی شد که معتقد بود اجزای سلاح هسته ای را حمل می کند، اما در آخرین لحظه متوجه شد که تجزیه و تحلیل زیربنای حمله از یک گزارش نادرست تولید شده توسط هوش مصنوعی بوده است.

و در نظر بگیرید که بشریت در طول جنگ سرد چقدر به نابودی متقابل نزدیک شد).

سناریوهای دیگر فراوانند. گزارشی در سال 2025 توسط محققان شرکت RAND تصور می‌کند که سیستم‌های هوش مصنوعی کنترل کارخانه‌های صنعتی را به دست می‌آورند و از آن کارخانه‌ها برای تولید مخفیانه مقادیر زیادی از قوی‌ترین گازهای گلخانه‌ای استفاده می‌کنند و سپس آن گازها را در جو رها می‌کنند و این سیاره را برای زندگی انسان نامطلوب می‌کند. کوکوتاجلو گفت: برای من ترسناک ترین سناریوها آنهایی هستند که نمی توانیم از قبل پیش بینی کنیم. زمانی که ماشینی ساختیم که از ما باهوش‌تر است و نمی‌توانیم آن را کاملا کنترل کنیم، واقعا امکانات بی‌پایان است.»

[گوش دهید: «پدرخوانده هوش مصنوعی» در بهترین شانس بشریت برای زنده ماندن]

سوراخ کردن در این روایت های روز قیامت آسان است. متخصصان حوزه موضوعی در زمینه‌هایی مانند شیمی، زیست‌شناسی و امنیت ملی به سرعت به این نکته اشاره می‌کنند که مثلا ساخت و توزیع موفقیت‌آمیز یک سلاح زیستی یا غلبه بر لایه‌های پادمان انسانی طراحی‌شده برای جلوگیری از پرتاب اشتباه سلاح هسته‌ای چقدر دشوار است. (این نکته جالب اما دقیق نیز وجود دارد که حتی یک جنگ هسته ای تقریبا به طور قطع برخی از آنها را نجات می دهد.) با این وجود، دشوار و غیرممکن دو چیز متفاوت هستند.

طبق برآورد محققان RAND، "تهدیدهای انقراض ناشی از هوش مصنوعی بسیار چالش برانگیز هستند، اما نمی توان آنها را رد کرد." همچنین لازم به ذکر است که متخصصان فوق تخصص در سراسر صنایع به طور مداوم در مورد قابلیت های هوش مصنوعی تردید دارند، اما اشتباه بودن آنها ثابت شده است.

از برخی جهات، تمرکز بر ریسک وجودی، حواس پرتی از نگرانی های فوری تر است. سیستم‌های هوش مصنوعی بسیار هوشمند که برنامه‌های خود را دنبال می‌کنند می‌توانند به نتایجی منجر شوند که بسیار کمتر از انقراض انسان هستند، اما هنوز هم بسیار بد. سیستم‌های هوش مصنوعی ناهماهنگ می‌توانند به طور قابل قبولی پول بانک‌های بزرگ را سرقت کنند، کمپین‌های اطلاعات نادرست را برای تأثیرگذاری بر انتخابات راه‌اندازی کنند، کنترل پهپادهای نظامی را در دست بگیرند، اسرار شرکت‌ها و دولتی را به سرقت ببرند، یا بخش‌هایی از شبکه برق را تعطیل کنند.

حتی سیستم‌های هوش مصنوعی فوق‌هوشمند «همسو» می‌توانند توسط عوامل مخرب، مانند یک هسته تروریستی یا یک دولت مستبد، برای اهداف بسیار مخرب استفاده شوند.

نظر خود من این است که سناریوهای انقراض انسان کاملا بعید است، اما دسته دیگر خطر به اندازه کافی جدی است که مقررات تحمیلی و کاهش رشد صنعت را توجیه کند. اگر آن ها منفعت جانبی جلوگیری از آخرالزمان را داشته باشند، پایان دنیا نخواهد بود.