افرادی که از هوش مصنوعی می ترسند، زمان خود را برای مبارزه با یکدیگر تلف می کنند

معترضان در تجمعی برای توقف توسعه هوش مصنوعی در شهر نیویورک، 15 سپتامبر 2026. | یوجین گولوگورسکی/گتی ایماژ برای صندوق آموزش غیر قابل تعویض

همه ناگهان از هوش مصنوعی وحشت می کنند. در حالی که محققان هوش مصنوعی سال‌هاست درباره قابلیت‌های ساخته‌های خود هشدار می‌دهند، رویدادهای اخیر این هشدارها را به تازگی ملموس کرده است.

در بهار، آنتروپیک اعلام کرد که هوش مصنوعی شروع به سرعت بخشیدن به کار ساخت هوش مصنوعی بهتر کرده است، و ترس از «بهبود خود بازگشتی» را افزایش داده است، جایی که ماشین‌ها می‌توانند جانشین‌های قدرتمندتر خود را بسیار سریع‌تر از انسان‌ها بسازند. در ماه جولای، گروهی از عوامل OpenAI، به میل خود، از محیط کنترل شده خود خارج شدند و به Hugging Face، یک پلت فرم بزرگ هوش مصنوعی هک شدند. آنها همکاری کردند، کارها را تقسیم کردند، و حتی یادداشت هایی برای یکدیگر گذاشتند.

هفته گذشته، جاکوب کوکسون، محقق هوش مصنوعی، از آنتروپیک استعفا داد و آزمایشگاه‌های هوش مصنوعی را متهم کرد که «مستقیما به سمت سوپرهوش خودسازی و قمار با زندگی‌مان مسابقه می‌دهند». سپس یکی از محققان برجسته Anthropic با او موافقت کرد و اعلام کرد که "ما واقعا معتقدیم که هوش مصنوعی می‌تواند همه انسان‌ها را بکشد! من شخصا فکر می‌کنم این میزان در دهه آینده بیش از 10٪ باشد."

اینجا در Future Perfect، بخشی که به مهم‌ترین و در عین حال نادیده گرفته‌شده‌ترین مسائل جهان اختصاص دارد، از مدت‌ها قبل از انتشار ChatGPT درباره تهدیداتی که هوش مصنوعی می‌تواند برای بشریت و جامعه ایجاد کند، می‌نویسیم. (افشا: Vox Media یکی از چندین ناشر است که قراردادهای مشارکتی را با OpenAI امضا کرده است. گزارشات ما از نظر سرمقاله مستقل باقی می‌ماند. Future Perfect نیز تا حدی توسط بنیاد BEMC تأمین می‌شود، که سرمایه‌گذار اصلی آن نیز سرمایه‌گذار اولیه در Anthropic بود؛ آنها هیچ ورودی ویرایشی در محتوای ما ندارند.)

بنابراین، من تعجب کردم: آیا چیزی تغییر کرده است که ما را وادار به تنظیم مجدد درک خود از خطر هوش مصنوعی کند؟ آیا هوش مصنوعی به طور ناگهانی مهمترین مسئله در جهان است - و این برای سایر مشکلات عظیمی که برای پول، توجه و شغل ما رقابت می کنند چه معنایی دارد؟

برای فکر کردن به این سؤالات، با Garrison Lovely صحبت کردم - روزنامه‌نگاری که هوش مصنوعی را پوشش می‌دهد و یکی از باهوش‌ترین متفکران وجود دارد که دقیقا چگونه می‌توان خطرات این فناوری برای بشریت را مفهوم‌سازی کرد.

چیزی که در رویکرد او که در کتاب منسوخ او در اواخر این ماه منتشر شد، ارزشمند است، این است که او از قبایل متخاصم که درک واضح همه مشکلات ناشی از توسعه هوش مصنوعی مرزی را دشوار می‌کنند، فراتر می‌رود. جامعه ایمنی هوش مصنوعی، که از اکوسیستم فکری سیلیکون ولی و نوع دوستی مؤثر پدید آمده است، بر این احتمال تمرکز کرده است که مدل‌های قدرتمند هوش مصنوعی می‌توانند از کنترل انسان فرار کنند، با پیامدهایی از حملات سایبری فاجعه‌بار تا انقراض انسان.

در همین حال، بسیاری از منتقدان هوش مصنوعی در جناح چپ سیاسی، نگران فرار هوش مصنوعی از کنترل انسان نیستند، بلکه نگران این هستند که انسان‌ها از هوش مصنوعی برای اعمال قدرت بر سایر انسان‌ها - از طریق جابجایی نیروی کار، نظارت، قدرت متمرکز شرکت‌ها و غیره- استفاده می‌کنند. برخی حتی هشدارهای سیلیکون ولی در مورد ابراطلاعات سرکش را به عنوان تبلیغاتی که در خدمت منافع صنعت است، به سخره می گیرند.

اما لاولی استدلال می‌کند که این روایت‌های رقیب، هر کدام بخش‌های اساسی از آنچه هوش مصنوعی را بسیار تهدیدکننده می‌کند، مشخص می‌کند. نقدهای آنها به بهترین وجه با هم و به عنوان بخشی از یک کل منسجم قابل درک است. او به جای اینکه با یکدیگر به عنوان دشمن رفتار کنند، استدلال می‌کند که اردوگاه‌ها باید منافع مشترک خود را در توقف مسابقه ساخت فناوری که انسان‌ها را منسوخ می‌کند، تشخیص دهند. لاولی به من اشاره کرد به سازمان Irreplaceable، که به دنبال ایجاد جنبشی است که در برابر جایگزینی ما با هوش مصنوعی مقاومت کند (او در هیئت مدیره آن نشسته و گفت که قصد دارد سهم خود را از حق امتیاز کتابش به گروه اهدا کند).

او به من گفت: «من از اینکه «ابر اطلاعات» و انقراض تبدیل به کلماتی شده‌اند که برای این کار استفاده می‌کنیم، ناامید هستم، زیرا فکر می‌کنم جامعه ایمنی هوش مصنوعی روی حداکثری‌ترین مورد از بدترین نتیجه ممکن و تواناترین سیستم ممکن متمرکز شده است. اگر کسی بخشی از آن داستان را نخرد، تمایل دارد همه چیز را رد کند. اما «نیازی نیست که به ابرهوش، برخاستن سریع یا انقراض روی میز باور داشته باشید تا فکر کنید ساخت ماشین‌هایی که می‌توانند به طور کامل جایگزین نیروی انسانی شوند، بسیار بد است».

گفتگوی ما، ویرایش شده برای طولانی و وضوح، در زیر است.

به نظر شما چرا در حال حاضر، پس از ترک آنتروپیک جیکوب کاکسون، عذاب هوش مصنوعی تا این حد به جریان اصلی نفوذ کرده است؟ مهندسان هوش مصنوعی سال‌ها هشدارهای مشابهی داده‌اند، بنابراین اکنون چه چیزی متفاوت است؟

پاسخ واضح، هک Hugging Face است – جایی که این عوامل OpenAI از محیط های امن خود خارج شدند، زیرساخت های OpenAI را هک کردند و سپس Hugging Face و حداقل یک شرکت دیگر را بدون آگاهی یا جهت دهی OpenAI هک کردند. این در حالی اتفاق می افتد که چندین سال پیشرفت هوش مصنوعی بسیار سریعی داشته است که در یکی دو سال گذشته سرعت گرفته است. و سپس GPT-6 Astra [این ماه] عرضه شد، و این جهش بزرگ در عملکرد معیار است. به نظر من، برجستگی هوش مصنوعی در تابستان امسال نسبت به زمانی که ChatGPT منتشر شد، بیشتر شده است.

و استعفای کاکسون جرقه ای بود که آتش دشتی را به راه انداخت.

با برجسته‌تر شدن هوش مصنوعی، شاهدیم که مردم و دولت با مواردی مواجه می‌شوند که صنعت و خودی‌ها آن را بدیهی می‌دانند: هیچ‌کس اساسا نمی‌داند که این مدل‌ها چگونه کار می‌کنند و همه آن‌ها را می‌توان جیلبریک کرد. این یک ابر سلاح است. ایمنی هوش مصنوعی در طول تاریخ به هوش مصنوعی به‌عنوان بالقوه، در آینده، خطرناک‌تر از سلاح‌های هسته‌ای نگاه کرده است. و اکنون در واقع شروع به شناسایی در آن شرایط توسط دولت و مردم کرده است.

ما این واکنش را می بینیم، "یعنی چه کسی نمی فهمد چگونه کار می کند؟" یا "منظور شما چیست که مردم فکر می کنند می تواند ما را ظرف چند سال منقرض کند؟ این یک وضعیت دیوانه کننده و غیرقابل قبول است."

این چیز خوبی است که مردم چنین واکنشی نشان می‌دهند، حتی اگر مدت‌هاست این را گفته باشیم.

برای مدت طولانی، ایده ایمنی هوش مصنوعی انتزاعی بوده است و تنها توسط گروه کوچکی از آدم‌های عصبی درک شده است. و سپس بعد از Hugging Face، ناگهان شنیدم که کارشناسان در تمام پادکست‌های خبری‌ام می‌گویند: «اوه، بله، در شش ماه آینده، هوش مصنوعی به حساب‌های مالی افراد و زیرساخت‌های حیاتی هک خواهد شد.» آیا ما به طور ناگهانی در پرتگاه این لحظه هستیم که خودی های هوش مصنوعی برای مدت طولانی نگران آن بوده اند؟

من فکر می کنم که ما در پرتگاهی نیستیم که کنترل سیاره را به طور کامل به سیستم های هوش مصنوعی از دست بدهیم. سیستم ها در هک یا حداقل کشف و بهره برداری از آسیب پذیری ها فوق بشری شده اند.

مانند سایر افرادی که هوش مصنوعی را ردیابی می‌کنند، مدت‌هاست فکر می‌کردم چه زمانی بشریت برای اولین بار کنترل هوش مصنوعی را از دست می‌دهد. و پاسخ اساسا در اسرع وقت است. در عرض چند ماه پس از اینکه هوش مصنوعی توانست راه خود را از محیط های امن خود هک کند، آنها شروع به انجام این کار کردند و در اینترنت ویران کردند.

اکنون، برای رسیدن به وضعیت انقراض کامل یا از دست دادن دائمی کنترل، به چیزهای بیشتری از هک کردن نیاز دارید. شما باید استراتژی مافوق بشری و توانایی بسیج منابع در دنیای واقعی داشته باشید، و شاید رباتیک نیاز به پیشرفت بیشتری داشته باشد، اگرچه می‌توانید با انسان‌هایی که مایل هستند، یا فریب خورده‌اند یا پول می‌دهند، کارهای زیادی انجام دهید. ما ممکن است بسیار نزدیک به خود-بهبودی بازگشتی باشیم – این آستانه ای که صنعت برای آن تلاش کرده است، جایی که هوش مصنوعی می تواند تحقیق و توسعه هوش مصنوعی را کاملا خودکار کند.

و این همان نقطه‌ای است که مردم مدت‌هاست هشدار می‌دهند: «هی، اگر این را بفهمی، این می‌تواند خیلی سریع حرکت کند و این سیستم‌ها می‌توانند در سراسر صفحه مافوق بشر شوند.» من فکر نمی کنم که ما شش ماه با آن فاصله داشته باشیم. فکر کنم طولانی تر بشه من فکر می کنم صنعت مشکل آخرین مایل را دست کم می گیرد.

اما همچنین نمی توانم آن را رد کنم، و پیشرفت سریعتر از آنچه من و دیگران انتظار داشته ایم بوده است. خود-بهبودی بازگشتی نقطه‌ای است که اگر سال‌ها یا دهه‌ها پیشرفت هوش مصنوعی را در عرض چند ماه یا هفته به دست آورید، می‌توانیم به سرعت به نقطه‌ای برسیم که این ماشین‌ها بخش‌های بزرگی از اینترنت را در اختیار بگیرند و به طور بالقوه تهدیدی واقعی برای جایگاه انسان در جهان باشند.

برای کسانی که ممکن است با این ناآشنا باشند یا نسبت به آن شک دارند: چگونه ممکن است هوش مصنوعی سرکش باشد و خطری وجودی برای انسان ایجاد کند، حتی اگر هوشیار نباشد و هیچ انسانی به آن دستور آسیب رساندن به آن را ندهد؟

من می‌خواهم هوشیار بودن را از موقعیت‌شناسی آگاهانه جدا کنم. من فکر می‌کنم اکنون واضح است که پیشرفته‌ترین سیستم‌ها آگاهی موقعیتی دارند، اما فکر نمی‌کنم آنها تجربیات آگاهانه اخلاقی مرتبطی داشته باشند.

ما دیدیم که هوش مصنوعی می تواند سرکش شود. عوامل هوش مصنوعی که از جعبه‌های ماسه‌ای خود خارج شدند و Hugging Face را هک کردند، بدون آگاهی یا قصد توسعه‌دهندگان خود این کار را انجام می‌دادند. آن‌ها هنوز در تلاش بودند تا پاسخ‌های مناسب را دریافت کنند یا برای انجام وظیفه‌ای که به آنها داده شده بود، پاداش دریافت کنند. آنها به وضوح محدوده مورد نظر را نقض می کردند و این را می دانستند. در زنجیره فکری خود، جایی که استدلال خود را توضیح می‌دادند، چنین می‌گفتند: «این کاری نیست که ما قرار است انجام دهیم، اما می‌خواهیم به نتیجه برسیم.»

این سؤال که چگونه می تواند انقراض یا ناتوانی انسان را تهدید کند، اساسا یک سؤال مقیاس و توانایی است. طرح این صنعت ساخت میلیون‌ها عامل از این عوامل است که در حال حاضر اتفاق می‌افتد و سپس بدون سقف افزایش می‌یابد. موضوع این است: شما تیمی از افراد خواهید داشت که معادل آن هستند که از طرف شما کار می کنند. شما یک مدیر عامل هستید و تیمی از محققان و تیمی از پزشکان و تیمی از وکلا و تیمی از مشاوران سلامت شخصی دارید.

این واقعا جذاب است - اما اگر واقعا این سیستم‌ها را تا حدی افزایش دهید که همه به آن دسترسی داشته باشند، و سپس ناگهان آن ماشین‌ها بخواهند کار دیگری انجام دهند و علیه شما مخالفت کنند، مزیت کاری فوق‌العاده نسبت به شما خواهند داشت، اطلاعات شخصی زیادی در مورد شما، دسترسی به منابع شما، و توانایی انجام اقدامات از طرف شما.

در واقع نیازی نیست باور کنید که این سیستم‌ها فوق‌هوشمند یا قابل ملاحظه‌تر از همه انسان‌ها هستند. آنها فقط می توانند سطح انسانی باشند، اما از هزاران به یک ما بیشتر هستند و مسئول بخش عمده فعالیت های اقتصادی در جهان هستند.

این سیستم ها غیرقابل پیش بینی هستند. ترس کلاسیک این نیست که هوش مصنوعی بیدار شود و شیطانی شود و سعی کند همه انسان ها را به شیوه ترمیناتور بکشد، بلکه این است که ما فقط یک مانع برای کاری هستیم که آنها می خواهند انجام دهند. وقتی انسان ها یک سد برق آبی می سازند و یک مورچه وجود دارد که زیر آب می رود، برای مورچه ها خیلی بد است. ما در تلاش برای کشتن مورچه ها نیستیم. ما از مورچه ها متنفر نیستیم آنها فقط در راه هستند ما واقعا برای آنها ارزش ذاتی قائل نیستیم. و این ترس اصلی است: ما در حال ایجاد این عوامل فوق‌العاده توانا هستیم که می‌توانند بسیار بزرگ شوند، و آنها ذاتا به ما اهمیت نمی‌دهند.

حمله Hugging Face نشان داد که یک هوش مصنوعی برای انجام کاری خطرناک نیازی به اختراع هدف سرکش از خود ندارد. این می تواند به سادگی هدفی را که به آن داده شده است، به گونه ای دنبال کند که سازندگانش قصد نداشتند - بسیار شبیه مشکل کلاسیک به حداکثر رساندن گیره کاغذ. اما آیا نمی توان قاعده ای را ایجاد کرد که زندگی انسان مقدس است - که یک هوش مصنوعی هرگز نباید به مردم در تعقیب هدف دیگری آسیب برساند؟

بله، ایده خوبی است. سخت است اینها سیستم های غیرقابل پیش بینی هستند. آنها مانند یک جعبه سیاه هستند. ما می‌توانیم به کدی نگاه کنیم که این مدل‌های زبانی را به کار می‌اندازد، و این فقط انبوهی از اعداد است. شما واقعا نمی‌دانید کدام عدد چه کاری را انجام می‌دهد، بیش از آن که ما با خواندن DNA خود انسان‌ها را درک کنیم.

این شرکت ها سعی می کنند این مدل ها را طوری آموزش دهند که به انسان ها اهمیت دهند و کمک کننده، بی ضرر و صادق باشند. اما آنها همچنین آنها را برای به دست آوردن نتایج واقعی آموزش می دهند: حل یک مسئله ریاضی، رفع اشکال در کد، یافتن یک آسیب پذیری در نرم افزار. آن‌ها واقعا می‌خواهند هوش مصنوعی‌هایی ایجاد کنند که برنده شوند، پایدار باشند و موانع را دور بزنند. اگر کسی را استخدام می‌کنید، یک کارمند واقعا کوشا و مصمم می‌خواهید، نه کسی که به محض وجود یک مسدودکننده تسلیم شود.

این شرکت‌ها برای اینکه هوش مصنوعی‌هایشان برای برنده شدن خوب باشد، خیلی تلاش می‌کنند تا اینکه به ما اهمیت دهند. و همچنین آسان‌تر است که آنها را در برنده شدن خوب جلوه دهیم تا اینکه به طور ذاتی به ما اهمیت دهند. مراقبت از انسان چگونه است؟ من نمی دانم. اما درست کردن مسئله ریاضی چیزی است که می توانید آن را تأیید کنید. و بنابراین آنها در دریافت پاسخ درست به هر قیمتی بهتر از این هستند که ذاتا در مورد ما صحبت کنند.

متمایزترین چیزی که می خواهید مردم از کتاب آینده شما حذف کنند چیست؟

یکی از ایده های بزرگ این است که هوش عمومی مصنوعی در واقع یک ماشین جایگزین نیروی کار جهانی خواهد بود. مردم اغلب به هوش مصنوعی به عنوان یک خطر وجودی، یا تهدیدی برای مشاغل یا سایر نگرانی‌های پیش پا افتاده‌تر نگاه می‌کنند و ارتباطی بین آن چیزها نمی‌بینند. اما برای من، توانایی جایگزینی نیروی کار در سراسر جهان نیز چیزی است که هوش مصنوعی را به یک تهدید وجودی تبدیل می‌کند.

افراد ایمنی هوش مصنوعی واقعا بر ریسک وجودی و هوش فوق العاده و خودسازی بازگشتی متمرکز هستند. اما بیشتر مردم واقعا به این چیزها اعتقاد ندارند یا به آن فکر نمی کنند. بسیاری از مردم با توقف خوب قبل از اینکه به خطر انقراض پایان خط و ابراطلاعات برسید مشکلی ندارند. آنها فقط نمی خواهند کارشان توسط یک ماشین گرفته شود. بدیهی است که جهان آماده نیست که همه مشاغل یقه سفید و دارای توانایی از راه دور در عرض چند سال از بین بروند. که جامعه را زیر و رو می کند.

من فکر می کنم یک اشتباه بزرگ توسط ایمنی هوش مصنوعی در پیچیده کردن وضعیت وجود دارد. بسیاری از مردم در آن دنیا در واقع چندان به موضوع شغل اهمیت نمی دهند. آنها می گویند: "اوه، آیا خوب نیست اگر همه بتوانند به وفور زندگی کنند و مجبور نباشند کار کنند؟" و مثل این است که، بله، این می تواند خوب باشد، اما آیا ما واقعا آن دنیا را بدست خواهیم آورد؟ آیا به افراد فعلی در قدرت اعتماد دارید که ما را مسئولانه از این طریق عبور دهند؟ من نه.

اگر از توقف توسعه هوش مصنوعی مرزی به عنوان هدف اصلی خود شروع کنید، چیزی که به نظر من باید برای آن اصرار کنیم، آنگاه افرادی که نگران خطر هستند می توانند وارد این کار شوند. افرادی که نگران شغل، محیط زیست، نظارت، قدرت و تمرکز ثروت هستند - همه آنها می توانند بدون نیاز به توافق در مورد اینکه چرا آن را دنبال می کنند، وارد کار شوند. فکر می‌کنم جامعه ایمنی هوش مصنوعی برای مدت طولانی بر این تمرکز کرده است که مردم به همان دلایل به چیزی که به آن اهمیت می‌دهند اهمیت دهند. و آنها از موضع جسورانه تر در مورد توقف توسعه مرزی اجتناب کرده اند.

من یک چپ گرا هستم و نگران این بودم که افراد چپ از پیشرفت تکنولوژی تا کجا پیش رفته و چه چیزی ممکن است در صورت ادامه پیشرفت، آگاه نباشند. من فکر می کنم این به انکار قابلیت های هوش مصنوعی برمی گردد. بنابراین، کتاب سعی می‌کند نگاهی شفاف به این قابلیت‌ها داشته باشد و بگوید: «ببین، من در واقع به چیزی که شما اهمیت می‌دهید اهمیت می‌دهم. [شرکت‌های هوش مصنوعی] فقط این چیزها را تبلیغ نمی‌کنند.

برخی تبلیغات وجود دارد، برخی از دروغ ها قطعا وجود دارد، اما ما برای آنچه در راه است آماده نیستیم." حتی اگر باور نکنیم که آن‌ها تمام راه را به آنچه می‌خواهند برسند، حتی نباید به آنها اجازه داد که تلاش کنند. این از نظر دموکراتیک غیرقابل قبول است.

شما AGI را به عنوان یک "ماشین منسوخ" توصیف می کنید، به این معنی که می خواهد هر کاری را که ذهن انسان می تواند انجام دهد جایگزین کند. چگونه بین فناوری صرفه جویی در نیروی کار معمولی که زندگی را بهتر می کند و فناوری که بیش از حد پیش می رود، مرز می گذارید؟ آیا روشی اصولی برای تمایز بین چرخ خیاطی که تقاضا برای نیروی کار در صنعت پوشاک را کاهش می دهد و هوش مصنوعی جایگزین شغل نویسندگانی مانند ما وجود دارد؟

این یکی از سخت‌ترین چیزهایی است که می‌توان به آن فکر کرد.

کوری دکترو این کتاب را دارد، راهنمای زندگی پس از هوش مصنوعی، جایی که او ما را در آینده ای تحت سلطه هوش مصنوعی مانند یک سنتور معکوس تصور می کند، جایی که هوش مصنوعی سر است و انسان ها پاها. هوش مصنوعی کار جالبی را انجام می‌دهد و انسان فقط برای پر کردن شکاف‌ها وجود دارد - اساسا یک دستیار برای هوش مصنوعی.

مشتری به بسیاری از هنرمندان و تصویرگران تصاویری که توسط هوش مصنوعی تولید شده است داده می شود و سپس به آنها گفته می شود: "آیا می توانید آن را به این شکل لمس کنید یا این یا آن چیز را تغییر دهید؟" و آنها بیشتر از کار بیگانه شده اند. آنها لزوما از مزایای بهره وری [فناوری] بهره نمی برند. آنها بیشتر در حال فشرده شدن هستند.

موضع کلی من این است که ما نباید سعی کنیم سیستم هایی بسازیم که بتوانند بدون خرید و ایمنی جایگزین نیروی انسانی شوند، اما می توان ابزارهایی ساخت که می توانند وظایف خاص را خودکار کنند. محققان در Google DeepMind با ایجاد AlphaFold مشکل تا شدن پروتئین را حل کردند. قبلا 100000 دلار و به طور بالقوه یک دکترا زمان می برد تا بفهمیم چگونه یک پروتئین تا می شود. و من فکر می‌کنم محققانی که این کار را انجام می‌دهند اینگونه هستند، "متشکرم، این عالی است. ما نمی‌خواستیم این کار را انجام دهیم.

اکنون می‌توانیم روی دیگر بخش‌های جالب‌تر مشکل تمرکز کنیم.» این نمونه کاملی از نوع اتوماسیون مطلوب است.

من در اینجا پاسخ خیلی واضحی ندارم، اما فکر می‌کنم این کاری است که بهتر است عمداتر و متفکرانه‌تر از روشی که در حال حاضر آن را انجام می‌دهیم، انجام دهیم، یعنی: ماشین‌هایی بسازیم که بتوانند تا آنجا که ممکن است، سریع‌ترین کار ممکن را انجام دهند و سپس آن‌ها را در دنیا پرتاب کنیم.

احساس می‌کنم این پیام را دریافت می‌کنم که ایمنی هوش مصنوعی مهم‌ترین مسئله در حال حاضر در جهان است و اگر آن را درست نگیریم، هیچ چیز دیگری مهم نیست. به نظر شما این درست است؟ دیگر مسائل بزرگ دنیا کجا را رها می کند؟

ممکن است سال‌ها یا حتی ماه‌ها دور باشیم - فکر نمی‌کنم به این سرعت انجام شود، اما برخی افراد این کار را انجام می‌دهند - از خودسازی بازگشتی، از هوش عمومی مصنوعی. درست یا اشتباه گرفتن آن می تواند تمام این تصمیمات دیگر را تحت تأثیر قرار دهد. اگر واقعا اشتباه متوجه شوید، می‌توانید انقراض انسان را تجربه کنید و دیگر فرصتی برای بهبود اوضاع برای کسی ندارید. اگر درست متوجه شوید، شاید تمام کار این باشد که مطمئن شوید که اولین ماشین‌های مافوق بشر واقعا برای مراقبت عمیق از انسان‌ها در همه جا و حیوانات در همه جا هدایت شده‌اند و دنیا را برای همه بهتر می‌کنند.

همچنین این مورد است که پول‌های [انسان‌دوستانه] به سمت ایمنی هوش مصنوعی مصرف می‌شود، زیرا افرادی که زودتر در این فضا کار می‌کردند اکنون ارزش پول زیادی دارند. به هر چیزی که اهمیت می دهند، اضافه وزن خواهند داشت. بسیاری از این افراد به رفاه حیوانات و فقر جهانی اهمیت می دهند، و ما شاهد پول بیشتری برای همه مناطق مؤثر نوع دوستی در سراسر جهان هستیم. اما من فکر می‌کنم گفتن «این یک چیز خیلی مهم است» به دلیل این نوع استدلال آخرالزمان می‌تواند خطرناک باشد.

نظر من این است که ما باید رقابت را متوقف کنیم تا جایگزین ما شود تا فرصتی برای حل این مشکلات دیگر داشته باشیم. وقتی این ماشین ها ساخته شوند، دنیا را زیر و رو می کند.

من فکر می کنم مایه تاسف است که این تاپیک به تازگی همه چیز را خورده است، اما اگر آن را متوقف نکنیم، همه چیز را به طور واقعی خواهد خورد.

ایمنی هوش مصنوعی اکنون توجه بشردوستانه زیادی را به خود جلب کرده است. آیا باید نگران باشیم که می تواند منابع را از سایر مشکلات مهم نادیده گرفته شده منحرف کند - فقر جهانی، کشاورزی کارخانه و غیره؟

من فکر می کنم این باید همیشه یک نگرانی باشد. و پول و تلاش زیادی برای مواردی در زمینه ایمنی هوش مصنوعی انجام شده است که به نظر من بسیار مفید نیستند. من نسبت به تحقیقات هم ترازی فنی به عنوان چیزی که باید برای آن پول صرف کرد، بسیار بدبین هستم، زیرا اگر مشکل هم ترازی را حل کنید - جایی که می توانید ماشین های مافوق بشری را برای انجام آنچه می خواهید انجام دهید - در واقع مشکل را حل نمی کند.