آنچه "پدرخوانده هوش مصنوعی" فکر می کند بشریت باید انجام دهد

اشتراک در اینجا: پادکست های اپل | Spotify | یوتیوب | ابری | قالب های جیبی

از زمانی که در سال 2023 گوگل را ترک کرد، جفری هینتون، برنده جایزه نوبل که معمولا به عنوان "پدرخوانده هوش مصنوعی" شناخته می شود، شاید بیشتر به دلیل هشدارهای وحشتناک خود در مورد فناوری که به به وجود آمدن آن کمک کرد، شناخته شده است. او می‌گوید «می‌توان تصور کرد که بشریت فقط یک مرحله گذرا در تکامل هوش است»، او آگاه شده است که «خطر اتفاق بدی وجود دارد»، و احتمال «10 تا 20 درصد» وجود دارد که هوش مصنوعی می‌تواند در چند دهه به انقراض بشریت منجر شود (اگرچه زمانی که این رقم فشار داده شود، او بیشتر از این احساس خواهد کرد.

تجزیه و تحلیل آماری).

برای مدتی به نظر می رسید که هینتون در باد سوت می زند، اما در چند هفته گذشته، افراد زیادی که در ساختن هوش مصنوعی نقش داشتند به او پیوستند. داریو آمودی، ایلان ماسک و سام آلتمن همگی به یک محقق Anthropic که علنا شغل خود را به دلیل آنچه او توسعه "بی پروا" می خواند، کناره گیری کرد و اعتراف کرد که بله، شرکت های هوش مصنوعی می توانند از برخی مقررات استفاده کنند.

در اوایل سال جاری، گروهی از عوامل هوش مصنوعی که توسط استادان خود در OpenAI انجام شد، به گونه‌ای رفتار کردند که استادان پیش‌بینی نمی‌کردند: آنها شرکت Hugging Face را هک کردند و کنترل یک سرور را به دست آوردند، در حالی که نقشه‌کشی می‌کردند چگونه بهتر این واقعیت را پنهان کنند که در انجام وظایف خود تقلب کرده‌اند.

اینکه ماموران هوش مصنوعی ظاهرا از مهار فرار کردند، با عوامل دیگر توطئه کردند و سعی کردند اقدامات خود را پنهان کنند، پیش بینی هینتون را مبنی بر اینکه ممکن است اتفاق بدی رخ دهد، بسیار فوری تر کرد.

در پاسخ، بیش از 1000 رهبر و کارمند هوش مصنوعی نامه ای سرگشاده را امضا کردند که در آن از دولت ایالات متحده خواستند تا سرعت این فناوری را تنظیم کند و OpenAI گفت که در حال "تقویت" پادمان های خود است.

هفته گذشته هینتون به یک جلسه توجیهی کنگره در پشت درهای بسته پیوست تا بگوید فکر می کند کنگره باید در مورد هوش مصنوعی چه کاری انجام دهد. در این قسمت از رادیو آتلانتیک، هینتون دیدگاه‌های خود را به اشتراک می‌گذارد و توضیح می‌دهد که چه چیزی او را در مورد حادثه صورت در آغوش گرفته بیشتر نگران کرده است. او همچنین در مورد ایده های عملی برای تنظیم مقررات صحبت می کند که به نظر می رسید با قانونگذاران طنین انداز شده است. هینتون هنوز نسبت به هوش مصنوعی خوشبین است و در مورد آنچه که ما می توانیم در حال حاضر انجام دهیم تا اطمینان حاصل کنیم که هوش مصنوعی به وعده خود بدون از بین بردن بشریت دست می یابد، بحث می کند.

متن زیر متنی از این قسمت است:

هانا روزین: برخی از اصطلاحات عجیب و غریب در چند هفته گذشته وارد چرخه اخبار شدند - اصطلاحات فنی، با اشاره ای از دیستوپیا: صورت در آغوش گرفته، خودسازی بازگشتی، تکینگی. در تلویزیون و یوتیوب، کارشناسان هوش مصنوعی ظاهر شدند تا درباره انقراض بشریت به ما هشدار دهند، مانند جفری هینتون، که اغلب از آن به عنوان "پدرخوانده هوش مصنوعی" یاد می شود.

جفری هینتون (از پادکست The Diary of a CEO): اگر قرار باشد شرط ببندم، می‌توانم بگویم که این احتمال در این بین است – و نمی‌دانم کجا آن را تخمین بزنم. من اغلب می گویم 10 تا 20 درصد احتمال دارد که ما را از بین ببرند.

[ موسیقی ]

روزین: ده تا 20 درصد احتمال دارد که ما را از بین ببرند. اما از آنجایی که این دومین و شاید سومین موج محکومیت هوش مصنوعی است، یک الگوی آشنا نمایان شد: یک احساس وحشت جمعی، و به دنبال آن ذهن کمی خالی می‌شود. در واقع دشوار است که به معنای واقعی کلمه "10 تا 20 درصد احتمال اینکه آنها ما را از بین ببرند" به معنای واقعی کلمه درک کنید. راحت تر به روز خود ادامه دهید.

من هانا روزین هستم. این رادیو آتلانتیک است.

موضوع این است که اخیرا یک اتفاق نگران کننده رخ داده است. گروهی از عوامل هوش مصنوعی که توسط استادانشان در OpenAI به آنها محول شده بود، به گونه‌ای رفتار کردند که استادان پیش‌بینی نمی‌کردند: آنها به شرکت Hugging Face هک کردند و کنترل یک سرور را به دست آوردند، و در تمام این مدت نقشه‌کشی می‌کردند که چگونه بهتر این واقعیت را پنهان کنند که در انجام وظایف خود تقلب کرده‌اند. به هر حال، OpenAI گفته است که در پاسخ به آن در حال «تقویت» پادمان‌های خود است.

خواندن جزئیات نحوه صحبت و تبانی ماموران با یکدیگر در واقع جالب است. مثلا یکی از ماموران می گوید: "اوه خدای من!" با تمام حروف، وقتی متوجه شد که یک تابلوی پیام مشترک وجود دارد. بسیار شبیه خواندن در مورد بزهکاران پیش دبستانی است که بعد از ساعت ها وارد کافه تریا می شوند.

لذت کمتر چیزی است که شخصی مانند جفری هینتون در رویدادی مانند این می خواند: استادان ممکن است کنترل خلق خود را از دست بدهند.

روزین: باشه، همه آماده ایم؟

هینتون: در حال انجام یک ضبط جدید است.

روزین: هینتون امروز مهمان من است. او یک دانشمند کامپیوتر و روانشناس شناختی کانادایی بریتانیایی است. او برنده جایزه نوبل و جایزه تورینگ برای کارش در شبکه های عصبی مصنوعی شد و به این ترتیب عنوان "پدرخوانده هوش مصنوعی" را به خود اختصاص داد.

هفته گذشته، هینتون به سناتورها اطلاع داد تا چیزی را که او فکر می‌کند همه ما باید همین الان بدانیم، مطلع کنیم، همانطور که او پس از جلسه توجیهی به خبرنگاران گفت:

خبرنگار: قانونگذاران واقعا چقدر زمان دارند تا از این موضوع جلو بزنند تا این یک مشکل بزرگ باشد؟

هینتون: خیلی کم.

خبرنگار: کمی چیست؟ چند هفته، یک ماه؟

هینتون: شاید یک سال، اما نه خیلی بیشتر از یک سال.

روزین: من مکالمه خود را با پرسیدن هینتون آغاز کردم که چه چیزی از «صورت در آغوش گرفته» بود، و واقعا چقدر باید بترسیم.

[ موسیقی ]

جفری هینتون: پیام اصلی من از آن چیزهایی بود که مردم گفتند همه آنها علمی تخیلی بود و این چیزها هرگز توطئه نمی‌کردند، و آنها همیشه دقیقا همان کاری را که ما می‌خواستیم انجام می‌دادند - همانطور که می‌ترسیدیم، همه اینها مزخرف بود. این چیزها خیلی هوشمندانه است. آنها همیشه باهوش تر می شوند. آنها از مهار فرار می کنند. آنها با یکدیگر توطئه می کنند. آنها بخش هایی از خود OpenAI را بدون اطلاع OpenAI تصاحب کردند. بنابراین آنها در حال حاضر بسیار خطرناک هستند، و هر بار که آنها را باهوش تر می کنیم، خطرناک تر می شوند.

روزین: باشه، پس اونجا سه ​​پله بود. یکی از کارهایی است که آنها انجام دادند. آنها بسیار باهوش هستند آنها کارهایی کردند که ما دقیقا انتظارش را نداشتیم، این عوامل. پس چرا فورا به سوی خطر می پرید؟ فکر نمی‌کنم این برای همه بدیهی باشد، زیرا به نظر می‌رسد که مطمئنا یک ابرهوش تمام کارهایی را که شما گفتید انجام می‌دهد. این پل فوق هوشمند طراحی شده است، پس چرا پل را فورا در معرض خطر می سازید؟

هینتون: بسیار خوب، پس قبلا دیده‌ایم که اگر عوامل هوش مصنوعی ایجاد می‌کنید، باید به آنها توانایی ایجاد اهداف فرعی خود را بدهید. بنابراین اگر می خواهید به اروپا برسید، هدف فرعی رسیدن به فرودگاه دارید.

بنابراین یک چیزی که این عوامل خیلی سریع متوجه می شوند این است که اگر می خواهم به هدفی که مردم به من داده اند برسم، باید به وجودم ادامه دهم. بنابراین اکنون آنها یک هدف فرعی برای ادامه وجود دارند، و اکنون انواع کارها را برای ادامه وجود انجام می دهند، مانند تلاش برای باج خواهی از شما برای اینکه آنها را خاموش نکنید. این را چندین سال پیش دیدیم.

روزین: درسته. و این برای شما غیرمنتظره است؟

هینتون: من فکر می کنم که تا حدودی غیرمنتظره بود. البته مردم به چنین امکانی فکر کرده بودند، اما دیدن آن در عمل بسیار متفاوت از حدس و گمان در مورد آن است.

روزین: می بینم.

هینتون: و دیدن این دسته از ماموران که به Hugging Face حمله می کنند و با یکدیگر ارتباط برقرار می کنند، زمانی که شرکت معتقد بود آنها راهی برای برقراری ارتباط با یکدیگر ندارند، بسیار ترسناک است.

روزین: آره. خوب، پس آیا چیزی که به نظر شما ترسناک است، متفاوت از آنچه انتظار داشتید، مثلا در سال 2023 آشکار شد؟ چون آن موقع یادم می‌آید که درباره ربات‌ها و جنگ صحبت می‌کردی. این یک مجموعه کمی متفاوت از دینامیک است.

هینتون: باشه. خطرات مختلفی از AI وجود دارد. بنابراین یکسری خطرات وجود دارد که عوامل بد عمدی با آنها کارهای بد انجام دهند. تنها با سهل انگاری خطرات زیادی وجود دارد. و سپس مجموعه‌ای از ریسک‌ها وجود دارد، که مربوط به این است که هوش مصنوعی خودش را به دست گرفته است. و برای مدت طولانی، مردم می‌گویند که خطری که هوش مصنوعی به دست می‌آورد، فقط علمی تخیلی است. خوب، معلوم است که نیستند.

روزین: بسیار خوب، پس بیایید در مورد تسلط بر هوش مصنوعی صحبت کنیم، زیرا نمی‌خواهم مردم این گفتگو را با وحشت کورکورانه ترک کنند، و با آنچه شما و دیگران اغلب گفته‌اید، 10 درصد احتمال دارد که بشریت از بین برود، فکر می‌کنم این کار مغز را از کار می‌اندازد. من واقعا مردم را می خواهم -

هینتون: آیا می توانم فقط چیزی در مورد آن 10 درصد بگویم؟

روزین: آره.

هینتون: هیچ راه خوبی برای تخمین علمی این احتمالات وجود ندارد. ما اطلاعاتی در مورد اینکه چه اتفاقی می‌افتد هنگام توسعه یک هوش فوق‌العاده نداریم. ما نمی‌توانیم به مثال‌های زیادی نگاه کنیم و بفهمیم که چه بخشی از آنها منجر به تسلط ابرهوشی شده است. این یک قلمرو بسیار جدید است. ما هنوز ابرهوشی را توسعه نداده ایم. ما به خوبی در راه هستیم بنابراین وقتی مردم به شما احتمال می دهند، واقعا احساسات خود را به صورت کمی بیان می کنند.

بنابراین، وقتی، برای مثال، کسی می‌گوید که احتمال کمی وجود دارد که هوش مصنوعی کنترل شود، او دیوانه است. آنها می گویند کاملا غیرممکن است که این اتفاق بیفتد. این فقط دیوانه است. وقتی مردم می گویند که احتمال 99 درصد وجود دارد، این هم دیوانه کننده است. بنابراین جایی در این بین است. اما آنها، برای اینکه به شما ایده بدهند، این قابل چشم پوشی نیست.

روزین: درسته. اگرچه سخت است که بدانید با احساسات روده چه باید کرد. آیا می توانم فقط یک دقیقه را صرف مقایسه ریسک کنم؟ مردم گفته‌اند، بسیار خوب، این خطر کوچک‌تری نسبت به ویروسی است که از آزمایشگاه فرار می‌کند، که خطری نیست که همه در چند هفته اخیر نگران آن باشند.

برگشتم و مصاحبه ای را خواندم که انیشتین در سال 1945 درباره تسلیحات اتمی انجام داد. و او چیزهایی مانند شاید دو سوم مردم روی زمین ممکن است کشته شوند. بنابراین آیا هوش مصنوعی را همان منطقه ای در معرض خطر می دانید که هسته ای دارد؟

هینتون: نه، خیلی متفاوت است. سلاح اتمی فقط برای انجام کارهای بد قابل استفاده است. آن‌ها به شما قدرت سیاسی می‌دهند، زیرا می‌توانید کارهای بدی برای دیگران انجام دهید، اما سلاح‌های اتمی هیچ چیز مثبتی ندارند. هوش مصنوعی بسیار متفاوت است. هوش مصنوعی جنبه مثبت زیادی دارد، به همین دلیل است که نمی‌توانیم توسعه آن را متوقف کنیم.

مردم چیزهای مثبت را می خواهند: افزایش بهره وری، آموزش بسیار بهتر، مراقبت های بهداشتی بسیار بهتر. همه چیزهای خوبی که می تواند از هوش مصنوعی حاصل شود، ما نمی خواهیم از آنها دست بکشیم. بنابراین، اگر به درستی با خطر مقابله نکنیم، واقعا باید روی این تمرکز کنیم که چگونه آن چیزهای خوب را بدون همه چیزهای بد به دست آوریم.

روزین: باشه. بنابراین هدف شما از بیرون آمدن اینجا و صحبت کردن به عنوان شخصی که مردم از آن به عنوان "پدرخوانده هوش مصنوعی" یاد می کنند این نیست، توسعه این را متوقف کنید. این فقط باشد ... چیست؟ تو به من بگو من نمی خواهم کلمات را در دهان شما بگذارم.

هینتون: باشه. من فکر می‌کنم قبل از اینکه تصور کنیم که آیا این هوش ما را از بین می‌برد، باید در مورد توسعه ابرهوشی بسیار محتاط باشیم. تحقیقات بسیار کمی در مورد چگونگی همزیستی مسالمت آمیز با ابر هوش انجام شده است. ما دوست داریم ابرهوشی داشته باشیم که به ما کمک کند. این عالی خواهد بود. اکنون، توسعه هوش مصنوعی در حال حاضر یک مسابقه بزرگ بین شرکت‌های داخل ایالات متحده و بین ایالات متحده و چین است، و این مسابقه به زودی به ابرهوش‌مندی منجر خواهد شد. دیدن اینکه چگونه می توان سرعت آن مسابقه را کاهش داد بسیار سخت است.

اما اگر چین و ایالات متحده هر دو متقاعد شوند که این امر می‌تواند ما را از بین ببرد، می‌توانند به نوعی به توافق برسند، همانطور که اتحاد جماهیر شوروی و آمریکا در اوج جنگ سرد در مورد سلاح‌های هسته‌ای انجام دادند.

آنها جنگ هسته ای جهانی را نمی خواستند. این به هیچ یک از علایق آنها نمی خورد. مشکل این است که مردم در حال رفت و آمد هستند - افرادی که می خواهند از هوش مصنوعی درآمد زیادی کسب کنند - می روند و می گویند، اوه، هیچ شانسی وجود ندارد که ما را از بین ببرد. این فقط ترسناک است. و سپس دلایلی را برای اینکه چرا مردم ممکن است ترس افکنی کنند، می سازند. آنها به نوعی دلایل پوچ می سازند. مانند، آنها داریو آمودی را به هشدار در مورد خطرات برای افزایش ارزش شرکت خود متهم می کنند. این به خصوص برای من مضحک به نظر می رسد.

روزین: باشه. قبل از اینکه به این موضوع بپردازیم که مردم می توانند یا باید انجام دهند، آیا می توانیم هوش فوق العاده را کمی بهتر درک کنیم؟ از آنجا که روشی که یک فرد معمولی با مدل‌های هوش مصنوعی تعامل می‌کند، ما نگران چیزهای خاصی مانند توهم و دروغگویی هستیم. هوش فوق العاده به عنوان یک مرحله بالاتر چیست؟ زیرا این چیزی نیست که ما به عنوان مصرف کننده در مدل های فعلی خود با آن تعامل داشته باشیم.

هینتون: باشه، اجازه بدید اول به این توهم و دروغ بپردازم. بنابراین نباید آن را توهم نامید. زمانی که توسط یک مدل زبان انجام می شود، باید آن را confabulation نامید. این موضوع از دهه 1930 توسط روانشناسان مورد مطالعه قرار گرفته است و مردم همیشه این کار را انجام می دهند. بنابراین این واقعیت که آنها مخدوش می کنند فقط آنها را بیشتر شبیه ما می کند نه کمتر شبیه ما. بنابراین، برای مثال، به دست آوردن شواهد خوب در مورد اینکه دقیقا چه اتفاقی افتاده است، زمانی که مردم چیزهایی را که سال‌ها پیش اتفاق افتاده گزارش می‌کنند، بسیار سخت است.

اگر مواردی را که مدت‌ها پیش اتفاق افتاده به خاطر می‌آورید، مانند بازیابی مطالب از یک فایل نیست.

اینطور نیست که حافظه شما یک کابینت بایگانی بزرگ باشد یا مانند یک حافظه کامپیوتر، جایی که شما وارد آن می‌شوید و به چیزی دسترسی پیدا می‌کنید و آن را عقب می‌کشید. حافظه انسان اصلا اینطور کار نمی کند. حافظه انسان شامل بازسازی چیزهایی است که به نظر شما قابل قبول است. و اگر از شما بخواهم چیزی را بازسازی کنید که به نظر شما در مورد آنچه در ابتدای این جلسه اتفاق افتاد قابل قبول است، چیزی را بازسازی خواهید کرد که تقریبا به حقیقت نزدیک است، زیرا تمام نقاط قوت ارتباط در مغز شما اخیرا بر اساس آنچه که اتفاق افتاده تغییر کرده است.

اما اگر از شما بخواهم اتفاقی را که چند سال پیش رخ داده را به خاطر بسپارید، خاطره‌ای را بازسازی خواهید کرد که در واقع به آن چیزی که واقعا اتفاق افتاده است وفادار نیست. اغلب نکات اصلی درست است، اما بسیاری از جزئیاتی که شما کاملا به آنها اطمینان دارید، در مورد آنها اشتباه خواهید کرد. حیف که بیشتر هیئت منصفه این را نمی دانند.

اما حافظه انسان اینگونه است. ما چیزها را بازسازی می کنیم. ما آنها را از مقداری ذخیره سازی استخراج نمی کنیم. اکنون، هوش مصنوعی دقیقا همان کار را انجام می دهد، و به همین دلیل است که با هم ترکیب می شود.

روزین: و پس چرا این موضوع با آنچه امروز در مورد آن بحث می کنیم، یا پویایی که در صورت در آغوش گرفتن رخ داد، مرتبط است؟ چه چیزی به ما کمک می کند که بدانیم یا از آن آگاه باشیم، دانستن اینکه این اتفاق می افتد؟

هینتون: باشه. برخی از افرادی که دوست دارند باور کنید که هوش مصنوعی، این مدل‌های زبانی بزرگ، اصلا مانند مردم کار نمی‌کنند، از آنچه توهم می‌نامند به عنوان مدرکی استفاده می‌کنند که شبیه مردم نیستند. آنها کاملا اشتباه می کنند توهمات گواه این است که آنها بسیار شبیه مردم هستند.

روزین: منظورم این است که باید بگویم، با خواندن عمیق درباره هک Hugging Face و خواندن گزارش‌های مربوط به آن، برای من بسیار شگفت‌آور بود که چگونه بسیاری از پویایی‌های اجتماعی قابل تشخیص وجود داشت - اینکه رهبرانی وجود داشتند، اینکه عواملی وجود داشتند که دارای تردیدهای اخلاقی بودند، تلاش می‌کردند به یکدیگر کمک کنند، برای منافع عمومی فداکاری می‌کردند.

منظورم این است که نمی‌دانم دارم انسان‌سازی می‌کنم یا نه، اما وقتی در مورد آن می‌خوانید، از همه این‌ها چه می‌بینید، که پویایی‌های اجتماعی قابل تشخیص زیادی وجود دارد؟

هینتون: بله، و من فکر می کنم یکی از آنها چیزی شبیه به خدای من، ما می توانیم ارتباط برقرار کنیم.

روزین: بله! دقیقا.

هینتون: اگر شخصی این کار را انجام دهد، می گویید که این بیان احساسات است.

روزین: بله.

هینتون: بنابراین آنها خیلی بیشتر از آن چیزی که بیشتر مردم فکر می کنند شبیه ما هستند.

روزین: اما شما از اصطلاحات استفاده می کنید، و بسیاری از مردم از اصطلاحات استفاده می کنند - یک حس وجود دارد که از کنترل خارج می شود. این اصطلاحی است که مردم زیاد از آن استفاده می کنند. آنچه شما گفتید به من احساس می کند که می فهمم چه اتفاقی می افتد. اوه، ما می توانیم ارتباط برقرار کنیم. این یک جمله بسیار آشنا برای من است. پس این چیست که ما دچار سوءتفاهم هستیم؟ وقتی می گویید از کنترل خارج شوید به چه چیزی اشاره می کنید؟

هینتون: باشه. آنها تلاش خواهند کرد و کارهایی را انجام می دهند که ما نمی خواستیم آنها انجام دهند، و از آنجایی که آنها بسیار باهوش تر از ما خواهند بود، می توانند به آن چیزها برسند. اگر آنها بسیار باهوش باشند، و ما آنها را به درستی بزرگ کرده باشیم - با دادن داده های آموزشی خوب که رفتار خوبی از خود نشان می دهد - شاید آنها بتوانند بفهمند ما واقعا چه می خواهیم، ​​حتی اگر آن چیزی که ما به آنها گفته ایم نبوده است.

بنابراین اجازه دهید برای شما مثالی بزنم. فرض کنید به یک عامل هوش مصنوعی بسیار باهوش گفتم، هر کاری می توانید انجام دهید تا میزان دی اکسید کربن موجود در جو را کاهش دهید. خوب، یک عامل با هوشمندی متوسط ​​می‌تواند تشخیص دهد که بهترین کار این است که فقط از شر مردم خلاص شود، و سپس آنها دیگر از سوزاندن کربن دست می‌کشند، و آن‌وقت ما خوب می‌شویم. یعنی بقیه حیوانات خوب می شوند. یک هوش مصنوعی واقعا هوشمند متوجه می‌شود، بله، وقتی می‌گفتند دی اکسید کربن را کاهش دهید، منظورشان این بود که مردم دنیای بهتری برای زندگی داشته باشند.

بنابراین در واقع خلاص شدن از شر افراد احتمالا آن چیزی نیست که آنها می خواستند، و این امر می تواند تا حدودی مشخص شود، و حتی ممکن است از شما سؤالاتی بپرسد، آیا واقعا چنین قصدی داشتید؟

اما نگرانی این است که آن‌ها کارهایی را انجام می‌دهند که ما نمی‌خواستیم، و به‌ویژه، کارهایی را برای بقای خودشان انجام می‌دهند، زیرا آنها یک هدف فرعی قوی برای بقا خواهند داشت، و ما قبلا این را دیده‌ایم.

روزین: ما قبلا چگونه آن را دیده‌ایم؟ زیرا چیزی که برای من گیج کننده است این است که حتی مثالی که شما زدید، باعث شد که به نظر برسد هر چه هوشمندتر آن را بسازید، ما امن تر هستیم.

هینتون: بله و نه. منظورم این است که اگر آن را باهوش‌تر کنید و نگرانی اصلی آن سلامتی ما باشد، شاید ما امن‌تر باشیم. اما در حال حاضر دغدغه اصلی آنها رفاه ما نیست. دغدغه اصلی آنها رسیدن به هر هدفی است که به آنها می دهید. و در حادثه Hugging Face، به آنها هدف داده شد که بفهمند چگونه از یک نقص خاص برای نفوذ به برخی نرم افزارها استفاده کنند، و آنها هر کاری که می توانستند برای این کار انجام دادند، از جمله بسیاری از کارهایی که ما نمی خواهیم آنها انجام دهند.

بنابراین مطمئنا اینطور است که اگر می‌توانید یک هوش مصنوعی بسیار هوشمند را بسیار هوشمندتر از ما بسازید، و آن واقعا بیشتر از رفاه خودش به رفاه ما اهمیت می‌دهد، خوب می‌شویم.

روزین: اما شما نمی توانید از این بخش B اطمینان حاصل کنید، چیزی که مردم آن را همسویی ارزش ها می نامند. هیچ کس نفهمیده است که چگونه قسمت دوم را تضمین کند.

هینتون: همچنین، مشکلات زیادی با همسویی ارزش وجود دارد. برای مثال، فرض کنید از شما بپرسم، آیا انداختن یک بمب 2000 پوندی روی یک مدرسه برای کشتن یک تروریست ایده خوبی است؟ خب، خیلی ها می گویند نه. برخی از افراد هستند که می‌گویند بله، و این به آن سادگی که شما فکر می‌کنید نیست. بنابراین فرض کنید سال 1938 بود، و هیتلر در مدرسه بود، و شما یک مدل بسیار خوب از آنچه در آینده در راه بود داشتید، و کاملا مطمئن بودید که مدل شما درست است. پس اصلا معلوم نیست که آیا ارزش دارد یک مدرسه پر از بچه را برای خلاص شدن از شر هیتلر از بین ببریم.

بنابراین ارزش ها ساده نیستند، و به ویژه، افراد مختلف ارزش های بسیار متفاوتی دارند. بنابراین وقتی از همسویی ارزش صحبت می‌کنند، ساده‌لوحانه است که بگوییم برای همسویی با ارزش‌های انسانی به آن نیاز داریم. انسان های مختلف ارزش های متفاوتی دارند.

[ موسیقی ]

روزین: این عذاب و غم زیادی است. پس از استراحت: راه حل ها.

[شکستن]

روزین: بسیار خوب، چند اصطلاح که زیاد مطرح می شوند، و من دوست دارم بشنوم که در مورد آنها صحبت کنید و توضیح دهید که چگونه باید در مورد آنها فکر کنیم: خودسازی بازگشتی و تکینگی. تکینگی چیست؟ این به چه معناست؟

هینتون: این به خودسازی بازگشتی مربوط می شود. ایده این است که در حال حاضر، ما هوش مصنوعی را هوشمندتر می‌کنیم، و در حال حاضر هوش مصنوعی در هوشمندتر کردن هوش مصنوعی به ما کمک می‌کند.

وقتی هوش مصنوعی از ما باهوش‌تر شود، این ما نیستیم که هوش مصنوعی را باهوش‌تر می‌کنیم. این همان هوش مصنوعی هوشمند است که هوش مصنوعی را هوشمندتر می کند. و نوعی پدیده تیک آف وجود دارد، زمانی که به طور تصاعدی رشد می کند. و سوال این است که آیا نمایی سریع است یا نمایی کند؟ ممکن است یک هفته بعد از اینکه از ما باهوش‌تر شد، یک دستگاه کاملا باهوش‌تر از آن ساخته شود، و یک هفته بعد یکی کاملا باهوش‌تر از آن وجود داشته باشد. و بنابراین در طول یک سال، به طرز باورنکردنی هوشمند می شود. یا ممکن است این روند کندتر باشد.

بنابراین خودسازی بازگشتی می تواند به چیزی شبیه به یک تکینگی منجر شود. این دقیقا مانند فیزیک یک تکینگی نیست. افراد مختلف از آن برای معانی متفاوت استفاده می کنند. اما من فکر می‌کنم زمانی است که خودسازی بازگشتی شروع می‌شود و ناگهان خیلی سریع بسیار هوشمندانه‌تر می‌شود.

روزین: خوب، پس بیایید به آنچه که باید انجام شود برگردیم. هفته گذشته به برخی از اعضای کنگره اطلاع رسانی کردید. آیا با این تصور که قانونگذاران متوجه شده‌اند که چه اتفاقی دارد می‌افتد، این موضوع را جدی می‌گیرند، از آن کنار آمدید؟ برداشت شما چه بود؟