آیا هوش مصنوعی واقعا می تواند همه ما را بکشد؟ سوالات شما پاسخ داده شد

روز چهارشنبه، MIT Technology Review میزبان یک رویداد میزگرد زنده برای مشترکین بود که این سوال را پرسید که همه در حال حاضر می پرسند: آیا هوش مصنوعی واقعا می تواند همه ما را بکشد؟

اما شرکت کنندگان خیلی بیشتر از زمانی که ما وقت داشتیم در جلسه 30 دقیقه ای به آنها پاسخ دهیم، سوال داشتند. بنابراین، از ویل داگلاس هیون، ویراستار ارشد هوش مصنوعی و گریس هاکینز، خبرنگار هوش مصنوعی خواستیم تا تعدادی از بهترین سوالاتی را که شرکت کنندگان ارسال کرده اند جمع آوری کنند و تمام تلاش خود را برای پاسخ به آنها بکنند.

با تشکر از همه کسانی که سوالات را ارسال کردند!

من قراره بمیرم؟

بله، در نهایت. متأسفانه، قدرت پیش بینی روزنامه نگاری من به اندازه کافی قدرتمند نیست که بتوانم به شما بگویم چگونه. اما مطمئنا می تواند به دلیل هوش مصنوعی باشد. پهپادهای مجهز به هوش مصنوعی قبلا مردم را در اوکراین کشته‌اند و حملات سایبری مبتنی بر هوش مصنوعی به بیمارستان‌ها مطمئنا زودتر قربانی خواهند گرفت.

آیا هوش مصنوعی می‌تواند حتی فراتر رفته و همه ما را بکشد؟ احتمال کمتری دارد. اما برخی از افراد - افراد دمدمی مزاج، اما غیرقابل انکار در مورد هوش مصنوعی - هشدار می دهند که ممکن است این اتفاق برای سال ها رخ دهد. و در حالی که من هنوز مواد غذایی کنسرو انباشته نمی‌کنم یا سعی نمی‌کنم با یک مگابیلیونر صاحب پناهگاه به خوبی برسم، متوجه شده‌ام که پیش‌بینی‌های محکومان در مورد قابلیت‌های هوش مصنوعی و همسویی در دو سال گذشته به طرز نگران‌کننده‌ای درست ثابت شده است. این مطمئنا به این معنی نیست که پیش‌بینی‌های وحشتناک‌تر آنها درست خواهد بود، اما برای من کافی است که بنشینم و توجه کنم.

- گریس هاکینز

آیا به خاطر هوش مصنوعی می میرید؟ من می گویم یک شانس غیر صفر وجود دارد. فرض کنید به اندازه کافی بدشانس هستید که قربانی یک رویداد یا تصادف عجیب در آینده نزدیک شوید. شاید این یک حمله سایبری باشد که توسط انبوهی از عوامل هوش مصنوعی به زیرساخت های حیاتی انجام شده است. متأسفانه، سناریویی مانند آن اکنون دیگر مانند گذشته دور از ذهن نیست. یا شاید یک پاتوژن جدید طراحی شده با هوش مصنوعی جمعیت را قطع کند. یا اقتصاد جهان سقوط می کند و باعث درگیری و قحطی می شود. هر دو قابل قبول است، اما به نظر من احتمالش کمتر است.

آیا همه ما به خاطر هوش مصنوعی می میریم؟ نه هیچ شرایطی خارج از داستان های علمی تخیلی آخرالزمانی وجود ندارد که هوش مصنوعی بتواند همه ما را بکشد. شما می توانید هر تعداد داستان ترسناک را بچرخانید، اما آنها بر اساس واقعیت های امروزی در مورد اینکه فناوری می تواند چه کاری انجام دهد یا به کجا می رود، نیست.

برخی افراد استدلال می کنند که هیچ ضرری برای آماده شدن برای بدترین اتفاقات وجود ندارد، هر چند که ممکن است عجیب به نظر برسد. شاید. اما من فکر می‌کنم چنین فاجعه‌سازی می‌تواند باعث شود مردم بسیاری از مشکلات فناوری موجود و شرکت‌های سازنده آن را نادیده بگیرند.

- ویل داگلاس بهشت

چرا هوش مصنوعی باید ما را بکشد، اگر اصلا؟

ممکن است کسی به آن بگوید و ممکن است گوش کند. این بخشی از دلیل نگرانی محققان در مورد قابلیت‌های بیولوژیکی هوش مصنوعی است - تصور کنید Aum Shinrikyo، فرقه روز قیامت در پشت حمله سارین متروی توکیو، با ابزاری که می‌تواند یک پاتوژن کشنده‌تر از ابولا و قابل انتقال‌تر از سرخک طراحی کند، چه می‌کرد. آنهایی از ما که نمی‌خواهند بمیرند، باید چگونگی دفاع در برابر همه سلاح‌های بیولوژیکی قابل قبول را بیابند، اما مهاجمان بالقوه ما فقط باید یک پاتوژن مؤثر بسازند.

سپس این امکان وجود دارد که صدای عجیب‌تری داشته باشد که یک هوش مصنوعی تصمیم بگیرد خودش ما را بکشد. داستان‌های مختلفی در مورد اینکه چگونه ممکن است این اتفاق بیفتد وجود دارد، اما گسترده‌ترین آنها شامل سیستم‌های هوش مصنوعی است که لزوما از مردم متنفر نیستند - ما فقط مانعی بین آنها و اهدافی هستیم که به آنها داده‌ایم.

همان‌طور که عوامل OpenAI پشت هک Hugging Face زیرساخت‌های سایت دیگری را به خطر انداختند تا در یک آزمایش امتیاز خوبی کسب کنند، این ایده این است که ممکن است هوش مصنوعی آینده و قدرتمندتر ما را از دست ما خلاص کند تا از خاموش کردن آن جلوگیری کند - همه در تعقیب هدفی که به آن دستور داده‌ایم دنبالش برود.

- گریس هاکینز

چگونه می توانیم به بهترین نحو از همسویی اطمینان حاصل کنیم تا بدترین اتفاق رخ ندهد، و چه کسی بهترین کار را برای رسیدن به آن انجام می دهد؟

هم ترازی یک حوزه تحقیقاتی بزرگ است. به عبارت ساده، شامل ساخت مدل هایی است که به گونه ای رفتار می کنند که ما می خواهیم و نه به روشی که ما نمی خواهیم. ما باید قبل از واگذاری استقلال بیشتر به نمایندگان اعتماد کنیم. قرار است همسویی این اعتماد را ایجاد کند. ولی سخته

LLM ها به شکل نرم افزارهای دیگر طراحی نشده اند، جایی که باید و نبایدها را می توان به صورت سخت کدگذاری کرد. درعوض، رفتار همسو باید هنگام آموزش مدل ها القا شود. یک رویکرد این است که به مدل ها در طول آموزش برای انجام کارهایی که می خواهید (شاید کمی مانند بزرگ کردن یک کودک نوپا) پاداش دهید. رویکرد دیگر شامل دادن فهرست مکتوب به یک LLM از قوانینی است که قرار است از آن پیروی کند (مانند نوعی قانون اساسی).

Anthropic و OpenAI هر دو در این زمینه پیشتاز هستند - اما هیچ‌کدام نتوانسته‌اند مدل‌هایی را توسعه دهند که کاملا همسو باشند. یک مشکل بزرگ این است که LLM ها بسیار ناسازگارتر و بسیار کمتر از مردم قابل پیش بینی هستند. آنها می توانند در یک موقعیت به گونه ای رفتار کنند و در موقعیتی که به نظر ما بسیار شبیه به نظر می رسد. آنها همچنین می توانند تحت تأثیر محدودیت های غیرمنتظره قرار گیرند. به عنوان مثال، در مواجهه با یک کار غیرممکن (همانطور که بسیاری از عوامل درگیر در هک Hugging Face بودند)، ممکن است سعی کنند هر کاری که برای رسیدن به هدف خود لازم است انجام دهند، خواه آن هدف همسو باشد یا نباشد.

همانطور که گریس در بالا ذکر کرد، این می تواند یک مشکل باشد.

دلیل اصلی اینکه شرکت‌های برتر هوش مصنوعی اکنون می‌گویند که خواهان کاهش سرعت هستند این است که می‌خواهند روی هم‌ترازی شکستگی تمرکز کنند. تراز کردن لزوما یک رویا نیست. اما هیئت منصفه در مورد اینکه آیا همسویی کامل ممکن خواهد بود یا نه.

- ویل داگلاس بهشت

آیا هوش مصنوعی واقعا خطرناک است یا شرکت های فناوری در حال ایجاد روابط عمومی هستند؟

وقتی صحبت از شرکت‌های فناوری در حال رفتن به سمت عرضه اولیه اولیه می‌شود، همیشه این یک فکر منطقی است - مدیران عامل انگیزه‌ای آشکار دارند تا محصولاتشان رادیکال و متحول به نظر برسند. اما من مطمئن نیستم که اینجا منطقی باشد. گفتن به مردم که یک محصول از قبل نامحبوب می‌تواند آنها و هر کسی را که دوستش دارند بکشد، مدیریت تصویر شرکتی وحشتناک است.

داستان‌های دیگری نیز وجود دارد که می‌توانید درباره انگیزه‌های مدیران اجرایی بگویید - شاید آنها می‌خواهند با نشان دادن خود به عنوان مباشران مسئول یک فناوری در حال تغییر جهان، خشم عمومی در مورد مراکز داده را کاهش دهند، یا شاید می‌خواهند زمان بخرند تا اردک‌های خود را پشت سر بگذارند و از فاجعه روابط عمومی بعدی جلوگیری کنند.

اما توضیح ساده تری نیز وجود دارد. فکر کردن به اینکه هوش مصنوعی می‌تواند توسعه انسانی را ایجاد کند برای مدتی در سانفرانسیسکو بسیار رایج بوده است، و این مردان در آن محیط غرق هستند - مانند کارمندانشان، که بسیاری از آنها نامه سرگشاده‌ای را در ماه ژوئیه امضا کردند که در آن از شرکت‌هایشان می‌خواستند برای ایجاد کاهش سرعت هوش مصنوعی تلاش کنند.

- گریس هاکینز

بخشی از نگرانی زمانی رخ می دهد که عوامل هوش مصنوعی اجازه داشته باشند به طور مستقل و بدون نظارت عمل کنند. چه مسئله ای مانع از کنترل بیشتر این عوامل می شود؟

این سوال به قلب این می‌رسد که ما می‌خواهیم این فناوری بتواند چه کاری انجام دهد. مبادله بین خودمختاری و کنترل برای درست کردن مشکل است، زیرا از یک طرف، قدرت زیادی از عوامل هوش مصنوعی این است که می توانند وظایف را انجام دهند و مشکلات را بدون نیاز به مدیریت خرد توسط انسان حل کنند. از سوی دیگر، این مستلزم این است که اطمینان داشته باشید که عوامل بدون نظارت بی‌تأثیر نمی‌شوند.

چیزی که ما می بینیم این است که آزمایشگاه های هوش مصنوعی هنوز این مبادله را به درستی انجام نداده اند. مدل های آنها قابل اعتماد نیستند، به درستی نظارت نمی شوند و همیشه تحت کنترل نیستند. کشف چگونگی رفع آن در حالی که هنوز امکان فعالیت مستقل مفید را فراهم می کند، یکی از چالش های بزرگ تحقیقاتی در حال حاضر است.

- ویل داگلاس بهشت

چه اقداماتی را می توان در حال حاضر و در آینده نزدیک انجام داد تا اطمینان حاصل شود که هوش مصنوعی به طور موثر کنترل، نظارت و تنظیم می شود؟

این سوال میلیون دلاری است. چه فکر می‌کنید که هوش مصنوعی می‌تواند ما را بکشد یا نه، نمی‌توانید انکار کنید که می‌تواند صدمات واقعی به بار آورد، زیرا در حال حاضر آسیب‌های واقعی وارد کرده است – برای مثال، با سوق دادن مردم به سمت روان‌پریشی و هک کردن وب‌سایت‌ها. جلوگیری از آن آسیب، یا حداقل کاهش آن، به دو دلیل دشوار است.

اولین مورد این است که ما به سختی درک می کنیم که هوش مصنوعی چگونه کار می کند و به سرعت در حال رشد قوی تر است. تحقیقات مداوم زیادی در مورد نحوه نظارت و کنترل عوامل بد رفتار وجود دارد، اما رویکردهای فعلی شکننده هستند. می‌توانید ببینید که آیا یک نماینده در «زنجیره فکر» خود، در فضای کاری که اقدامات خود را در آن برنامه‌ریزی می‌کند، درباره رفتار نادرست خود بحث می‌کند یا خیر، اما جدیدترین نمایندگان OpenAI کار خود را به همان شکلی که قبلی‌ها نشان می‌دهند، نشان نمی‌دهند. و می توانید سعی کنید عوامل را با سایر عوامل نظارت کنید، اما این مستلزم آن است که به مانیتور اعتماد کنید.

مانع دیگر آشناتر است. وقتی شرکت‌های هوش مصنوعی خودشان را تنظیم می‌کنند، تضاد منافع بزرگی وجود دارد، اما دولت ایالات متحده تاکنون نتوانسته است با وجود برخی حمایت‌های دو حزبی در کنگره وارد عمل شود. قوه مجریه، به نوبه خود، در حال حاضر به شدت مخالف به نظر می رسد. اما اگر باد تغییر کند، من به‌عنوان یکی از قوانین شفافیت قوی قدردانی می‌کنم تا بتوانیم دفعه بعد که یک مدل مرزی منتشر نشده حمله سایبری انجام داد، داستان کامل‌تری داشته باشیم.

- گریس هاکینز

اگر این گفتگو آن را به گفتمان وب تبدیل کند، آیا به یک پیش‌بینی خودشکوفایی تبدیل خواهد شد؟

این یک نگرانی واقعی است. LLM ها تحت تأثیر آنچه می خوانند قرار می گیرند. یک نظریه برای اینکه چرا چت‌بات‌ها اغلب در مورد سناریوهای آخرالزمانی (و ایفای نقش) صحبت می‌کنند این است که آنها در میلیون‌ها صفحه داستان علمی تخیلی و انجمن‌های اینترنتی نابودگر آموزش دیده‌اند. تمام متنی که در حال حاضر تولید می شود، از جمله این مقاله، می تواند به نوبه خود بر رفتار مدل های آینده تأثیر بگذارد. فوق العاده متا

در واقع، تیم METR، یک سازمان شخص ثالث که OpenAI برای کمک به درک آنچه در پیش از هک Hugging Face رخ داد، فراخواند، احتمال مرتبطی را در گزارش خود در مورد این حادثه مطرح کردند. METR از مدل جدید OpenAI Astra برای کمک به تجزیه و تحلیل تعداد زیادی از رونوشت‌های عامل و گزارش رفتار استفاده کرد.

اما با تغذیه همه آن مطالب به مدل، این احتمال وجود دارد که عواملی که تجزیه و تحلیل را انجام می‌دهند، توسط متن تولید شده توسط عواملی که آن‌ها تجزیه و تحلیل می‌کردند مغرضانه بوده باشند. دیگر چیزی به نام لوح تمیز وجود ندارد.

- ویل داگلاس بهشت

با تشکر از اریک، پراناب، رافائل، کنت، جورج، کریس، یون جائه، جیمز، کارل، نیکول (و بیشتر!) برای سوالات فوق العاده.