آنتروپیک می تواند متوقف شود

داریو آمودی، مدیر عامل Anthropic می گوید که شرکت هوش مصنوعی او می تواند "مسابقه ای را به سمت اوج" پیش ببرد. شواهد کجاست؟ | فین گومز/گتی ایماژ

ما در "اکتبر سیاه" با هوش مصنوعی زندگی می کنیم و همه چیز به سرعت در حال تغییر است. هکرها از هوش مصنوعی برای نفوذ به شرکت های بی شماری استفاده می کنند. ابزارهای هوش مصنوعی نقایص امنیتی را کشف کرده اند که می تواند 70 درصد از تمام وب سایت ها را آسیب پذیر کند. دولت ها در تلاش برای ایمن سازی سایت های خود هستند. بانک ها هم همینطور و از آنجایی که هک‌های سایبری می‌توانند به زنجیره‌های تامین آسیب بزنند، برخی از ناظران قدیمی هوش مصنوعی در حال آماده‌سازی کامل هستند، مواد غذایی، پول نقد و موارد دیگر را ذخیره می‌کنند.

در مرکز این داستان، آنتروپیک، یکی از شرکت‌های پیشرو هوش مصنوعی در جهان قرار دارد که صراحتا بر اساس این وعده تاسیس شده است که در دنیایی از غول‌های فناوری مشکوک، یک شرکت «مرد خوب» خواهد بود.

آنتروپیک می گوید تمام پیشرفت های اخیر بسیار جدی هستند. رئیس امنیتی آن هفته گذشته نوشت که اوضاع "قبل از اینکه بهتر شود بسیار بدتر خواهد شد." دو هفته پیش، این شرکت هشدار داد که مدل‌های هوش مصنوعی به زودی می‌توانند در دستگاه‌های متصل به اینترنت در خانه شما مانند یخچال‌های هوشمند و جاروبرقی‌های روباتی خود به خود تکرار شوند. و هم‌بنیان‌گذار آن اکنون می‌گوید «تکینگی» - وقتی سیستم‌های هوش مصنوعی پیشرفت فنی را به‌گونه‌ای که درک آن برای انسان‌ها سخت است سرعت می‌بخشند - «اینجاست».

ممکن است فکر کنید، با توجه به دیدگاهی که در مورد خطرات دارد، آنتروپیک ترمز پیشرفت پیشرفته هوش مصنوعی خود را افزایش می دهد. درست برعکس. آنتروپیک روز دوشنبه برای عرضه اولیه عمومی پرفروش ثبت نام کرد و ارزشی معادل 2 تریلیون دلار را دنبال کرد، حتی در حالی که در پرونده IPO هشدار داده بود که هوش مصنوعی می تواند "خطرات فاجعه بار یا وجودی برای بشریت ایجاد کند." هر روز به سمت خود-بهبودی بازگشتی (RSI) مسابقه می‌دهد، جایی که مدل‌های هوش مصنوعی به اندازه کافی هوشمند هستند تا مدل‌های هوش مصنوعی بعدی و حتی هوشمندتر را خودشان بسازند.

آنتروپیک چگونه آن را توجیه می کند؟

همانطور که مدیر عامل آن، داریو آمودی، هفته گذشته به دنیا یادآوری کرد، او شرکت را بر اساس یک شرط بندی بزرگ ساخت: آنتروپیک به جای اینکه یک مسابقه را به پایین بکشد، جایی که شرکت ها در عجله خود برای شکست دادن رقبا در بازار از ایمنی صرفه جویی می کنند، در واقع می تواند یک "مسابقه به سمت بالا" را تسریع کند.

چرا این داستان را نوشتم

همانطور که آنتروپیک را در استراتژی "مسابقه به سمت بالا" دوبرابر می دیدم، به طرز ناراحت کننده ای به یاد یک بازی بسیار خطرناک دیگر افتادم: کلاهبرداری رمزنگاری Sam Bankman-Fried در سال 2022. تفاوت های مهمی بین این دو وجود دارد. این یک موازی کامل نیست. اما هر دو شامل تعداد انگشت شماری از چهره ها هستند که به شدت تحت تأثیر نوع دوستی مؤثر هستند و از طرف بسیاری از افراد دیگر شرط بندی می کنند.

فرهنگ EA به ارائه ضد اخلاق عقل سلیم افتخار می کند. جامعه تمایل خود را برای پذیرش ریسک های بزرگ و توجیه آنها با محاسبات پیچیده نشان داده است. گاهی اوقات نتیجه می دهد. اما این باور که به اندازه کافی باهوش هستید که بتوانید یک استراتژی ضد شهودی و مغز کهکشانی را اتخاذ کنید و در نهایت با آن جهان را نجات دهید، اغلب شامل غرور است. و غرور مرا در زمینه ای به اندازه هوش مصنوعی عصبی می کند.

ایده این است که اگر آنتروپیک ثابت کند که می‌تواند هوش مصنوعی قدرتمند و ایمن بسازد، بازار انتظار هر دوی این‌ها را خواهد داشت – بنابراین سایر شرکت‌های هوش مصنوعی نیز مجبور خواهند شد در زمینه ایمنی رقابت کنند. این ممکن است در تئوری خوب به نظر برسد، اما به این معنی است که Anthropic باید به ساختن هوش مصنوعی قوی‌تر ادامه دهد.

آمودی نوشت: «نیروهایی که مسابقه را به اوج می‌رسانند، بسیار مؤثرتر هستند، اگر شرکتی که آنها را تمرین می‌کند در مرز باشد. و با نگاه به این استراتژی به عنوان یک کل، من به سابقه خود افتخار می کنم و بر آن می ایستم.

به عبارت دیگر، آمودی به شرط خود پایبند است.

اما آمودی به گفته خودش و شرکتش با آینده بشریت قمار می کند. اگر هوش مصنوعی اشتباه کند، می تواند منجر به ناتوانی تدریجی ما، تمرکز شدید قدرت یا حتی انقراض کامل شود.

بنابراین یک سوال بسیار اساسی وجود دارد که مردم در این لحظه حساس مستحق پاسخ مناسب به آن هستند: شواهدی وجود دارد که نشان می دهد استراتژی اعلام شده آنتروپیک - رقابت در مرزها به منظور هدایت یک "مسابقه به اوج" - در مجموع موفقیت آمیز است؟

از بیرون، به نظر می‌رسد که آنتروپیک کارهای بیشتری را انجام داده است تا یک مسابقه را به سمت پایین هدایت کند. (افشای: Future Perfect تا حدی توسط بنیاد BEMC تأمین می شود، که سرمایه گذار اصلی آن نیز سرمایه گذار اولیه در Anthropic بود؛ آنها هیچ ورودی ویرایشی در محتوای ما ندارند.)

در واقع، بخشی از مشکل ممکن است این باشد که آنتروپیک به این موضوع به عنوان یک مسابقه تسلیحاتی کلاسیک نگاه می کند. به طور خاص، به نظر می رسد این شرکت آن را به عنوان معضل یک زندانی مدل می کند: اگر آنتروپیک ساختن هوش مصنوعی قدرتمندتر را متوقف کند، بازیکن دیگری - چه چین، چه OpenAI یا شرکت دیگری - به هر حال آن را می سازد. در این نوع از دوراهی، اگر بازیکن دیگر قرار است جدا شود، منطقی است که شما جدا شوید، حتی اگر هیچ کس واقعا آن نتیجه را نمی‌خواهد.

اما اگر این کادربندی اصل مطلب را از دست بدهد، چه؟

تئوری بازی می‌تواند یک قمار بزرگ را پیچیده به نظر برساند، در حالی که جایگزین آشکار - فقط ماشین عذاب نسازید - ساده لوحانه به نظر برسد. با این حال، این واقعیت که Anthropic و دیگران اکنون به سمت RSI رقابت می کنند، احتمال اینکه ما کنترل هوش مصنوعی را از دست بدهیم و شروع به دیدن آسیب های عظیم به دنیای خود کنیم، بسیار بیشتر می کند. وقتی هزینه فرار از ایمنی این است که خطر جدی آسیب فاجعه بار ایجاد می کنید - یا تمام بشریت از جمله شما در حال انقراض است - آیا این هنوز یک حرکت "عقلانی" است؟

به جای اینکه به خودتان بگویید که می‌توانید با تئوری بازی‌های به اندازه کافی فانتزی از طریق کهکشان‌ها در این زمینه فکر کنید، شاید بهتر باشد این را به عنوان چیزی بسیار ساده‌تر در نظر بگیرید: رولت روسی.

بیشتر و بیشتر صداهای پیشرو در هوش مصنوعی شروع به تشخیص آن می کنند.

جفری ایروینگ، که تا همین اواخر دانشمند ارشد مؤسسه امنیت هوش مصنوعی بریتانیا بود، به من گفت: «ما باید اکنون پیشرفت هوش مصنوعی را متوقف کنیم و به طور یکجانبه با توقف Anthropic و/یا OpenAI شروع کنیم – و سپس به عنوان گام دوم برای شرکت‌های بیشتر هوش مصنوعی و مذاکرات با چین گسترش پیدا کنیم. مکث های یک طرفه نمی توانند برای مدت طولانی ادامه داشته باشند، اما آنها اولین قدم درست هستند: زمانی که شما یک کار بسیار خطرناک انجام می دهید، اقدام صحیح توقف است، حتی اگر دیگران نیز کارهای خطرناکی انجام دهند.

آنتروپیک به درخواستی برای اظهار نظر پاسخ نداد.

موردی که آنتروپیک بیشتر ضرر کرده تا سود

بیایید واضح بگوییم: سؤال این نیست که آیا آنتروپیک کار خوبی در زمینه ایمنی انجام داده است یا خیر. دارد. ایستادن در مقابل پنتاگون، جلوگیری از دسترسی موقت به مدل‌های مرزی، و حمایت عمومی از سیاست‌های ایمن‌تر هوش مصنوعی چند نمونه از جمله موارد دیگر است.

اما سوال واقعی این است که آیا استراتژی "مسابقه به سمت بالا" این شرکت بر روی تعادل کار می کند - آیا این استراتژی برای ایمنی خالص منفی است یا خالص مثبت.

ناتان کالوین، مدیر استراتژی در سازمان حمایت از ایمنی هوش مصنوعی Encode، اخیرا طوفانی را در میان ناظران فناوری به راه انداخت و در X نوشت: «وقتی به بسیاری از اقدامات قابل توجهی که آنتروپیک در سال گذشته انجام داده نگاه می‌کنم، این شواهد به نظر من با این دیدگاه که آنتروپیک در درجه اول تلاش می‌کند تا در مسابقه ایمنی ثانویه در نظر گرفته شود، سازگارتر است.» در اینجا لیست او از کارهایی که آنتروپیک انجام داده است:

و این همه فقط در سال گذشته است. اگر نوار را عقب‌تر به عقب برگردانیم، می‌بینیم که Anthropic لایحه‌ای مهم برای تنظیم هوش مصنوعی را عقب می‌اندازد. حتی بیشتر به عقب برگردید، و نشانه هایی می بینیم که استراتژی اصلی آنتروپیک ممکن است از همان ابتدا ناقص بوده باشد. به گزارش رویترز، در اواخر سال 2022، سام آلتمن، مدیر عامل OpenAI، شایعاتی شنید که آنتروپیک در حال ساخت یک ربات چت مبتنی بر هوش مصنوعی است. بنابراین او به کارمندانش دستور داد ابتدا یک ربات چت OpenAI را ارسال کنند. آن ربات چت ChatGPT نام داشت. بقیه را همه می دانیم.

به نظر می رسد رقابت بین OpenAI و Anthropic نه تنها ورود هوش مصنوعی مولد را تسریع کرده است، بلکه تاریخ انتشار را تا به امروز به جلو می برد. این دو شرکت به تولید مدل‌های جدید یا ارزان‌تر در عرض چند ساعت از یکدیگر مشهور بوده‌اند که هر یک مشتاق حفظ سهم بازار خود هستند.

حتی اگر فکر می‌کنید که رفتار آنتروپیک در سال 2022 موجه بود، زیرا نشان دادن علنی خطرات هوش مصنوعی همچنین نشان‌دهنده نیاز به تنظیم هوش مصنوعی - یک ادعای رایج در شرکت و گفتمان هوش مصنوعی بزرگ است - باید بپرسید: آیا اکنون که هوش مصنوعی به این سطح از قدرت و پیچیدگی رسیده است، آیا هنوز قابل توجیه است؟

Anthropic نشان داده است که به RSI نزدیک و نزدیکتر می شود. خود آمودی در ژانویه نوشت: "من نگران هستم که LLM ها به دانش مورد نیاز برای ایجاد و انتشار [سلاح های بیولوژیکی] انتها به انتها نزدیک می شوند (یا ممکن است قبلا به آن رسیده باشند، و اینکه پتانسیل تخریب آنها بسیار زیاد است. برخی از عوامل بیولوژیکی می توانند باعث مرگ میلیون ها نفر شوند." و او در ماه سپتامبر نوشت: «با توجه به سرعت توسعه قابلیت‌های هوش مصنوعی، این نگرانی من است که در عرض 6 تا 12 ماه، چنین گروهی بتواند کل اینترنت را با یک بات‌نت پایدار تصاحب کند.»

اما در این مرحله، آمودی و کارکنانش شاید خود اولین کسانی هستند که سرعت توسعه قابلیت‌های هوش مصنوعی را تسریع می‌کنند.

کالوین به من گفت: «به نظر می‌رسد که Anthropic بیشتر از هر کس دیگری، به غیر از OpenAI، کل RSI را انجام می‌دهد. "و من فقط فکر می کنم با توجه به دیدگاه های اعلام شده آنها در مورد خطرات، دیوانه کننده به نظر می رسد."

او ادامه داد: «من فکر می‌کنم افراد در آنتروپیک باید بیشتر به این واقعیت فکر کنند که به نظر می‌رسد نتیجه مودال این است که بزرگترین تأثیری که آنتروپیک خواهد داشت، سرعت بخشیدن به مسابقه RSI است. در مسیر کنونی، هر کار دیگری که انجام داده اند و فکر و ایده آلی که داشته اند، در مقایسه با سهمی که در آنجا داشته اند، یک خطای گرد خواهد بود.»

آنتروپیک باید مایل باشد که این موضوع را مورد بررسی دقیق قرار دهد - و اگر معتقد است که در واقع زمینه را ایمن‌تر از آنچه در غیر این صورت بود می‌کند، رسیدها را به ما نشان دهد. چگونه؟ می‌تواند لایحه‌ای را به کنگره ارائه دهد که در واقع به جای تضعیف ایمنی، ایمنی را تقویت کند. می‌تواند به سیاست مقیاس‌پذیری مسئولیت‌پذیر سابق خود پایبند باشد و به جای کنار گذاشتن تعهداتش، شرکت‌های دیگر را نیز مجبور به انجام همین کار کند. این می‌تواند بر سایر آزمایشگاه‌ها تأثیر بگذارد که به‌جای رهبری هزینه، RSI را ایجاد نکنند.

در غیاب چنین شواهدی، منطق "مسابقه به قله" نمی تواند جوابگو باشد.

اگر آنتروپیک فقط... متوقف شود چه؟

Amodei شروع به دفاع از "پیشرفت در مرز" توسعه هوش مصنوعی کرده است. او در سپتامبر نوشت: «ما باید سرعت بهبود قابلیت‌های مدل‌های هوش مصنوعی را کاهش دهیم.

نکته مهم این است که برنامه آمودی برای کاهش سرعت منوط به موافقت دیگران با کاهش سرعت است - برای شروع، سایر آزمایشگاه‌های هوش مصنوعی و همچنین کشورهای دیگر. اما کارشناسان بیشتری اکنون می گویند که بهتر است شرکت مرزی مانند آنتروپیک به طور یکجانبه متوقف شود.

دانیل کوکوتاجلو، محقق سابق OpenAI که به یک افشاگر برجسته تبدیل شد، به من گفت: «خوشحالم که او پیشنهاد کرد که ما با سرعت عمل کنیم، اما اکنون باید واقعا این کار را انجام دهیم - و به نظر می‌رسد که او می‌گوید که این کار را یک‌طرفه انجام نمی‌دهد. "این خیلی کمک کننده نیست، داریو! شما باید رهبری کنید. اگر فقط منتظر هستید، "مسابقه به اوج" و "نمونه پیشرو بودن" چه معنایی دارد؟"

البته اقدام یکجانبه داوطلبانه توسط شرکت‌های منفرد جایگزین مقررات فدرال و معاهدات بین‌المللی نیست. اما ایروینگ استدلال می‌کند که این اولین قدم درست است، زیرا اگر شرکت‌ها منتظر باشند تا دولت‌ها آنها را مهار کنند، ممکن است خیلی دیر باشد. دولت ها به طور بدنامی کند هستند. یک شرکت انفرادی می تواند امروز اقدام کند.

اینجا یک اعتراض همیشگی وجود دارد: "اما چین!"

با این حال، این ایده که ما در یک مسابقه تسلیحاتی کلاسیک با چین هستیم، همیشه ناقص بوده است.

برای شروع، هوش مصنوعی فقط یک چیز با یک هدف نیست، مانند بمب اتمی. این یک فناوری بسیار همه منظوره تر است، مانند برق. بنابراین آنچه مهم است این نیست که چه کسی اول آن را دریافت می کند، بلکه این است که چه کسی آن را در چه راه هایی استفاده می کند. علاوه بر این، اگر آسیب های ناشی از هوش مصنوعی بسیار زیاد باشد، آن آسیب ها برای طرف مقابل نیز مرتبط است. چینی ها نیز نمی خواهند آسیب های فاجعه باری را برای تمام تمدن بشر ببینند. بنابراین ما نباید امکان هماهنگی را حذف کنیم.

کلسی پایپر، خبرنگار سابق Vox اخیرا در مورد یک کنفرانس در Anthropic نوشت که یکی از شرکت‌کنندگان در آن اعتراض کرد: یک دهه پیش، فیس‌بوک به فکر دستیابی به فناوری بود که بعدا TikTok را تقویت می‌کرد. اما به دلیل نگرانی های مربوط به حفظ حریم خصوصی و ایمنی، این شرکت با فشار مواجه شد. این کار باعث نشد با TikTok از ما در برابر بلایای یک دنیا محافظت کند - تنها کاری که انجام داد این بود که چین را در انحصار اولیه فناوری قرار داد. پایپر می نویسد:

آیا این یک سیاست موفقیت آمیز بود؟ آیا می خواستیم آن را تکرار کنیم؟

ما موظف بودیم با اکراه قبول کنیم که این یک سیاست موفقیت آمیز به نظر نمی رسد. ما نمی خواستیم آن را تکرار کنیم. چین ممکن است بهانه ای برای آزمایشگاه های ایالات متحده برای انجام کارهای بی پروا نباشد، اما این یک ملاحظه واقعی است.

گام بعدی ما ممکن است مذاکرات دوجانبه با چین باشد. اما از آنجایی که موافقت می‌کنید که برنامه‌های آنتروپیک ممکن است به مذاکرات دوجانبه با چین بستگی داشته باشد، بسیاری از مراحل جهان‌بینی آنتروپیک را که 10 دقیقه پیش بسیار شبیه به دیوانگی به نظر می‌رسید، پذیرفته‌اید: فعلا روی هوش مصنوعی کار کنید، سعی کنید در مورد کاهش سرعت مذاکره کنید، اما کار در مرز و تمام مزایای آن را رها نکنید.

اما TikTok قیاس خوبی برای RSI نیست. مورد اول ممکن است آبریزی باشد که مغز ما را می پوسد و نفرت قومی را تقویت می کند، اما خطرات آن با خطرات RSI قابل مقایسه نیست. در واقع می‌توان به بهترین وجه به عنوان یک معضل کلاسیک زندانیان به پرونده TikTok پرداخت. اما با RSI، نزولی احتمالی آنقدر فاجعه‌بار است که هر کسی که پیشنهاد نجات جهان را دقیقا با ساختن فناوری‌ای که آن را به خطر می‌اندازد، می‌کند، از طرف دیگران یک قمار جهنمی می‌سازد. حداقل، بار اثبات باید بر دوش آنها باشد تا ثابت کنند اعتمادشان موجه است.

خودی‌های هوش مصنوعی اغلب فکر می‌کنند کسانی که خارج از صنعتشان هستند نمی‌توانند پیچیدگی‌های فنی، ژئوپلیتیکی و اخلاقی را که با آن مواجه هستند، درک کنند. اما اخلاق عقل سلیم به دلیلی عقل سلیم است: شهودهایی را که معمولا درست هستند (مانند، اگر ماشین عذاب نمی‌خواهید، شاید ماشین عذاب نمی‌سازید) را دنبال می‌کند و به ما آموزش می‌دهد که نسبت به شرط‌بندی‌های بزرگ و غیرشهودی که برعکس است، به درستی شک کنیم.

دقیقا به این دلیل که چشم انداز هوش مصنوعی یک سیستم پیچیده است - بازیگران زیادی (شامل شرکت های هوش مصنوعی مختلف و دولت های مختلف) وجود دارد و اقدامات هر یک می تواند باعث اقدامات دیگران به روش هایی شود که پیش بینی آن دشوار است - باور اینکه به اندازه کافی باهوش هستید که اقدامات بسیار ضد شهودی انجام دهید و در نتیجه دنیا را نجات دهید، یک بازی بسیار خطرناک است. درعوض، شاید بهترین کار این باشد که مستقیما کار درست را انجام دهید: توقف کنید.

برای روشن بودن، «توقف» به معنای باز کردن تمام کارهایی نیست که تاکنون در هوش مصنوعی انجام شده است. سیستم های هوش مصنوعی قدرتمندی که در حال حاضر وجود دارند را نمی توان دوباره در جعبه قرار داد. و ممکن است برای دفاع از هوش مصنوعی که در حال حاضر وجود دارد نیاز به هوش مصنوعی داشته باشیم.

کالوین گفت: "من نمی گویم همه مراکز داده خود را تعطیل کنید." "اما من می گویم که به طور خاص، فشار دادن مرز RSI و ساختن آن به گونه ای که شما شرکتی باشید که بیش از هر کس دیگری در جهان توسعه مستقلی انجام می دهد، آیا این واقعا منطقی است؟"

هم خودی های هوش مصنوعی و هم مردم به طور فزاینده ای فریاد می زنند نه.

برخی از خودی‌ها، شاید آگاه باشند که بشریت کاملا قادر است توسعه فناوری بسیار خطرناک را متوقف کند (ما قبلا این کار را انجام داده‌ایم)، در حال صحبت کردن و ترک مشاغل در شرکت‌های هوش مصنوعی هستند. در گردهمایی‌های عمومی، مانند مجمع اخیر طرفدار انسان در واشنگتن دی سی، و مجمع مردمی هوش مصنوعی در شهر نیویورک، مردم فشارهایی را برای بازنگری در مسابقه هوش مصنوعی روی هم می‌گذارند. ایالات در حال تدوین قوانین خود برای مهار فناوری هستند. و یک پست X از کالوین چنان مورد توجه قرار گرفت که کمتر از خود آمودی مجبور به پاسخگویی شد.

شرکت های هوش مصنوعی مجبور به توجه هستند.

توجه ممکن است تمام چیزی که نیاز دارید نباشد، اما یک شروع است.