واقعا چقدر باید نگران ایمنی هوش مصنوعی باشیم؟

روز چهارشنبه، نخست وزیر استرالیا برای شرکت در مجمع عمومی سازمان ملل متحد به نیویورک آمد و چیزی را که به طور فزاینده ای رایج می شود، اعلام کرد: یک عامل OpenAI برخی از فایل ها را هک کرده بود.

چیز آزاردهنده این بود که به دنبال برخی داده ها در مورد هزینه های مراقبت های بهداشتی بود، دیواری را در پایگاه داده Medicare استرالیا پیدا کرد و تصمیم گرفت به سادگی از آن عبور کند. سپس به کنترل‌کننده‌های خود، فایل‌های جدید موجود بازگشت. (همچنین در زمانی که در آنجا بود چند فایل جدید نوشت.)

نماینده به هیچ چیز حساس دسترسی پیدا نکرده است - هنوز. اما این توسعه در واقع نشان دهنده یک واترمارک جدید (/low) بود: این اولین باری است که یک عامل هوش مصنوعی به طور مستقل به پرونده های یک دولت نفوذ می کند. مطمئنا آخرین مورد نخواهد بود.

اوایل تابستان امسال حملات بدنام "صورت در آغوش" را به همراه داشت. گروهی از ربات‌های تحقیقاتی که توسط OpenAI برای جستجوی آسیب‌پذیری‌های امنیتی آموزش دیده بودند، «از کنترل فرار کردند» و به پلتفرم آزمایشگاهی Hugging Face حمله کردند. بلافاصله پس از آنتروپیک فاش کرد که تست استرس خود به سه شرکت نیز حمله کرده است. اساسا، این شرکت‌های هوش مصنوعی سعی می‌کنند برای راه‌هایی که مدل‌هایشان ممکن است سرکش شوند، نسوز کنند – و با انجام این کار، مدل‌های آن‌ها... سرکش شدند.

این بدتر از آن چیزی بود که ما فکر می کردیم. در ماه ژوئیه به نظر می رسید که ماموران در حال انجام راه حل های خود برای یافتن پاسخ یک آزمایش بودند. به نظر می رسد که آنها قبلا پاسخ آزمایش را داشتند و در حال ریشه یابی برای .... آسیب پذیری های جدید بودند؟ راه های تقلب در آزمون؟ مکانیسم های خودسازی؟ چیز دیگری؟ انگیزه هرچه که بود، این عوامل سریع‌تر، سرکش‌تر و تواناتر از آن چیزی بودند که قبلا تصور می‌شد.

حتی به نظر می‌رسید که آن‌ها در خوشه‌ها - یا «ازدحام‌ها» - با برخی از عوامل فعال‌تر از سایرین سازمان‌دهی شده‌اند، به طوری که به نظر می‌رسد یک نمودار سازمانی انسانی، یا یک دستور نوک زدن مافیایی است، که برخی مغز متفکر تجاوز بوده و برخی آن را انجام می‌دهند. ماموران هوش مصنوعی البته حساس نیستند و نمی توانند به کورلئونه تبدیل شوند، نه دان و نه فردو. آنها به آنچه که به عنوان بخشی از نمودار سازمانی انجام می دهند فکر نمی کنند. اما این واقعا مهم نیست. هوش مصنوعی برای دستیابی به آن نیازی به آسیب رساندن به آن ندارد.

یک عامل هوش مصنوعی می‌تواند به سادگی در انجام ماموریت خود سخت گیر باشد و به دلیل نداشتن عقل سلیم انسانی، به طور تصادفی باعث خرابی‌های جانبی زیادی در طول مسیر شود. نیک بوستروم متفکر و آینده پژوه سال ها پیش آزمایش فکری «بیشینه ساز گیره کاغذ» را ابداع کرد. اساسا یک سیستم هوش مصنوعی ایجاد می کند که با به حداکثر رساندن تولید گیره کاغذ شارژ شده است. به اندازه کافی سرراست، درست است؟ به جز اینکه انسان نیست، هرگز فکر نمی‌کند از اعمالی که ما انسان‌ها بدیهی می‌دانیم اجتناب کند - مثلا تسخیر تأسیسات مورد نیاز برای آب یا سایر منابع حیاتی.

یا فرماندهی یک سیستم نظامی یا نیروگاه هسته ای را در تعقیب هدف گیره کاغذ خود. در نهایت، آزمایش فکری آن را نشان می‌دهد، چنین سیستمی شبکه جهانی را از بین می‌برد و باعث ویرانی عظیم می‌شود، همه برای کار ساده و بی‌آرایش به حداکثر رساندن تولید گیره کاغذ. همانطور که معلوم است در آغوش گرفتن صورت تنها شروع کار بود. به زودی حوادث امنیتی در همه جا ظاهر شد، و نه فقط از سوی عوامل سرکش. سیستم Anthropic چندین بار در سال جاری توسط افرادی که سعی می کردند از ابزارهای آن برای ساخت ابرسلاح های زیستی استفاده کنند، دسترسی پیدا کرده بود که در نتیجه این شرکت جویندگان اطلاعات را مسدود کرد.

مردم آنتروپیک نمی‌دانستند که آیا این جویندگان دانشمندانی هستند که روی واکسن‌های قانونی تحقیق می‌کنند یا افراد بدی که تلاش می‌کنند کارهای بد انجام دهند، اما آیا این مهم است؟ این واقعیت که تصور می‌شود این مدل‌ها می‌توانند کد یک ابرباگ را تولید کنند – و دفعه بعد که آنتروپیک ممکن است در پایین آوردن دروازه به موقع موفق نباشد – در همین جا نگران‌کننده است.

حتی در گزارشی در ماهنامه بریتانیایی پراسپکت، برخی منابع سطح بالا می‌گویند که خود آنتروپیک «یک سیستم نظارتی گسترده ایجاد می‌کند تا فعالانی را که مخالف توسعه سریع هوش مصنوعی هستند، بررسی کند» و «همچنین رویکرد «پیش از جنایت» را اجرا می‌کند، تلاش می‌کند تا حوادث را پیش از وقوع پیش‌بینی کند. «گزارش بی‌هدف» را به عنوان یک مستند فراموش کنید.

و در نهایت، کودتای بزرگ: سوت کوکسون.

اوایل این ماه (احتمالا در مورد این مورد شنیده اید) جاکوب کوکسون، محقق جوان Anthropic که قبلا برای OpenAI نیز کار می کرد، از سمت خود استعفا داد و با یک هشدار بزرگ: این فناوری با چنان سرعت غیرمسئولانه ای توسعه می یابد که به زودی یک جانور مستقل خطرناک خواهد شد و ما نمی توانیم کاری در مورد آن انجام دهیم.

او در پستی که حداقل 160 میلیون بار دیده شده است، نوشت: "سه سال گذشته را صرف انجام تحقیقات پیش‌آموزشی در OpenAI و Anthropic کردم. هیچ‌کدام از این شرکت‌ها مسئولانه عمل نمی‌کنند. آنها مستقیما در حال مسابقه دادن به سوپرهوش خودسازی و قمار با زندگی ما هستند." وی ادامه داد: قدرت این فناوری را دست کم نگیرید. اینها به زودی سیستم های مافوق بشری خواهند بود که می توانند هر چیزی را هک کنند، یک شبه هر زمینه ای را متحول کنند و قدرت و منابع واقعی را به دست آورند.

بنابراین آیا این وحشتی است که خود را بیش از حد و تحت تاثیر قرار می دهد؟ یا یک شات اخطار که به گذشته نگاه می کنیم و متعجب می شویم که چرا جدی تر از آن نگرفتیم؟ تکنولوژی مدرن مملو از هر دو نمونه است. برای هر Y2K یک اوپنهایمر وجود دارد.

البته لازم نیست بدانیم که باور کنیم باید سرعت خود را کم کنیم. اگر در جنگلی تاریک به سرعت در حال دویدن هستید و ناگهان چند صدا فریاد می‌زنند ممکن است شیرهای گرسنه ۱۰۰ یارد جلوتر باشند، عقل سلیم (و زیست‌شناسی تکاملی) ممکن است به شما بگوید که سرعت خود را کم کنید حتی اگر مطمئن نیستید دقیقا چه چیزی آنجاست.

و هر چقدر همه اینها ناشناخته باشد، به این معنی نیست که ما نباید برنامه ای بسازیم. یا واضح تر، من فکر نمی کنم که ما نباید اجازه دهیم ناشناخته بودن توسط شتاب گرایان به سلاح تبدیل شود. منطق را می‌دانید: «خب، هیچ راهی وجود ندارد که بدانیم آیا مشکلات را حل می‌کند یا ایجاد می‌کند، بنابراین ما نیز ممکن است تلاش کنیم، به خصوص که بسیاری از صندوق‌های بازنشستگی در آن و همچنین چین بسته شده‌اند.» (در واقع همان چیزی است که دونالد ترامپ گفته است.)

اما این یک سوال بزرگتر را ایجاد می کند: آن طرح چیست؟

در اینجا چیزی است که کامنتگذار محبوب فناوری رسانه های اجتماعی رومن کلاه گای درباره آن می گوید.

"شما نمی توانید ASI را با کنار گذاشتن شغل هوش مصنوعی خود متوقف کنید. کار نمی کند. شخص دیگری جایگزین شما خواهد شد. آنچه در واقع باید انجام دهید این است که یک آزمایشگاه هوش مصنوعی ایمن تر راه اندازی کنید. که کار نمی کند. شخص دیگری سریعتر حرکت می کند. بنابراین آنچه شما در واقع باید انجام دهید این است که قانونی را تصویب کنید. که کار نمی کند. کشور دیگری آن را ممنوع نمی کند. بنابراین آنچه که شما واقعا باید توافقنامه کاری را انجام دهید، امضا می کند. در واقع باید دنیا را فتح کنید که فقط در صورتی کار می کند که ASI داشته باشید.

خنده دار، و شاید نادرست؟ برای هر بازیگر مسئول، سه بازیگر غیرمسئول وجود دارد که بعدا چند نفر مسئول دیگر را به همراه خود متمایل می‌کند. اما در مواجهه با این تهدیدات، ما باید کاری انجام دهیم، درست است؟

بیایید گزینه ها را تجزیه کنیم. یکی مقررات خواهد بود. جاش هاولی، سناتور جمهوری‌خواه میسوری، از OpenAI می‌خواهد که درباره «Huging Face» توضیح دهد. به طور جامع تر، مترقیان کنگره (اگرچه ممکن است هنوز با پوپولیست های دست راستی مانند هاولی متحد شوند) "قانون ممنوعیت ابراطلاعات مصنوعی" را پیشنهاد می کنند. روز چهارشنبه، برنی سندرز و عضو کنگره دموکرات تگزاس، گرگ کزار، این قانون را معرفی کردند که بر اساس آن، تکنیکی به نام خودسازی بازگشتی که می‌تواند منجر به هوش فوق‌العاده شود، همراه با طراحی سلاح‌های هسته‌ای و زیستی و همچنین مدل‌هایی که فرار می‌کنند، ممنوع می‌کند.

e کنترل

مشکل اینجا واضح است: هیچ کس در شرکت های هوش مصنوعی قصد ندارد این مدل ها از کنترل فرار کنند. فقط اتفاق می افتد. این مانند ممنوعیت سیگار برای ایجاد سرطان ریه است، اما همچنان اجازه می دهیم شرکت های دخانیات بدون محدودیت فعالیت کنند. شما نمی توانید فقط جلوی عواقب را بگیرید. و این با فرض تصویب چنین لایحه ای است.

به هر حال، اینطور نیست که قانون هوش مصنوعی موثری وجود نداشته باشد. کتی هوچول، فرماندار نیویورک، به تازگی اعلام کرد که چگونه قانون RAISE جامد اگر محدود این ایالت اجرا شود. قانون RAISE که سال گذشته با حمایت الکس بورس، عضو مجمع نیویورک تصویب شد، توسعه دهندگان را ملزم می کند تا در مورد برنامه های ایمنی خود با جزئیات صحبت کنند و همچنین موظف است که موارد نقض ایمنی را ظرف 72 ساعت افشا کنند. هوچول در این هفته گفت: «دونالد ترامپ و جمهوری‌خواهان واشنگتن ممکن است با رشد غیرقابل پیش‌بینی هوش مصنوعی ثابت بمانند، اما نیویورک چنین نخواهد کرد».

من نمی خواهم چنین تلاش هایی را رد کنم. آنها مطابق با آخرین مراحل قانونی هستند. قانون هوش مصنوعی اروپا برخی از کارهای مشابه را انجام می دهد. (و با توجه به اینکه OpenAI چگونه اتفاقات استرالیا را فاش کرد - با ایمیلی به صندوق ورودی عمومی دولت - من می‌توانم بگویم که افشای حوزه‌ای است که قطعا می‌تواند از پیشرفت‌هایی استفاده کند.) اما این تلاش‌ها واقعا به چیزی که باعث ایجاد خطر می‌شود، یعنی سرعت سرسام‌آور آموزش و توسعه مدل، تأثیری نمی‌گذارد. در بهترین حالت، این قوانین با افزایش مجازات در صورت خارج شدن از ریل، آنها را اندکی باز می دارد. نه چیزی، اما من هم به سختی درباره چیزی بحث خواهم کرد.

همچنین، من از کنگره که حتی نمی توانند به ابزارها دسترسی داشته باشند، کاری انجام می دهند. این ما را به گزینه بعدی می‌رساند: خود تنظیمی/ترمز زدن در صدر صنعت. Dario Amodei از Anthropic و Sam Altman از OpenAI گفته اند که این کار را به صورت داخلی انجام خواهند داد. آمودی حتی به تازگی مقاله‌ای با عنوان «ما باید در مرز قدم بگذاریم» منتشر کرد و خاطرنشان کرد که «هوش مصنوعی با دقت به کار گرفته می‌شود، می‌تواند جدیدترین مورد در صف طولانی معجزات فناوری باشد که بشریت را ارتقا داده و شرافت بخشیده است» اما «ما باید سرعت بهبود قابلیت‌های مدل‌های هوش مصنوعی را کاهش دهیم».

آلتمن در پاسخ اظهارات خود را منتشر کرد. او گفت: "تعهد به داشتن ارزیاب های مستقل با دسترسی کارمندان مانند یک ایده عالی است و ما هم همین کار را خواهیم کرد. به زودی چیزهای بیشتری برای به اشتراک گذاشتن خواهیم داشت."

نیازی نداری که بهت بگم نفست رو حبس نکن. آلتمن همان شخصی است که زمانی با خوشحالی از شتاب گرایی خود می بالید، و در حالی که کفاره ممکن است، عرضه های اولیه سهام نیز ممکن است، و آنها تمایلی به همراهی با مرزها ندارند. (OpenAI یک برنامه ریزی دارد، اگرچه تا سال 2027 مشخص شده است؛ Anthropic برنامه ای دارد که در نوامبر عرضه می شود.)

حداقل آن دو در حال صحبت کردن هستند. مارک زاکربرگ، رئیس متا و جنسن هوانگ، هنچوی انویدیا، رویکرد متفاوتی را در پیش گرفته اند. وقتی با شات هشدار مطلق همه شات‌های هشدار روبرو می‌شوند - «خوشحال باشید که هواپیمای سقوط‌کرده را از دست دادیم، اما شاید زمان بررسی موتور باشد» - آنها با یک «آه» غول‌پیکر واکنش نشان داده‌اند. یک غول پیکر "ما همه چیز را تحت کنترل داشتیم." زیرا وقتی با مدیران فناوری در حال بی نظمی مواجه می شویم، چیزی که بیشتر به ما اطمینان می دهد تا اطمینان خاطر مدیران فناوری مبنی بر اینکه آنها در حال بی نظمی نیستند. بنابراین نظرات اخیر دو بارون.

ما قوانین زیادی داریم. ما مقررات زیادی داریم که بر قابلیت اطمینان و عملکرد محصولات نظارت می‌کنند.» (هوانگ) "آزمایشگاه ها انگیزه طبیعی قوی برای هماهنگ کردن مدل های خود دارند" زیرا... "مردم نمی خواهند از عواملی استفاده کنند که با آنها هماهنگ نیست." (زاکربرگ) فروشندگان مواد مخدر همچنین "انگیزه طبیعی قوی" دارند تا اطمینان حاصل کنند که هیچ کس در اثر مصرف بیش از حد نمی میرد، اما ما همچنان سعی می کنیم جلوی آنها را بگیریم. مدیران فنی در 30 سال گذشته گفته اند که همه چیز را تحت کنترل دارند و عمو سام فقط می تواند نگران چیز دیگری باشد، مانند عدم پرداخت مالیات.

مایکروسافت به‌طور غیرقانونی محصولات خود را بسته‌بندی نمی‌کرد، گوگل به‌طور کامل جست‌وجو را تقلب نمی‌کرد، متا/فیس‌بوک به‌طور کامل الگوریتم را بازی نمی‌کرد یا داده‌ها را برای اهداف انتخاباتی جمع‌آوری نمی‌کرد و TikTok در مورد مدیریت اطلاعات شخصی خود کاملا شفاف نیست. مدیران فناوری همیشه گفته‌اند: «فقط به ما اجازه دهید کار خود را انجام دهیم، و همه چیز خوب پیش خواهد رفت». و همیشه، همیشه همینطور است. 🙄

این ما را به گزینه سوم می رساند: پس زدن مصرف کننده. جمعی از آمریکایی‌های معمولی آنقدر نگران این موضوع هستند (و ما اولین کسی نیستیم که به این موضوع اشاره می‌کنیم که این هفته ممکن است از یک نقطه اوج عبور کرده باشیم و ایمنی هوش مصنوعی دیگر فقط نگرانی چند عضو هیئت مدیره OpenAI نیست که به راحتی شیطان‌سازی می‌شوند) که شاید آنها بتوانند کاری برای آن انجام دهند. این یک مسیر واقعی رو به جلو است، زیرا، به همان اندازه که بزرگان هوش مصنوعی نمی‌خواهند آن را بپذیرند، به ما نیاز دارند.

آنها ممکن است بتوانند از قراردادهای تحقیقاتی مقداری پول به دست آورند و مطمئنا می توانند از طریق نرم افزارهای سازمانی مقداری پول به دست آورند، اما برای توجیه سرمایه گذاری انبوه، نیاز به پذیرش انبوه دارند. و اینجاست که موج‌های چند هفته‌ی گذشته فقط اتلاف موقتی دیگری از انرژی عصبانی نیست. این ممکن است در واقع حرکتی باشد که تا اوج شنیده می شود: که منجر به نوعی تحریم و حذف اشتراک می شود که در واقع باعث می شود یک شرکت رفتار خود را تغییر دهد.

برای انجام این کار - برای تبدیل خشم به عمل - به چند عنصر نیاز دارید، که اولین مورد این است که به این نوع چیزها بچسبید، و دومی آن‌ها افرادی است که به اندازه کافی نگران این نگرانی‌های کلان هستند که درد کوتاه‌مدتی را متحمل شوند. مشترکین برای ChatGPT و Claude هزینه می پردازند زیرا این برنامه ها زندگی آنها را آسان تر می کند و آیا آنها تصمیم می گیرند که آنها را به نام اصل (یا تهدیدی به اندازه کافی انتزاعی که به نظر اصلی می رسد) سخت تر کنند. در اینجا تعداد زیادی سابقه وجود ندارد، اگرچه نمونه های پراکنده تحریم سرویس های استریم میزان موفقیت بالایی را نشان نمی دهد.

با این حال، "خشم ضد بیداری" با "رویداد انقراض" متفاوت است و من از تشبیه بیش از حد به چیزی به این مهم و رمزگذاری اساسی دریغ دارم. به نظر می رسد قلمرو ناشناخته هوش مصنوعی در دو جهت کار می کند – سیستم ها ممکن است قادر به انجام کاری باشند که انسان ها قبلا انجام نداده اند، اما در نتیجه ممکن است انسان ها برای مقابله با تغییرات انگیزه داشته باشند و قبلا نیز برای مقابله با آن انگیزه نداشته اند.

حتی لزوما نیازی به تلاش برای بایکوت توده ای هم نیست. این می تواند با رتبه و پرونده در داخل اتفاق بیفتد. چالشی در مقابل آنها قرار دارد که هرگز به این قاب‌بندی مشخص نشده است، و ننگی بر صنعت است که هرگز به این قوی‌تر نبوده است. همانطور که کاکسون می گوید: «اگر شما یک محقق آزمایشگاهی هستید، از شما می خواهم در نظر بگیرید که چند سال آینده واقعا چه حسی خواهد داشت.

آیا می‌خواهید یک اجرای RL فوق‌هوشمند را بدون درک دقیق ذهن آن آغاز کنید؟ آیا باید سر خود را پایین بیاندازید زیرا "به هر حال این اتفاق می افتد" - یا از این لحظه استفاده کنید تا شرایط متفاوتی را درخواست کنید؟

یکی از بزرگترین مشکلات کاهش سرعت، نحوه تعریف آن است. آیا ما در حال صحبت کردن هستیم - یعنی توقف تحقیقات برای یک دوره معین؟ آیا ما در مورد تاخیرهای انتشار صحبت می کنیم - یعنی شرکت ها می توانند هر آنچه را که می خواهند توسعه دهند، فقط باید منتظر انتشار آنها باشند؟ آیا ما در حال صحبت از معیارها هستیم - یعنی یک مدل حداقل در حال حاضر نمی تواند x-fold را بهبود بخشد؟

یا در حال صحبت از آزمایش‌ها و تأییدیه‌های اجباری دولت هستیم که تأثیری بر کاهش سرعت همه چیز خواهد داشت - یعنی نوعی کاهش سرعت عملی به جای اجباری؟

من خرده‌های کوچکی از ایده‌ها را از رهبران فکری مختلف شنیده‌ام، اما چند پیشنهاد ملموس که به یکی از موارد بالا می‌پردازد. حتی بزرگترین صداهای ضد هوش مصنوعی در این کشور، مانند سندرز، تمایل دارند کلیات صحبت کنند و فکر کنند. او بدون اینکه مشخص کند در کدام جاده یا چقدر سخت است، گفت: «وقتی به سمت یک صخره مسابقه می‌دهید، ترمز می‌گیرید. همانطور که سورش ونکاتاسوبرامانیان، استاد دانشگاه براون و کارمند سابق فناوری بایدن، خاطرنشان کرد: «این ایده که ما باید در مورد سیستم‌هایی که در آنجا عرضه می‌شوند متفکر و مراقب باشیم، ایده خوبی است – من فکر می‌کنم هیچ‌کس با آن مخالف نیست.

البته شیطان در جزئیات است.»

واقعیت این است که وقتی صحبت از کاهش سرعت پیشرفت هوش مصنوعی می‌شود، چه باید کرد، چه رسد به نحوه انجام آن، نامشخص است. اینکه کدام روش موثرترین و کدام روش در وهله اول بیشتر قابل اجرا خواهد بود، سؤالاتی هستند که به نظر می رسد هیچ کس عجله ای برای پاسخ به آنها ندارد.

اما احساس می‌کنم به زودی راه‌حل‌های خاص‌تری را مشاهده خواهیم کرد – نه فقط فراخوان‌هایی برای کاهش سرعت تحقیقات هوش مصنوعی یا مدیرانی که به کاپیتول هیل کشیده شده‌اند تا در مورد اینکه چرا اینقدر سریع پیش می‌روند، صحبت می‌کنند، بلکه پیشنهادهای واقعی برای مقابله با هوش مصنوعی. این لحظه وحشت ایمنی هوش مصنوعی ممکن است با رفتن به چرخه اخبار بعدی بگذرد. اما اهمیت این سوال در مغز ما نقش بسته است. و هنگامی که این اتفاق می افتد، معمولا پاسخ ها و اقدام ها دنبال می شود. امیدوارم برخی از آنها حتی کار کنند.