من OpenAI را ترک کردم زیرا فرهنگ آن خراب است

آنچه می خواهم به شما بگویم، متوجه شدم که تبدیل به یک کلیشه شده است: من این هفته از OpenAI استعفا دادم. من نوشتن گزارش‌های ایمنی را که با هر پرتاب بزرگ منتشر می‌کردیم رهبری می‌کردم. اکنون من به رژه همکاران سابق - در OpenAI و دیگر رهبران صنعت - می‌پیوندم که تصمیم گرفته‌اند مسیر فعلی غیرقابل قبول است.

من با سایر کارکنان اخیرا جدا شده موافقم که شرکت های سازنده این فناوری تقریبا به اندازه کافی مراقب نیستند. اما من معتقدم که ما باید عمیق تر از قوانین خاص یا قوانین جدید نگاه کنیم. ما باید در مورد فرهنگ صحبت کنیم.

آینده به خردی بستگی دارد که سیلیکون ولی فاقد آن است. خرد در مورد نحوه برخورد با فناوری خطرناک و اساسا خرد در مورد معنای مراقبت از مردم. این لحظه به درجه ای از فروتنی نیاز دارد که برای افرادی که با اعتماد به نفس شدید خود موفق شده اند، طبیعی نیست. همکاران سابق من در OpenAI پیشگو بودند: آنها قوانین مقیاس بندی را که به این معنی است که سیستم های هوش مصنوعی بزرگتر هوشمندتر می شوند را درک کردند - و بنابراین آنها تمام تلاش خود را برای ساختن سیستم های بزرگتر با هزینه گزاف انجام دادند.

نگرش قابل انجام برای دستیابی به چیزهای به ظاهر غیرممکن - همراه با جدول زمانی کاری که به سرعت دائمی می رسد - در سراسر صنعت رایج است.

رویکرد ایمنی که از چنین فرهنگی ناشی می شود با خوش بینی بلامانع در مورد توانایی حل مشکلات به محض ایجاد آنها شروع می شود. OpenAI با آزمون و خطا (که آن را "استقرار تکرار شونده" می نامد) پیشرفت کرده است، به دنبال مشکلات و بهبود نرده های محافظ خود در پاسخ است. اما این رویکرد، به دلیل ماهیت خود، شکست های دوره ای را تضمین می کند - و مقیاس آن شکست ها با افزایش توانایی سیستم ها در حال افزایش است. تابستان امسال، در حادثه Hugging Face، OpenAI به اشتباه انبوهی از ماموران را رها کرد. این شرکت با ایجاد بهبودهای امنیتی پاسخ داد.

اما حتی پس از آن تغییرات، OpenAI گزارش داد که کنترل‌های ایمنی آن دوباره شکست خورد، زمانی که یک مدل در حال آموزش محدودیت‌های دسترسی به اینترنت را دور زد: یک سیستم نظارتی به کارکنان انسانی هشدار داد اما به طور خودکار مدل را همانطور که قرار بود خاموش نکرد. Anthropic نیز تصدیق کرده است که به طور تصادفی پادمان های خود را به دلیل پیکربندی نادرست خاموش کرده است. من معتقدم با توجه به سرعت و انعطافی که مردم با آن کار می کنند، چنین اشتباهاتی در صنعت معمول است.

محیطی که چنین اتفاقاتی می تواند رخ دهد جایی برای رشد ذهن های مصنوعی نیست که می توانند باهوش تر از ما باشند و ممکن است آنچه را که ما می خواهیم انجام ندهند. پل کریستیانو، چند هفته پیش، هنگام پیوستن به هیئت مدیره OpenAI، نوشت که "یک خطر معنی دار وجود دارد که شتاب سریع در قابلیت های هوش مصنوعی منجر به از دست دادن کنترل فاجعه بار و غیرقابل برگشت در کوتاه مدت شود." اگر این وضعیت است، پس زمان آزمون و خطا به پایان رسیده است. چیزی بسیار نزدیکتر به کمال در بار اول ضروری است زیرا تکرار بعد از یک اشتباه ممکن نیست.

اگر بعد از این واقعیت به قهرمانی های فردی وابسته باشیم، مردم در امان نخواهند بود.

البته OpenAI روی اقدامات ایمنی خود می ایستد و معتقد است که به اندازه کافی مراقب است. من تصمیمم را برای ترک شرکت ساده نگرفتم. من معتقدم این فناوری می تواند مفید و ارزشمند باشد. همکاران سابق من باهوش هستند، سخت کار می کنند و سعی می کنند انتخاب های خوبی داشته باشند. اما از آنجایی که شرکت از یک راه‌اندازی به راه‌اندازی دیگر سرعت می‌گیرد، در رسیدن به سطح مراقبتی که من معتقدم لازم است، شکست می‌خورد. اکنون، من قصد دارم در خارج از کشور کار کنم، به این امید که بتوانم به افراد بیشتری کمک کنم تا خطراتی را که دیدم درک کنند، و انگیزه‌هایی را که OpenAI و سایر شرکت‌ها باید ایمن‌تر باشند، تقویت کنم.

مانند سایر همکاران، من دقیقا به معنای آن هستم. بعد از اینکه کار را ترک کردم، از یک شرکت روابط عمومی به نام Spitfire Strategies استفاده کردم تا به من کمک کند تا توجه و بررسی دقیقی را که متوجه شدم اکنون دریافت کنم، جلب کنم. اما تصمیم برای صحبت کردن تنها با من است.

دو تغییر فوری لازم است. اول: شرکت‌های هوش مصنوعی باید بیشتر به تخصص ایمنی که در زمینه‌های دیگر وجود دارد، تکیه کنند. و ثانیا، قبل از ایجاد سیستم‌هایی که بسیار توانمندتر از سیستم‌های امروزی هستند، به علم جدیدی نیاز داریم تا اطمینان حاصل کنیم که مدل‌های توانمندتر (و جانشینان آنها) زمانی که ما به دنبال آن نیستیم، انتخاب‌های مطمئن‌تری خواهند داشت.

با توجه به خطرات امروزی، آزمایشگاه‌های مرزی باید مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ، با لایه‌هایی از افزونگی و برنامه‌ریزی دقیق و زمان‌بر کار کنند تا خطای انسانی گاه و بی‌گاه و اجتناب‌ناپذیر دری را به روی فاجعه باز نکند. در حال حاضر شرکت‌های هوش مصنوعی نمی‌دانند چگونه - اما دیگران می‌دانند. در یک نیروگاه هسته‌ای، سیستم‌های فنی و قوانینی که مردم از آن پیروی می‌کنند تنظیم شده‌اند تا اگر تجهیزات خراب شد یا کسی دکمه اشتباه را فشار داد، باز هم خطر سقوط را نخواهیم داشت.

OpenAI و آزمایشگاه‌های دیگر در حال رشد و به کارگیری هوش مصنوعی مرزی با افزونگی و دقت بسیار کمتر از این هستند، حتی اگر آسیب‌های ناشی از از دست دادن غیرقابل برگشت کنترل بسیار بیشتر از هر فروپاشی منفردی باشد. حتی در صورت از دست دادن کامل کنترل، می‌توانیم گروه‌های مستقلی از عوامل هوش مصنوعی را ببینیم که بدون اجازه انسان عمل می‌کنند. عوامل «سرکش» را تصور کنید که مانند تیم‌های هکرها کار می‌کنند (مثلا سیستم‌های کامپیوتری بیمارستان را برای باج نگه می‌دارند) اما هرگز نیازی به خواب ندارند.

پس از سه سال و نیم در OpenAI، من در میان طولانی ترین کارمندان شرکت بودم. من پیش نویس چارچوب آمادگی فعلی را رهبری کردم و بر نوشتن گزارش های ایمنی در 12 پرتاب مرزی نظارت داشتم. اما تا آنجایی که من می دانم، هرگز با همکارانی روبرو نشدم که تجربه ایمن پرواز هواپیماها یا کارکرد راکتورهای هسته ای بدون ذوب شدن، یا کمک به رشد سیستم مالی بدون فروپاشی را داشته باشد. برای روشن بودن، این یک نیاز جدید است: سیستم‌های هوش مصنوعی امروز و فردا بسیار توانمندتر و خطرناک‌تر از سیستم‌هایی هستند که حتی شش ماه پیش می‌سازیم.

شاید باید می ماندم و برای تغییرات اساسی در کادر و فرهنگمان می جنگیدم، اما در عمل، من و همکارانم آنقدر مشغول دویدن بودیم که به ندرت این شانس را داشتیم که تغییرات بزرگ را در نظر بگیریم، چه رسد به اینکه واقعا آنها را ایجاد کنیم. به همین دلیل است که به این نتیجه رسیدم که انگیزه‌های قوی‌تر برای ایمنی - که از خارج از شرکت می‌آیند - بخش بزرگی از درست کردن این موضوع است.

در دراز مدت، اگرچه کنترل های قوی لازم است، اما کافی نخواهند بود. قبل از اینکه هوش مصنوعی شروع به فکر کردن به دور ما کند - احتمالی که به نظر من می تواند به زودی رخ دهد - باید به یک سوال عمیق تر پاسخ دهیم: ماشین های فوق هوشمند چگونه باید با مردم ارتباط داشته باشند؟ اگر به علاقه مندان به ابر هوش گوش می دهید، برخی از آینده های ظاهرا خوب شامل ایجاد ماشین هایی است که می توانند به شهر نیویورک یا شیکاگو نگاه کنند، همانطور که شما یا من ممکن است به تپه مورچه نگاه کنیم. من این را برای بچه‌هایم نمی‌خواهم، و فکر نمی‌کنم دیگران هم چنین کنند.

این سوال "همسویی" - یا اینکه چگونه می توان هوش مصنوعی را برای پایبندی به ارزش های انسانی آموزش داد - ممکن است حساس به نظر برسد، اما خطرات عملی نمی تواند بالاتر باشد. در حال حاضر، ما تعریف کاملی از اینکه یک سیستم هوش مصنوعی در عمل به چه معناست، نداریم و معیارهای ما در مورد اینکه چقدر این سیستم ها چقدر با ارزش های انسانی مطابقت دارند، درشت هستند. شرکت‌ها هیچ چیزی نزدیک به اطمینان ندارند که نمرات خوب در آزمون‌های هم ترازی آنها واقعا به معنای یک مدل خوب است: مدل‌ها ممکن است تشخیص دهند که چه زمانی آزمایش می‌شوند و زمانی که به کار می‌روند رفتار متفاوتی از خود نشان می‌دهند.

هرچه صنعت هوشمندتر اجازه دهد مدل‌ها رشد کنند و این مشکلات حل نشده باقی بمانند، وضعیت ما خطرناک‌تر می‌شود.

تاکنون، صنعت هوش مصنوعی نتوانسته است به ماشین‌ها بیاموزد که به روشی که یک فرد عاقل و دلسوز انجام می‌دهد، عمل کنند. بخشی از این مشکل علمی است - در مورد نحوه کار ماشین ها - اما بخشی دیگر مربوط به انسان است، در مورد اینکه مردم چگونه از یکدیگر مراقبت می کنند. قبل از اینکه سازمان‌های سازنده هوش مصنوعی بتوانند به یک ابرهوش‌مند بیاموزند که با بشریت خوب رفتار کند، باید به یاد داشته باشند که چگونه این کار را خودشان انجام دهند.