کارمند ایمنی OpenAI با ادعای شکسته شدن فرهنگ شرکت استعفا داد

آخرین روز برای نمایش پیشرفت خود به بیش از 10000 رهبر فناوری در Disrupt در 2 اکتبر است. میز نمایشگاه کتاب هم اکنون.

دیوید رابینسون به اعتراف خودش "چیزی کلیشه ای" است: کارمندی در یک شرکت پیشرو در هوش مصنوعی که هنگام استعفا دادن از شغل خود هشداری جدی صادر می کند.

رابینسون در مقاله‌ای که در The Atlantic منتشر شد، گفت که او نوشتن گزارش‌های ایمنی را که همراه با راه‌اندازی محصولات اصلی OpenAI بود، رهبری می‌کرد. او همچنین گفت که با سه سال و نیم در OpenAI، "در میان طولانی ترین کارمندان شرکت است." اکنون او در حال استعفا است، زیرا از نظر او «فرهنگ شرکت شکسته شده است».

از برخی جهات، نظرات رابینسون منعکس کننده نظرات Jacob Coxon است که قبل از ترک کار به عنوان محقق در OpenAI و Anthropic کار می کرد و اعلام کرد که این شرکت ها با زندگی ما قمار می کنند. اظهارات کاکسون منجر به بحث گسترده تری در مورد ایمنی هوش مصنوعی شد و داریو آمودی، مدیر عامل آنتروپیک، از طرحی برای توسعه هوش مصنوعی محتاطانه تر رونمایی کرد. مدیران هوش مصنوعی این هفته با رئیس جمهور دونالد ترامپ ملاقات کردند و آنچه را که به نظر می رسید عجولانه نوشته شده بود و تعهدی غیر الزام آور برای اجرای کنترل های ایمنی بیشتر امضا کردند.

اما از نظر رابینسون، بحث باید فراتر از «قوانین خاص یا قوانین جدید» باشد و به فرهنگ کلی در این شرکت‌ها بپردازد. و در حالی که بسیاری از گزارش‌های پیرامون OpenAI بر این موضوع متمرکز شده‌اند که چگونه سام آلتمن، مدیر عامل شرکت، اعتماد همکاران سابق خود را از دست داده است، مقاله رابینسون نشان می‌دهد که مسائل فرهنگی OpenAI همانند مسائل مربوط به دره سیلیکون است.

او نوشت: "OpenAI با آزمون و خطا (که آن را "استقرار تکراری" می نامد) پیشرفت کرده است، به دنبال مشکلات و بهبود نرده های محافظ خود در پاسخ است." "اما این رویکرد، به دلیل ماهیت خود، شکست های دوره ای را تضمین می کند - و مقیاس این شکست ها با افزایش توانایی سیستم ها در حال افزایش است."

رابینسون با اشاره به نقض اخیر سیستم‌های Hugging Face توسط ماموران OpenAI، و همچنین افشای مداوم OpenAI در کشف عوامل سرکش بیشتر، استدلال کرد: «محیطی که در آن چنین اتفاقاتی رخ دهد جایی برای رشد ذهن‌های مصنوعی نیست که می‌توانند باهوش‌تر از ما باشند و ممکن است آنچه را که ما می‌خواهیم انجام ندهند.»

با توجه به افزایش خطر، رابینسون استدلال کرد که شرکت‌های مرزی هوش مصنوعی باید «مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ، با لایه‌هایی از افزونگی و برنامه‌ریزی دقیق و زمان‌بر» شروع به فعالیت کنند تا خطای انسانی گاه به گاه و اجتناب‌ناپذیر دری را به روی فاجعه باز نکند.

اما رابینسون گفت که در زمان خود در OpenAI، "هیچ همکارش را تجربه نکرده بود که هواپیماها را ایمن پرواز کند یا راکتورهای هسته ای بدون ذوب شدن کار کنند، یا به رشد سیستم مالی بدون فروپاشی کمک کند."

در پاسخ به مقاله رابینسون، سخنگوی OpenAI درو پوساتری گفت که این شرکت به بهبود اقدامات ایمنی خود ادامه می دهد.

پوساتری در بیانیه‌ای گفت: «ما مطمئن می‌شویم که مدل‌های ما بیش از آن چیزی که می‌توانیم به طور ایمن مدیریت و ایمن کنیم، توانمند نباشند، و در صورت نیاز به کاهش سرعت، آموزش را متوقف می‌کنیم یا مدل‌ها را متوقف می‌کنیم». ما در حال ایجاد تغییرات قابل توجهی برای تقویت امنیت در محیط‌های تحقیقاتی و آزمایشی خود هستیم، مدل‌ها را آموزش می‌دهیم تا نه تنها وظایف را تکمیل کنند، بلکه آن را مسئولانه انجام دهند، کار خود را با ارزیاب‌های شخص ثالث گسترش دهیم، و نظارت لحظه‌ای را بهبود ببخشیم تا بتوانیم رفتارهای مربوطه را زودتر در فرآیند آموزش تشخیص دهیم و به آن پاسخ دهیم.»

رابینسون علاوه بر درخواست برای تغییر در فرهنگ OpenAI، همچنین گفت که زمان آن رسیده است که سؤالات بزرگ‌تری در مورد همسویی بپرسیم - چیزی که او اذعان داشت که می‌تواند «لمس‌کننده» به نظر برسد، اما او گفت که «اندازه‌گیری‌های کنونی شرکت‌ها در مورد اینکه سیستم‌های هوش مصنوعی چقدر با ارزش‌های انسانی مطابقت دارند، بسیار مهم است».

او گفت: «هرچه صنعت هوشمندتر اجازه دهد مدل‌ها رشد کنند در حالی که این مشکلات حل نشده باقی می‌مانند، وضعیت ما خطرناک‌تر می‌شود.

خروج رابینسون اولین بار توسط Business Insider گزارش شد. او همچنین در مقاله خود اذعان کرد که از یک گام ظاهرا رایج در کتاب راهنمای افشاگران هوش مصنوعی پیروی می کند: او یک شرکت روابط عمومی را استخدام کرده است. اما او اصرار داشت: «تصمیم صحبت کردن تنها با من است.»

رابینسون گفت: "شاید باید می ماندم و برای تغییرات اساسی در کارکنان و فرهنگمان می جنگیدم، اما در عمل، من و همکارانم آنقدر مشغول دویدن بودیم که به ندرت این شانس را داشتیم که تغییرات بزرگ را در نظر بگیریم، خیلی بیشتر از آن، واقعا آنها را ایجاد کنیم." به همین دلیل است که به این نتیجه رسیدم که انگیزه‌های قوی‌تر برای ایمنی - که از خارج از شرکت می‌آیند - بخش بزرگی از درست کردن این موضوع است.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

آنتونی ها ویرایشگر آخر هفته TechCrunch است. او پیش از این به عنوان گزارشگر فناوری در Adweek، سردبیر ارشد در VentureBeat، گزارشگر دولت محلی در Hollister Free Lance و معاون محتوا در یک شرکت VC کار می کرد. او در شهر نیویورک زندگی می کند.

می‌توانید از طریق ایمیل anthony.ha@techcrunch.com با آنتونی تماس بگیرید یا آن را تأیید کنید.

گوگل فکر می کند استارشیپ اسپیس ایکس باید 1800 بار قبل از اینکه مراکز داده فضایی از زمین خارج شوند تیم فرنهولز

اولین نیروگاه زمین گرمایی پیشرفته جهان تنها در 23 ماه تکمیل شد تیم دی چانت

گوگل Gemini 4 Argon را منتشر کرد که قدرتمندترین مدل خود را Lucas Ropek می نامند

پنتاگون از ایلان ماسک و پالمر لاکی استفاده می کند تا به تصمیم گیری در مورد اینکه ارتش بعدی دومینیک مادوری دیویس چه کاری باید انجام دهد کمک کند.

OpenAI Dots را راه‌اندازی می‌کند، نماد عامل حباب‌انگیز خود Lucas Ropek