سه نفر از کارگران اخراج شده توسط OpenAI: نامه هشدار آنها را به طور کامل بخوانید

سه محقق ایمنی که هفته گذشته توسط OpenAI اخراج شده بودند، نامه ای سرگشاده منتشر کردند که در آن حساب شرکت در مورد اخراج آنها به چالش کشیده شد. آنها هشدار دادند که این قسمت می تواند کارمندان را از صحبت آشکار در مورد خطرات هوش مصنوعی منصرف کند.

Tomek Korbak، Jasmine Wang و Mikita Balesni نامه را به کمیته ایمنی و امنیت OpenAI، گروه مشاوره ایمنی و شورای مشاوره ماموریت ارسال کردند.

این سه نفر نوشتند که نگران این هستند که ارتباطات پیرامون اخراج آنها باعث شده است که همکاران سابق "از صحبت کردن بترسند". آنها افزودند که محققان ایمنی باید بتوانند تصمیمات را به چالش بکشند و با کارشناسان خارجی کار کنند. Korbak، Wang و Balesni گفتند: "هوش مصنوعی یک فناوری معمولی نیست و OpenAI یک شرکت عادی نیست."

OpenAI این پیشنهاد را رد کرده است که اخراج آنها با صحبت در مورد ایمنی مرتبط است. این شرکت گفت که یک "تحقیق کامل" نشان داد که این سه نفر سیاست های حاکم بر اطلاعات حساس را نقض کرده اند.

Newsweek برای نظرات بیشتر با OpenAI، Korbak، Wang و Balesni تماس گرفته است و منتظر پاسخ های بیشتر است.

این نامه با عنوان "OpenAI به تنهایی نمی تواند هوش مصنوعی را ایمن کند" توسط این سه کارمند سابق به صورت عمومی منتشر شد. با هشداری در مورد تأثیر اخراج آنها بر سایر کارمندان باز می شود. کارمندان سابق نوشتند: «ما نگران این هستیم که ارتباطات داخلی و خارجی پیرامون اخراج ما باعث شده است که همکاران سابق ما از صحبت کردن و کار کردن به شیوه‌هایی که تا هفته گذشته بخشی جدایی‌ناپذیر از کار در OpenAI بود بترسند».

محققان استدلال می‌کنند که OpenAI از لحاظ تاریخی کارکنان را تشویق می‌کند تا «نگرانی‌های ایمنی را مطرح کنند و آشکارا با هم مخالفت کنند»، اما می‌گویند کارکنان اکنون «درمورد جایگاه خود نامشخص هستند».

این سه نفر افزودند: "با توجه به نگرانی های ایمنی قابل توجهی که در مورد توسعه هوش مصنوعی وجود دارد، کارمندان نباید در محیطی کار کنند که ترس و قوانین نامشخص کار ایمنی هوش مصنوعی را مختل می کند و مسئولیت پذیری شخص ثالث را تضعیف می کند."

کورباک، وانگ و بالسنی از این نامه برای مخالفت با ادعاهای مربوط به آنچه منجر به فسخ آنها شد، استفاده کردند. آنها مسئولیت افشای کار بر روی معماری های هوش مصنوعی را که ممکن است نظارت بر استدلال داخلی مدل ها را دشوارتر کند، رد کردند. آنها نوشتند: «ما منبع نشت نبودیم.

آنها همچنین ارتباط نادرست با سازمان‌های خارجی را رد کردند و گفتند که باور نمی‌کردند با احزاب خارجی فراتر از آنچه شغلشان نیاز دارد، درگیر شده باشند.

کورباک به طور جداگانه گفت که به طور شفاهی به او گفته شد که به دلیل نحوه ارتباطش با مدل ارزیابی و تحقیقات تهدید یا METR، یک سازمان مستقل که سیستم‌های هوش مصنوعی پیشرفته را ارزیابی می‌کند، اخراج شده است.

کورباک در X نوشت: "هیچ جزئیاتی در مورد آنچه که گفتم یا انجام دادم یا چه زمانی انجام دادم." وی افزود: برای شفافیت، صحبت با METR کار من بود.

کورباک گفت که او ماه ها را صرف ابراز نگرانی در مورد آنچه او به عنوان کاهش توانایی برای نظارت بر نحوه استدلال عوامل هوش مصنوعی توصیف می کند، صرف کرده است. او گفت: «فکر می‌کنم به همین دلیل اخراج شدم.

این نامه سرگشاده همچنین درباره کار کورباک پس از یک حادثه مربوط به عوامل OpenAI و سیستم های خارجی بحث می کند. محققان این حادثه و تحقیقات بعدی را "بدون سابقه" توصیف کردند و گفتند که "سیاست های داخلی در زمان واقعی در حال توسعه است."

آن‌ها استدلال می‌کنند که کورباک معتقد بود با برقراری ارتباط با ارزیاب‌های ایمنی خارجی، مطابق با هنجارهای موجود OpenAI عمل می‌کند.

Balesni در به چالش کشیدن توضیح OpenAI در مورد اخراج‌ها فراتر رفته است. او در X نوشت: "من معتقدم که ما به دلیل اولویت دادن به ایمنی بر منافع کوتاه مدت OpenAI به عنوان یک شرکت اخراج شدیم."

بالسنی گفت که در طول تماس خروجش به او گفته شد که OpenAI دیگر به او اعتماد ندارد زیرا او بیش از حد با سازمان‌های ایمنی شخص ثالث صحبت می‌کرده است که به گفته او به طور ضمنی نشان می‌دهد که مالکیت معنوی شرکت را افشا کرده است. او نوشت: «من هرگز IP شرکت را به اشتراک نمی‌گذارم.

او گفت که کار او با خط گزارشگری، رهبری تحقیقات و هیئت مدیره هماهنگ شده است. در این نامه سرگشاده آمده است که Balesni روی مشکل حفظ «قابلیت نظارت» هوش مصنوعی کار می‌کرد، یعنی توانایی محققان برای درک یا بازرسی سیستم‌های پیشرفته‌تر که چگونه تصمیم‌گیری می‌کنند. این سه نفر نوشتند که این کار "تنها از طریق ارتباط گسترده با طرف های خارجی می تواند موفق شود."

آنها گفتند بالسنی به طور مرتب با مدیرانش چک می کرد و قبل از به اشتراک گذاشتن تحقیقات خارجی، مطالب حساس را حذف می کرد. آنها نوشتند: «در تمام طول مدت، میکیتا با خط گزارش خود چک می کرد و مراقب بود که جزئیات حساس را از مطالب قبل از به اشتراک گذاشتن آنها حذف کند. او با حسن نیت و مطابق با هنجارهای شرکت در آن زمان عمل کرد.»

وانگ همچنین علنا توضیح OpenAI را رد کرده است. او گفت که یک دلیل برای اخراجش به او داده شد: اینکه به ایمیل یکی از مدیران اجرایی دسترسی داشته است. او در X نوشت: "OpenAI این دسترسی را برای استخدام به من واگذار کرد."

وانگ گفت که به این درخواست عملی نشده و او نمی تواند خودش حساب کاربری را حذف کند. او نوشت: "وقتی یک ایمیل حساس را به اشتباه باز کردم، ظرف چند دقیقه به مدیر اجرایی گفتم و دوباره از IT سوال کردم." "هیچ یک از اینها پنهان نبود."

وانگ ادعا کرد که توضیحات ارائه شده برای اخراج ها "به سادگی جمع نمی شوند." او از OpenAI خواست تا لیست کتبی از اتهامات را در اختیار کارمندان سابق قرار دهد تا بتوانند پاسخ دهند.

او نوشت: "من از دریافت لیست کتبی و کاملی از اتهامات استقبال می کنم تا بتوانیم به درستی به شایستگی آنها رسیدگی کنیم، در جایی که باید مالکیت آنها را در دست بگیریم، و OpenAI هر اشتباهی که آنها مرتکب شده اند را در اختیار بگیرد."

کارمندان سابق چندین توصیه برای OpenAI و سایر شرکت های هوش مصنوعی مرزی ارائه کردند. آنها خواستار ادامه ارزیابی‌های ایمنی مستقل شدند و نسبت به تضعیف روابط با سازمان‌های خارجی که قادر به بررسی دقیق سیستم‌های قدرتمندتر هستند، هشدار دادند.

آنها همچنین از شرکت های هوش مصنوعی خواستند تا از توانایی نظارت بر استدلال داخلی مدل های پیشرفته محافظت کنند. آنها نوشتند: «به‌عنوان یک صنعت، ما هنوز نمی‌دانیم چگونه مدل‌هایی را که نمی‌توانیم نظارت کنیم، به طور ایمن توسعه دهیم و به کار ببریم.

محققان همچنین می‌خواهند OpenAI آنچه را که به عنوان یک فرهنگ باز توصیف می‌کنند حفظ کند که در آن کارکنان ایمنی می‌توانند با کارشناسان مستقل ارتباط برقرار کنند.

بالسنی به طور جداگانه ابراز نگرانی کرده است که ممکن است از اخراج ها برای محدود کردن رابطه OpenAI با METR استفاده شود. او نوشت: "من نگرانم که OpenAI از اخراج ما به عنوان بهانه ای برای قطع رابطه با @METR_evals استفاده کند."

OpenAI در 9 اکتبر یک بیانیه عمومی طولانی منتشر کرد و از تصمیم خود برای اخراج این سه محقق دفاع کرد و در عین حال مستقیما به چندین نکته مطرح شده در نامه آنها پاسخ داد.

این شرکت گفت: «هفته گذشته ما راه خود را با Jasmine، Mikita و Tomek پس از بررسی کامل که مشخص شد آنها سیاست‌های روشنی را در مورد مدیریت اطلاعات حساس نقض کرده‌اند، جدا کردیم.

OpenAI گفت که تحقیقاتش "نقض قابل توجهی از اعتماد فراتر از آنچه در نامه منتشر شده است" کشف کرده است و گفت که بر تصمیم خود مبنی بر ادامه ندادن به کار خود پایبند است.

این شرکت به طور عمومی جزئیات رفتار خاصی را که می‌گوید به آن نقض می‌شود، اعلام نکرد و گفت که مسائل شغلی فردی معمولا خصوصی نگه داشته می‌شوند.

با این حال، OpenAI به شدت پیشنهاد محققان را مبنی بر اینکه حمایت از ایمنی آنها در اخراج آنها نقش داشته است، رد کرد.

این شرکت می‌گوید: «ما می‌خواهیم خیلی واضح بگوییم که این تصمیم‌ها برای مطرح کردن نگرانی‌های ایمنی یا صحبت کردن نبودند. وی افزود: "مناظره‌های ایمنی و تحقیقاتی هر روز در OpenAI اتفاق می‌افتد، اغلب با روحیه و بسیار انتقادی. ما فعالانه این بحث‌ها را تشویق می‌کنیم و آنها را برای تصمیم‌گیری درست ضروری می‌دانیم."

OpenAI گفت اعتماد برای آن فرهنگ ضروری است، در حالی که افزود که زمانی که کارکنان اشتباهات حسن نیت مرتکب شوند، "بسیار بخشنده" خواهد بود. در بیانیه آمده است: «ما هیچ یک از کارمندان خود را به دلیل ایجاد نگرانی اخراج نکرده و نمی کنیم.

این شرکت همچنین مستقیما به نگرانی های سه گانه در مورد نظارت مستقل بر ایمنی پاسخ داد. OpenAI گفت که "به طور فعال در حال نهایی کردن قراردادها با ارزیاب های ایمنی شخص ثالث" است و انتظار می رود جزئیات بیشتری را در هفته های آینده اعلام کند.

در این بیانیه آمده است: «ما متعهد به تعبیه ارزیاب‌های خارجی هستیم و همچنان به همکاری نزدیک با سازمان‌های ایمنی مستقل به عنوان بخش اصلی کار ایمنی خود ادامه می‌دهیم.

این شرکت گفت بسیاری از محققان OpenAI در حال حاضر به طور سازنده با سازمان های ایمنی شخص ثالث کار می کنند. OpenAI همچنین گفت که با یکی از دلایل اصلی در نامه محققان موافق است: حفظ توانایی نظارت بر سیستم‌های هوش مصنوعی مرزی نیازمند همکاری در سراسر صنعت است.

این شرکت گفت: "ما با این نامه موافقیم که حفظ قابلیت نظارت مدل های مرزی مستلزم تعهدی در سطح صنعت از جمله OpenAI است."

این سازمان به تحقیقات موجود خود در مورد قابلیت نظارت اشاره کرد و گفت که این موضوع بخش مهمی از برنامه ایمنی آن باقی مانده است. OpenAI بیانیه خود را با تأیید کار قبلی محققان بسته است.

این شرکت گفت: «ما عمیقا از این نتیجه ناراحت هستیم. ما از کمک های جاسمین، میکیتا و تومک به ایمنی هوش مصنوعی در OpenAI و تمایل آنها برای صحبت و به چالش کشیدن ایده ها قدردانی کردیم." ادامه داد: ما از صدای آنها دفاع کردیم، از کار آنها حمایت کردیم و به آنها اعتماد زیادی کردیم.

اما شرکت مجددا این پیشنهاد را رد کرد که تمایل آنها به طرح نگرانی منجر به اخراج آنها شده است. OpenAI گفت: "این تصمیمات مربوط به آنها نبود که نگرانی های ایمنی را ایجاد کند." ما همیشه این را تشویق کرده‌ایم و همیشه خواهیم کرد.»

بنابراین، دو طرف در مورد چندین اصل گسترده‌تر مورد بحث، از جمله ارزیابی ایمنی مستقل و حفظ قابلیت نظارت مدل، توافق دارند، در حالی که به شدت در مورد آنچه در رویدادهایی که منجر به اخراج محققان شد، اختلاف نظر دارند.

OpenAI می‌گوید نقض جدی خط‌مشی‌ها و اعتماد آن صورت گرفته است، در حالی که Korbak، Wang و Balesni استدلال می‌کنند که مرزهای مربوط به کار ایمنی خارجی نامشخص است و این خطر باعث می‌شود که سایر محققان تمایلی به صحبت آشکار نداشته باشند.

این اختلاف نظر مشکل دشواری را برای شرکت‌هایی که هوش مصنوعی مرزی را توسعه می‌دهند برجسته می‌کند. این شرکت‌ها اطلاعات حساس تجاری و فنی را در اختیار دارند و علاقه آشکاری به کنترل نحوه دسترسی و اشتراک‌گذاری آن‌ها دارند.

در عین حال، به طور فزاینده‌ای از سازمان‌های مستقل خواسته می‌شود تا مدل‌های قدرتمند هوش مصنوعی را برای قابلیت‌های خطرناک و رفتار غیرمنتظره آزمایش کنند.

این امر می تواند مستلزم همکاری نزدیک با محققان در داخل شرکت هایی باشد که این سیستم ها را توسعه می دهند. Korbak، Wang و Balesni استدلال می‌کنند که اگر کارکنان ایمنی نگران باشند که ارتباط با ارزیاب‌های بیرونی ممکن است به قیمت کارشان تمام شود، این روابط کمتر مؤثر می‌شوند.

نامه آنها با یک هشدار گسترده تر در مورد نقش محققانی که نزدیک به سیستم های هوش مصنوعی قدرتمندتر کار می کنند به پایان می رسد." آنها نوشتند که محققان داخل OpenAI خط مقدم دفاع در برابر اشتباهات هستند.

متن کامل نامه را می توانید در اینجا بخوانید: https://mikitabalesni.com/letter/letter.pdf

خبرنگاران و سردبیران نیوزویک از مارتین، دستیار هوش مصنوعی ما، برای تهیه این داستان استفاده کردند. در اینجا درباره مارتین بیشتر بدانید.

در مورد این داستان با سردبیران نیوزویک تماس بگیرید: ربکا فلود و جیمز دبنز