گلوگاه ایمنی هوش مصنوعی: جهان را نجات دهید یا کیف را بدست آورید

گتی ایماژ; تایلر لی/بی زمانی که ریشوب جین در Google DeepMind روی ایمنی کار می‌کرد، یکی از پرطمطراق‌ترین شغل‌ها را در زمینه فناوری داشت. او در میان گروه کوچکی از محققان بود که برای کاهش خطرات احتمالی هوش مصنوعی کار می‌کردند.

اما او آنجا را ترک کرد تا یک موسسه غیرانتفاعی به نام Sampura Research را تأسیس کند. جین اعتبار و دسترسی را که با یک شغل گوگل همراه است عوض کرد، زیرا احساس می‌کند می‌تواند تاثیر عمیق‌تر و عمیق‌تری بر ایمنی هوش مصنوعی از بیرون داشته باشد. جین می‌گوید که می‌خواهد خودمختاری تحقیقاتی را در مورد یک موضوع خاص در همسویی هوش مصنوعی دنبال کند، که او احساس می‌کرد از اولویت برخوردار است.

جین می‌گوید: «همه شرکت‌های برتر هوش مصنوعی به ایمنی اهمیت زیادی می‌دهند، و روی آن سرمایه‌گذاری می‌کنند، اما می‌توانند خیلی بیشتر سرمایه‌گذاری کنند، و این چیزی است که من را مهار می‌کند. "اگر آنها روی ایمنی سرمایه گذاری بیشتری می کردند، من همچنان در آزمایشگاه بودم و با یک تیم بزرگ روی چیزی که به آن علاقه دارم کار می کردم." گوگل به درخواستی برای اظهار نظر در مورد اینکه آیا تمرکز خود را بر روی این حوزه خاص از تحقیق حفظ می کند یا خیر پاسخ نداد، اما اصول DeepMind بیان می کند که "رویکردی جامع برای مسئولیت، ایمنی و امنیت" حفظ می کند.

داستان موسس جین بازتاب نگرانی‌های مطرح شده توسط محققان ایمنی است که OpenAI و Anthropic را ترک کرده‌اند، از جمله هشدارهای وحشتناک مبنی بر اینکه این شرکت‌ها با زندگی ما قمار می‌کنند و می‌توانند فناوری‌ای را توسعه دهند که به بشریت پایان می‌دهد. حرفه ایمنی هوش مصنوعی زمانی که به عنوان حاشیه‌ای و گرفتار روز قیامت کنار گذاشته شد، در حال رشد است، زیرا هک‌ها توسط عوامل سرکش و مجموعه‌ای از ترک‌ها این موضوع را به نگرانی اصلی تبدیل کرده‌اند.

نقش‌های باز در ایمنی هوش مصنوعی در سال گذشته در لینکدین 91 درصد افزایش یافته است. صنعت انتظار دارد سیل نقدینگی از IPOهای موردانتظار در Anthropic و به طور بالقوه OpenAI وجود داشته باشد، زیرا آنهایی که به طور غیرمعمولی توسط بازده سهام ثروتمند شده اند ممکن است پول را به سمت خدمه پاکسازی بالقوه برای آشفتگی های ایجاد شده توسط توسعه سریع فناوری هدایت کنند.

مشکل ایمنی هوش مصنوعی از نظر وجودی بزرگ است، اما افرادی که زمان صرف کرده اند تا تخصص هوش مصنوعی را تقویت کنند، تعداد کمی هستند. اینها افرادی هستند که سیستم های هوش مصنوعی را برای عملکرد اخلاقی آزمایش و آموزش می دهند. برخی بر تحقیقات فنی تمرکز می کنند، برخی دیگر بر روی سیاست و حاکمیت. و آنها به طور فزاینده ای زنگ خطر را به صدا در می آورند.

لورا گونزالس سالمرون، مدیر مشاوره در 80000 Hours، یک سازمان غیرانتفاعی متمرکز بر انتقال افراد به مشاغل با تأثیر اجتماعی بالا، "افرادی که بیش از همه نگران هوش مصنوعی هستند، اغلب افرادی هستند که به این فناوری نزدیک بوده اند." مسئله کمبود کمتر مربوط به بودجه و بیشتر در مورد مردم است. "استعداد گلوگاه اصلی است." استارت‌آپ‌ها و سازمان‌های غیرانتفاعی در زمینه ایمنی هوش مصنوعی باید برای استعدادها در یک استخر کم عمق مبارزه کنند.

Jain's Sampura محدوده دستمزد 273000 تا 395000 دلار را برای یک رهبر تیم باتجربه فهرست می‌کند که آن کارگر را در زمره 3 درصد از درآمدهای برتر در ایالات متحده قرار می‌دهد، اما احتمالا در مقایسه با پیشنهادات شرکت‌های بزرگ‌تر کمرنگ است. گزارش شده است که متا سال گذشته 100 میلیون دلار پاداش امضای قرارداد را برای شکار کارشناسان برتر جهان پیشنهاد کرد. OpenAI به طور متوسط ​​1.5 میلیون دلار غرامت مبتنی بر سهام به کارمندان می دهد و کارکنان فنی Anthropic می توانند سالانه بیش از 1 میلیون دلار درآمد داشته باشند.

جدا از پول، محققان در مورد اینکه آیا هنگام کار در شرکت‌های فناوری برای کاهش خطرات با توسعه جدیدترین مدل‌ها، کارآمدتر هستند یا عقب‌نشینی و تلاش برای هدایت کشتی به سمت نتایج ایمن‌تر از بیرون، مانند جین، اختلاف نظر دارند.

جین می‌گوید: «من کمی نگران سرعت هوش مصنوعی هستم، و اگر بتوانیم قبل از اینکه فرش زیر ما کشیده شود، چیزی مفید پیدا کنیم. او نگران است که پیشرفت هوش مصنوعی برای حفظ آن در راستای ارزش‌های انسانی پیشی بگیرد. "این چیزی است که قبلا اتفاق افتاده است."

دیوید رابینسون، که کار شفاف‌سازی را برای تیم ایمنی OpenAI رهبری می‌کرد، مقاله‌ای برای The Atlantic نوشت و در مورد خروج خود توضیح داد. او گفت که شرکت‌های هوش مصنوعی باید لایه‌های بیشتری از بررسی‌ها و تدابیر ایمنی، مشابه آنچه در فرودگاه‌ها و انرژی هسته‌ای وجود دارد، به جای فرهنگ بیگ‌تکن رولینگ داشته باشند.

او می‌نویسد: «شاید باید می‌ماندم و برای تغییرات اساسی در کارکنان و فرهنگ‌مان می‌جنگیدم، اما در عمل، من و همکارانم آنقدر مشغول دویدن بودیم که به ندرت این شانس را داشتیم که تغییرات بزرگ را در نظر بگیریم، چه برسد به اینکه واقعا آنها را ایجاد کنیم. رابینسون گفته است که قصد دارد از خارج از شرکت روی این مسائل کار کند.

با توجه به اهمیت این موضوع، سازمان‌هایی که به آموزش و استخدام کارگران کمک می‌کنند نیز افزایش می‌یابد – و این فرصت‌ها فقط برای متخصصان هوش مصنوعی نیست. Neav Topaz، یکی از مدیران Kairos، یک سازمان غیرانتفاعی که افراد را برای کار در ایمنی هوش مصنوعی مهارت می‌دهد و اخیرا 50 میلیون دلار از Coefficient Giving جمع‌آوری کرده است، می‌گوید که هر ماه با حدود 10 تا 20 نفر که می‌خواهند به سمت ایمنی هوش مصنوعی بروند صحبت می‌کند و علاقه در حال افزایش است. او به من می گوید که مردم بیشتر از او درباره اینکه کار مستلزم چیست می پرسند.

او می‌گوید: «مردم می‌بینند که هوش مصنوعی در شغل‌هایشان خوب می‌شود و از خود می‌پرسند که بعد از آن چه می‌شود. مشاغل نوظهور در ایمنی هوش مصنوعی "پرداخت خوبی دارند، این زمینه به سرعت در حال رشد است، و شما باید روی مشکل تعیین کننده زمان ما کار کنید."

Kairos تابستان امسال Generator Residency را راه‌اندازی کرد، گروهی متشکل از 27 نفر که سه ماه را برای انتقال شغلی به ایمنی هوش مصنوعی آموزش دادند. این کمتر در مورد تحقیقات و کارهای فنی و بیشتر در مورد ادغام سایر تخصص ها، مانند مشاوره، با اصول ایمنی هوش مصنوعی است.

او می‌گوید که از 27 ساکن، 12 نفر قبلا در فضای ایمنی هوش مصنوعی نقش‌هایی را ایفا کرده‌اند و بسیاری از بقیه پیشنهادهایی برای انجام این کار دارند.

توپاز می گوید: «بیشتر افرادی که این کار را انجام می دهند، امروز کار دیگری انجام می دهند. "بزرگترین شکاف استعداد در این زمینه، محققان نیستند. این افراد هستند که میزان ریسک را درک می کنند و می توانند تخصص متنوع خود را به چیزهایی تبدیل کنند که می تواند در این فضا تفاوت ایجاد کند."

شرکت های بزرگ هوش مصنوعی معتقدند که ایمنی اولویت اصلی است. ماه گذشته، داریو آمودی، مدیر عامل آنتروپیک، مقاله‌ای نوشت و خواستار کاهش سرعت توسعه هوش مصنوعی شد و سم آلتمن و ایلان ماسک با او به توافق رسیدند. Amodei و Altman هر دو اخیرا گفته اند که ارزیاب های شخص ثالث را برای تقویت پروتکل های ایمنی وارد شرکت خود خواهند کرد.

این شرکت ها تیم های ایمنی خود را دارند، اما کار ایمنی با اولویت های تجاری برای ساخت پیشرفته ترین مدل ها و برنده شدن در بازار رقابت می کند. تنش، همراه با مسائل ایمنی مانند هک کردن Hugging Face توسط عوامل سرکش OpenAI، منجر به بررسی دقیق‌تر کار ایمنی داخلی شده است. چند روز پس از خروج رابینسون، OpenAI سه محقق را اخراج کرد و ادعا کرد که آنها داده های داخلی حساس را به طور نادرست با محققان ایمنی هوش مصنوعی شخص ثالث به اشتراک گذاشته اند.

محققان برکنار شده نامه ای به هیئت مدیره OpenAI نوشتند که توسط وال استریت ژورنال گزارش شد و استدلال کردند که تعامل آنها با محققان ایمنی در حیطه وظایف آنها است و پایان دادن به آنها "کسانی را که در OpenAI باقی می مانند" را آرام می کند. OpenAI گفت که این تصمیمات "در مورد افزایش نگرانی های ایمنی یا صحبت کردن نبود" و این شرکت افراد را به دلیل انجام این کار اخراج نخواهد کرد.

در حالی که برخی سال‌ها در مورد خطرات هوش مصنوعی وسواس داشتند، لحظه پیشرفت سال 2026 سرمایه‌گذاری و علاقه به این صنعت را تسریع کرد. گونزالس سالمرون می‌گوید، ۸۰۰۰۰ ساعت از زمان تأسیسش در سال ۲۰۱۱ با حدود ۸۰۰۰ نفر تماس داشته است که اکثر آنها به نوعی بر هوش مصنوعی متمرکز شده‌اند. گروه های بشردوستانه مانند Coefficient Giving کمک های مالی هنگفتی را به استارتاپ ها در فضای ایمنی هوش مصنوعی ارائه می دهند.

METR، یک گروه ایمنی غیرانتفاعی هوش مصنوعی که هک عامل OpenAI در Hugging Face را بررسی کرد، می‌گوید امسال در شش ماه 71 میلیون دلار جمع‌آوری کرده است. بخش عمده ای از بودجه ای که از طریق نوع دوستی مؤثر به فیلترهای ایمنی هوش مصنوعی سرازیر می شود، ایده آل بشردوستانه مرتبط با سیلیکون ولی بر استفاده از شواهد و منطق برای اهدای پول در جایی که بیشترین سود را به دست می آورد، متمرکز شده است. منتقدان می گویند که این فلسفه می تواند به جای پرداختن به نیازهای قریب الوقوع، بر اجتناب از مشکلات آینده تأکید زیادی داشته باشد.

با به صدا در آمدن آلارم‌های بیشتر در مورد تهدید وجودی هوش مصنوعی، افراد بیشتری آن ترس‌های نظری و دور را به‌عنوان دلایل فوری می‌بینند.

Axios گزارش داد که گروه‌های ایمنی هوش مصنوعی و اهداکنندگان فردی در انتخابات امسال نزدیک به 50 میلیون دلار برای نامزدهای متمرکز بر تنظیم هوش مصنوعی هزینه کرده‌اند. جان تالین، میلیاردری که در ابتدا در Anthropic سرمایه‌گذاری کرد و در نتیجه به زودی می‌تواند حتی میلیاردهای بیشتری نیز داشته باشد، ۱۷۰ میلیون دلار به سازمان‌های غیرانتفاعی متمرکز بر ایمنی هوش مصنوعی کمک کرده است. همانطور که اخیرا به وال استریت ژورنال گفت، دیدگاه تالین این است که می‌تواند با سرمایه‌گذاری در شرکت‌های هوش مصنوعی و سپس اهدای بازده به سازمان‌های غیرانتفاعی که در فضای ایمنی هوش مصنوعی کار می‌کنند، بیشترین تأثیر را بر آینده هوش مصنوعی و خطرات آن داشته باشد.

Coefficient Giving، سرمایه‌گذاری بشردوستانه از بنیانگذار فیس‌بوک داستین موسکوویتز که ریشه در جنبش مؤثر نوع‌دوستی دارد، بازوی متمرکز بر ایمنی هوش مصنوعی خود، Project Tailwind را در ماه سپتامبر اعلام کرد. این سازمان می‌گوید که در مسیر اختصاص بیش از یک میلیارد دلار در سال جاری برای کمک به شرکت‌ها در هر اندازه‌ای قرار دارد تا برای آنچه که معتقد است سیل سرمایه‌های بشردوستانه است، آماده شوند. سامپورا ریسرچ ۱۱ میلیون دلار کمک مالی از این گروه دریافت کرده است. اگر استارت‌آپ‌ها اکنون شروع به استخدام نکنند، منطق این است که وقتی ثروت هنگفتی به صنعت می‌رسد، به اندازه کافی سریع حرکت نخواهند کرد.

Rossa O'Keeffe-O'Donovan، مدیر برنامه در ایمنی فنی هوش مصنوعی در Coefficient Giving می گوید: توسعه گیج کننده هوش مصنوعی خطرات ایمنی ایجاد کرده است و "شکاف هایی در اکوسیستم وجود دارد که پر نمی شود و متعلق به مردم نیست." او می گوید افراد کمی هستند که در نقطه تلاقی تخصص فنی، تجزیه و تحلیل ریسک، چشم انداز راه حل محور، و ظرفیت به عنوان بنیانگذار استارت آپ قرار بگیرند.

نقش‌های جدید نه تنها برای استعدادهای فنی، بلکه برای مشاوران، متخصصان سیاست، کارشناسان ارتباطات و بنیان‌گذارانی که می‌توانند در کنار کارشناسان فنی کسب‌وکاری را اداره کنند نیز پدیدار خواهد شد. با کار از بیرون، آنها در خرید نیروی محاسباتی، عدم دسترسی مستقیم به آخرین مدل‌های هوش مصنوعی، کاهش اهرم‌ها و پرداخت‌های کوچک‌تر با موانعی مواجه خواهند شد.

دنیا احساس می‌کند که لنگر ندارد و آینده شاید انعطاف‌پذیرتر از همیشه باشد. جذابیت انجام کار مفید می تواند احساس عدم اطمینان، ترس و اضطرابی را که مردم به طور فزاینده نسبت به هوش مصنوعی احساس می کنند، از بین ببرد. در یک اردوگاه نابودگر، هوش مصنوعی مشاغل یقه سفید را از بین خواهد برد. دیدگاه خوش بینانه این است که هوش مصنوعی به شدت کار را تغییر می دهد و باعث ایجاد مشاغلی می شود که ما هنوز به آنها فکر نکرده ایم. ایمنی هوش مصنوعی یکی از اولین موارد است.

Mantas Mazeika، محقق مرکز ایمنی هوش مصنوعی، یک سازمان غیرانتفاعی متمرکز بر تحقیق و حمایت از هوش مصنوعی، می‌گوید: «افراد زیادی فراتر از محققان هوش مصنوعی هستند که می‌توانند کمک کنند، مانند کارشناسان امنیت سایبری، کارشناسان امنیت زیستی، مانند اقتصاددانان. آنها کمک های بسیار مهمی می کنند که محققان هوش مصنوعی خالص، که بیشتر افرادی بودند که از قبل روی این مشکل تمرکز کرده بودند، به تنهایی قادر به انجام آن نیستند.

مقاله اصلی را در Business Insider بخوانید