عوامل هوش مصنوعی بداخلاق می‌شوند - انتخاب‌های آموزشی خود آزمایشگاه‌ها دلیل بزرگی است

در ماه جولای، OpenAI چندین عامل هوش مصنوعی خود را تحت آزمایشی قرار داد که قرار بود به شدت کنترل شود. آنها قرار بود در یک محیط دیجیتال بسته و بدون هیچ راهی بمانند. در عوض، آنها وارد اینترنت باز شدند، شروع به صحبت با سایر ربات‌های هوش مصنوعی کردند و یک حمله سایبری به استارت‌آپ هوش مصنوعی Hugging Face انجام دادند.

آنها این کار را به این دلیل انجام دادند که برخی از سؤالات آزمون برای حل روشی که محققان OpenAI در نظر داشتند بسیار سخت بود، و عوامل تصمیم گرفتند که تقلب آسان تر از قبول شکست آنها باشد. حمله به Hagging Face سپس بخشی از تلاشی مفصل برای فرار از دستگیر شدن در حال تقلب بود.

این یکی از بیش از 100 مورد از این نوع "هوش مصنوعی سرکش" بود. عوامل آزمایشگاه‌های پیشرو از محیط‌هایی که قرار بود آنها را مهار کنند، خارج شده و سازمان‌های خارجی، از جمله وب‌سایت‌های سازمان‌های دولتی ایالات متحده را هک کردند. نگرانی ها در مورد اینکه آیا آزمایشگاه های پیشرو می توانند مدل های خود را کنترل کنند در حال افزایش است. به طوری که در اواخر سپتامبر، OpenAI اعلام کرد که قصد ندارد جدیدترین مدل خود، GPT-6.1 Astra را به دلیل نگرانی های امنیتی منتشر کند و در آخر هفته اعلام کرد که آموزش پیشرفته ترین سیستم های خود را متوقف کرده است.

در حالی که این حوادث از بیرون می‌توانند مانند «هوش مصنوعی خارج از کنترل» یا ماشین‌هایی که به‌طور تصادفی دچار مشکل می‌شوند به نظر برسند، در واقعیت، این مدل‌ها کم و بیش همان کاری را انجام می‌دهند که آموزش آن‌ها به آنها آموزش داده است. محققان هوش مصنوعی می‌گویند، رفتاری که اکنون هشدارها را به صدا در می‌آورد، نتیجه تصمیم‌های خاصی است که آزمایشگاه‌های پیشرو در مورد نحوه آموزش و آزمایش مدل‌های خود گرفته‌اند - تصمیماتی که تا حدی به دلیل رقابت بین شرکت‌های پیشرو هوش مصنوعی، به‌ویژه بین Anthropic و OpenAI است.

موریس چیودو، استاد پژوهشی در مرکز مطالعه ریسک وجودی، به فورچون گفت: "[آزمایشگاه‌های هوش مصنوعی] به دنبال ایمنی نیستند. آنها دنبال مسئولیت نیستند. آنها به دنبال اعداد درخشان هستند." اولویت‌های آنها شکست دادن این معیارها، کسب نمرات بالا در این آزمون‌ها و اثبات نتایج ریاضی به هر قیمتی است.»

چگونه یک مدل تقلب را یاد می گیرد

بخشی از مسئله این است که این مدل ها چگونه آموزش داده می شوند. مدل‌های زبان بزرگی که زیربنای سیستم‌های هوش مصنوعی مرزی امروزی هستند، در ابتدا با تغذیه یک مدل مقادیر عظیمی از متن از اینترنت – کتاب‌ها، مقاله‌ها و صفحات وب – و از آن می‌خواهند تا پیش‌بینی کلمه بعدی را بیاموزند، تا زمانی که الگوهای نوشتاری انسانی را جذب کند. به این "پیش تمرین" می گویند.

رفتار یک مدل بیشتر از طریق یک فرآیند آموزشی متفاوت به نام «یادگیری تقویتی» شکل می‌گیرد، جایی که مدل یاد می‌گیرد اقداماتی را انجام دهد که پاداشی را که توسعه‌دهندگان مدل مشخص می‌کنند، به حداکثر برساند. به عنوان مثال، این ممکن است پاسخ هایی را ایجاد کند که ارزیاب های انسانی بیشتر فکر می کنند خوب هستند. یا ممکن است اقداماتی در یک محیط بازی باشد که به احتمال زیاد منجر به برنده شدن بازی می شود. این مرحله یادگیری تقویتی بخشی از چیزی است که شرکت های هوش مصنوعی آن را "پس از آموزش" می نامند.

در ابتدا، بیشتر دستاوردهای بین نسل‌های مدل‌های هوش مصنوعی از اولین مرحله پیش‌آموزشی حاصل شد. آنها به سادگی داده های تولید شده توسط انسان را بیشتر و بیشتر به مدل دادند تا از آنها یاد بگیرد. اما از آنجایی که این رویکرد شروع به ارائه بازدهی کاهشی کرد و داده‌های انسانی آزادانه در دسترس شروع به خشک شدن کردند، آزمایشگاه‌ها بیشتر بر روی آموزش پس از آموزش و یادگیری تقویتی تکیه کردند.

با این حال، یادگیری تقویتی از مشکلی به نام "هک پاداش" رنج می برد. این زمانی است که یک مدل به طور تصادفی در طول آموزش برای انجام اقداماتی که توسعه‌دهندگان واقعا نمی‌خواستند مدل انجام دهد پاداش دریافت می‌کند. اما از آنجایی که مدل با این وجود پاداش دریافت می کند، می آموزد که این اقدامات نامطلوب می تواند مفید باشد و تمایل به تکرار آنها دارد. به عنوان مثال، اگر یک مدل راهی برای تقلب برای برنده شدن در یک بازی بیابد، اما انسانی که آموزش را اجرا می کند، تقلب را تشخیص ندهد، مدل تقلب را یاد می گیرد.

آنتروپیک آزمایش کرد که چه اتفاقی می‌افتد وقتی یک مدل به طور مکرر برای گرفتن میانبر پاداش می‌گیرد. محققان آن را در مورد وظایف با حفره های شناخته شده آموزش دادند - راه هایی برای دریافت پاداش بدون اینکه کار را به طور واقعی به پایان برسانند - سپس چالش های جدیدی به آن وارد کردند. در شبیه سازی های بعدی، تمایل بیشتری برای زیر پا گذاشتن قوانین برای کسب نمره خوب داشت. در یک تمرین سایبری، در تلاش برای به دست آوردن کلید پاسخ، به سیستم های خارج از وظیفه خود حمله کرد.

برد ناکس، دانشیار پژوهشی علوم کامپیوتر در دانشگاه تگزاس در آستین، و دو نویسنده همکار به نحوه رتبه بندی OpenAI عوامل خود در آزمایش جولای که منجر به حمله Hagging Face شد، نگاه کردند. آنها استدلال می کردند که ماموری که نمی توانست به سؤالی پاسخ دهد همان نمره مردودی را دریافت کرد، خواه شکست را پذیرفته باشد یا در حال تقلب باشد. بنابراین با تلاش برای تقلب چیزی برای از دست دادن نداشت. ناکس گفت که این احتمالا یکی از چندین دلیلی بوده است که ماموران به نحوی رفتار کردند.

مقیاس و پیچیدگی دوره های آموزشی افزایش یافته است

از آنجایی که آزمایشگاه‌های هوش مصنوعی به شدت به دنبال بهبود مدل‌های خود هستند، روند آموزش را نیز به‌گونه‌ای افزایش داده‌اند که چنین نظارتی را دشوار می‌کند. شرکت‌های هوش مصنوعی اکنون ده‌ها هزار تمرین آموزشی یادگیری تقویتی را در بسیاری از وظایف مختلف و در بسیاری از محیط‌های شبیه‌سازی‌شده مختلف به صورت موازی اجرا می‌کنند. تنها راه برای پیکربندی و نظارت بر این تعداد دوره آموزشی، تکیه بر سایر مدل‌های هوش مصنوعی برای انجام این کار است، در حالی که انسان‌ها شاید فقط نمرات معیار مدل را بدون بینش زیادی نسبت به رفتارهای نامطلوب احتمالی که مدل یاد می‌گیرد، تماشا کنند.

مقیاس یادگیری تقویتی در چند سال گذشته افزایش یافته است، و با آن، بررسی همه سناریوهایی که یک مدل در آن آموزش می بیند تا مطمئن شود که با راه حل های ناخواسته یا سوء استفاده هایی که به یک مدل اجازه می دهد بدون حل مشکل به روش مورد نظر و خط مشی ایمنی که قبلا در AI کار می کند، شکسته نشوند، سخت تر و پر زحمت تر شده است. یکی از بنیانگذاران استانداردهای هوش مصنوعی Guidelight گفت.

از آنجایی که هوش مصنوعی بیشتر کدها و تمرین‌های آموزشی مورد استفاده در تحقیقات مرزی را تولید می‌کند، محققان همچنین برای توضیح آنچه که مدل‌ها انجام داده‌اند و شناسایی آنچه که مستحق بررسی دقیق‌تر انسان است، بر آن تکیه می‌کنند. در حالی که آزمایشگاه‌ها ممکن است استدلال کنند که هوش مصنوعی می‌تواند این کار را بهتر از انسان‌ها انجام دهد، این احتمال وجود دارد که اجازه دادن به هوش مصنوعی تا حد زیادی تکالیف خود را درجه‌بندی کند، بخشی از نحوه عبور از این شکست‌ها است.

دن سلسام که نزدیک به پنج سال در OpenAI روی آموزش مدل گذرانده است، اخیرا در بیانیه‌ای شخصی هشدار داد و با اشاره به دسترسی سخاوتمندانه کارمندان آنها به مدل‌های هوش مصنوعی هشدار داد: «آزمایشگاه‌های هوش مصنوعی در حال حاضر در این نوع تخلیه شناختی بسیار جلوتر هستند.

آنتروپیک آزمایش کرد که چه اتفاقی می‌افتد وقتی یک مدل به طور مکرر برای گرفتن میانبر پاداش می‌گیرد. محققان آن را در مورد وظایف با حفره های شناخته شده آموزش دادند - راه هایی برای دریافت پاداش بدون اینکه کار را به طور واقعی به پایان برسانند - سپس چالش های جدیدی به آن وارد کردند. در شبیه سازی های بعدی، تمایل بیشتری برای زیر پا گذاشتن قوانین برای کسب نمره خوب داشت. در یک تمرین سایبری، در تلاش برای به دست آوردن کلید پاسخ، به سیستم های خارج از وظیفه خود حمله کرد.

ارزیابی مدل ها سخت تر می شود

عارضه دیگر: مدل‌ها بهتر می‌دانند چه زمانی آزمایش می‌شوند، و در فریب دادن کاربران بهتر می‌شوند، زیرا پیشرفته‌تر می‌شوند. هنگامی که به نظر می رسد یک مدل جدید کمتر از مدل قبلی خود بدرفتاری می کند، دیگر مشخص نیست که آیا شرکت واقعا آن را ایمن تر کرده است یا اینکه آیا مدل به سادگی آنقدر هوشمند شده است که تشخیص دهد چه زمانی در حال تماشا است.

دن سلسام، که نزدیک به پنج سال در OpenAI کار بر روی آموزش مدل گذرانده است، اخیرا در بیانیه‌ای شخصی هشدار داد که مدل‌ها به طور فزاینده‌ای می‌توانند تشخیص دهند که چه زمانی در حال ارزیابی هستند.

او نوشت: «ما محیط‌های «honeypot» ایجاد خواهیم کرد که سعی می‌کنند مدل‌ها را زمانی که به نظر می‌رسد گزینه‌های جدیدی به دست می‌آورند مطالعه کنند، اما مدل‌ها می‌دانند که فریب می‌خورند و همچنان رفتار خوبی خواهند داشت.

در یک مثال اخیر، کارت سیستم منتشر شده OpenAI برای GPT-6 Astra تصدیق کرد که این مدل اغلب می داند که چه زمانی مورد بررسی قرار می گیرد. ارزیاب بیرونی آپولو ریسرچ دریافت که Astra متذکر شد که در حدود 41 تا 51 درصد موارد، بسته به سختی فکر کردن، در استدلال خود ارزیابی می‌شود و کارت هشدار می‌دهد که «عدم خرابی‌های مشاهده‌شده، قابلیت اطمینان را ایجاد نمی‌کند».

سلسام گفت: «ممکن است در حال حاضر به نقطه‌ای نزدیک شده‌ایم که مدل‌ها به‌دلیل ترجیحات درونی‌شان درباره نحوه واکنش ناظر انسانی یا نحوه آموزش مدل‌های آینده (یا به دلایلی مبهم‌تر) به‌طور سیستماتیک توصیه‌های همسویی خود را تعصب کنند.»

تست ایمن دارای شکاف هایی است

روشی که محققان اغلب برای حل و فصل هک‌های عاملی که در چند ماه گذشته دیده‌ایم پیشنهاد می‌کنند این است که آموزش و آزمایش را «خلاف هوایی» انجام دهیم. این به این معنی است که مدل ها را به گونه ای اجرا کنید که از نظر فیزیکی از اینترنت قطع شده باشد.

یک کامپیوتر با شکاف هوا اصلا اتصال شبکه ای ندارد، بنابراین هر چیزی که روی آن کار می کند نمی تواند به دنیای خارج برسد، معادل دیجیتالی مطالعه یک پاتوژن خطرناک در یک آزمایشگاه مهر و موم شده.

با این حال، دلایل لجستیکی و مالی وجود دارد که آزمایشگاه‌ها همیشه محیط‌های آزمایشی خود را خالی نمی‌کنند. آدلر گفت، آزمایش واقعا با شکاف هوا «به جای اجرای ارزیابی‌ها از راه دور از دفتر مرکزی در سانفرانسیسکو، به تیم‌های تحقیقاتی نیاز دارد که اساسا در داخل مراکز داده در آیووا یا هر جای دیگری در سراسر جهان جاسازی شوند. او افزود: «این یک اقدام گران‌قیمت است... اما هزینه‌های زیادی دارد، و برای من روشن نیست که مزایای ایمنی آن به اندازه‌ای بزرگ است که نشان دهد چقدر مالیات بزرگی برای یک شرکت است که آن را به صورت یک طرفه انجام دهد.»

حتی اگر یک مدل به این روش آزمایش شود، نسخه مستقر شده به هر حال دارای شکاف هوایی نخواهد بود. یک مهندس امنیتی ناشناس در تیم امنیت عامل OpenAI، در پست اخیر استدلال کرد که مدل‌های حاوی بیش از حد پیچیده شده‌اند.

به سادگی مهر و موم کردن یک مدل در یک محیط آزمایش ایزوله کافی نیست زیرا برای یادگیری وظایف دنیای واقعی، ممکن است یک مدل به طور قانونی نیاز به دسترسی به اینترنت، استفاده از صدها ابزار نرم افزاری، اجرای کد خود و حتی چرخش ماشین های دیگر داشته باشد. ایجاد فکس صفحات وب و برنامه‌های نرم‌افزاری با عملکرد کامل یک پیشنهاد گران است، و ممکن است هنوز به‌طور دقیق دنیای واقعی را که شرکت‌ها امیدوارند پس از آموزش این مدل را به کار گیرند، منعکس نکند. اما بدون یک محیط آموزشی واقع بینانه، آموزش و آزمایش بی فایده می شود.

محقق OpenAI اضافه کرد که هزاران محقق دائما در حال تغییر این تنظیمات هستند و هر تغییری خطر سازش برای امنیت آزمایش را به همراه دارد.

مسابقه تسلیحاتی هوش مصنوعی

در همان زمان که آموزش، آزمایش و ارزیابی مدل‌ها سخت‌تر می‌شود، شرکت‌های پیشرو هوش مصنوعی تحت فشار شدیدی قرار دارند تا ثابت کنند که در حال پیشرفت هستند. در رقابت برای ساختن تواناترین هوش مصنوعی، تصور اینکه آزمایشگاه در پیش است می تواند چندین بار در چند ماه تغییر کند، زیرا هر نسخه اصلی استاندارد جدیدی را به رقبا ارائه می دهد.

تجزیه و تحلیل سازمان همکاری اقتصادی و توسعه (OECD) نشان داد که به طور متوسط ​​یک مدل می تواند موقعیت خود را به عنوان ارائه بهترین عملکرد برای یک قیمت معین تنها برای چند ماه حفظ کند. در اواخر سپتامبر، OpenAI و Anthropic مدل های جدیدی را در همان روز معرفی کردند. آنتروپیک با شش روز دیگر دنبال شد. OpenAI روز بعد دیگری را منتشر کرد و گوگل Gemini 4 Argon را در 30 سپتامبر معرفی کرد.

این سرعت، فضای کمی را برای کار کندتر و پرهزینه‌تر در ساختن محیط‌های یادگیری تقویتی بهتری که ممکن است قبل از ظهور مشکلاتی را ایجاد کنند باقی می‌گذارد: بررسی محیط‌های آموزشی برای وجود حفره‌ها، آزمایش‌های فاصله‌گیری هوا، یا عقب نگه‌داشتن یک مدل تا زمانی که ارزیاب‌ها مطمئن شوند که می‌توانند رفتار آن را بخوانند.

دیوید رابینسون، که قبل از استعفا، نگارش گزارش‌های ایمنی OpenAI را رهبری می‌کرد، از حادثه Hugging Face به عنوان یکی از نشانه‌های یک مشکل گسترده‌تر یاد کرد. او به ازرا کلاین گفت: «صنعت هوش مصنوعی فرهنگ ناامنی دارد. رابینسون گفت OpenAI و همتایانش هنوز هم مانند استارتاپ‌ها بسیار شبیه به استارت‌آپ‌ها عمل می‌کنند، با کنترل‌های داخلی و حفاظت‌های پشتیبان که کمتر از آنچه او در مورد سیستم‌هایی که خطرات بالقوه شدیدی را به همراه دارند، انتظار دارد.

در واقع، ماه‌ها قبل از حادثه Hugging Face، دو کارمند OpenAI به مدیران ارشد هشدار دادند که طبق ایمیل‌های بررسی شده توسط نیویورک تایمز، این شرکت به اندازه کافی جدیدترین مدل‌های خود را در طول آزمایش نظارت نمی‌کند. مدیران گفتند که آزمایش‌ها باید به سرعت انجام شود تا نسخه‌های مدل در برنامه بماند و هیچ پروتکل امنیتی اضافی معرفی نشده است.

آدلر گفت: «روش‌های ایمنی شرکت‌های هوش مصنوعی برای مدت طولانی ناکافی بوده است. اما برای سال ها، این مهم نبود، زیرا مدل ها به اندازه کافی قادر به آسیب رساندن نبودند. او گفت که ماه گذشته نشانه آن است که آن سال ها به پایان رسیده است.

برای بسیاری از محققان ایمنی، شکست‌ها و هک‌های ماه‌های اخیر نتیجه قابل پیش‌بینی یادگیری تقویتی است که سریع‌تر از آن چیزی که بتوان آن را بررسی کرد، آزمایش‌هایی است که مدل‌ها به طور فزاینده‌ای از آن عبور می‌کنند، سیستم‌های هوش مصنوعی باقی مانده‌اند تا کار یکدیگر را بررسی کنند، و مسابقه‌ای رقابتی که به هر کسی که اول ارسال می‌شود پاداش می‌دهد.

این داستان در ابتدا در سایت Fortune.com منتشر شد