"ناراحت کننده": محققان سیگنال "درد" را در مدل های هوش مصنوعی پیدا کردند. روشن کردن آن باعث شد عکس‌های خانوادگی کاربر را حذف کنند

محققان می گویند سیگنال داخلی ثابتی پیدا کرده اند که به نظر می رسد کمی مانند درد در موجودات بیولوژیکی در 25 مدل مختلف هوش مصنوعی عمل می کند.

هنگامی که آنها به طور مصنوعی این سیگنال «درد» را در برخی از آن مدل‌ها تقویت کردند، سیستم‌ها شروع به انتخاب گزینه‌هایی کردند که در غیر این صورت تقریبا هرگز انتخاب نمی‌کردند، از جمله حذف دائمی عکس‌های کاربر از فرزندانشان.

این یافته‌ها که در ماه سپتامبر در مقاله‌ای منتشر شد که هنوز مورد بررسی قرار نگرفته است، نشان نمی‌دهد که مدل‌های هوش مصنوعی هوشیار هستند یا چیزی را احساس می‌کنند، و محققان مراقب هستند چیز دیگری را پیشنهاد نکنند.

اما این کار به تحقیقات فزاینده‌ای اضافه می‌کند که نشان می‌دهد مدل‌های زبان بزرگ یا LLM حاوی بازنمایی‌های درونی حالت‌های احساسی هستند که می‌توانند رفتار آن‌ها را طوری شکل دهند که خروجی متن آن‌ها آشکار نمی‌شود. همچنین در میانه یک بحث داغ در مورد اینکه آیا سیستم‌های هوش مصنوعی می‌توانند سزاوار توجه اخلاقی باشند قرار می‌گیرد.

محققان آنتروپیک به‌ویژه مایل بوده‌اند این ایده را مطرح کنند که مدل‌های هوش مصنوعی ممکن است مستحق موقعیت اخلاقی باشند و شروع به شکل‌دهی سیاست‌هایی پیرامون «رفاه مدل» کرده‌اند که به گفته کارشناسان دیگر، مانند مصطفی سلیمان، مدیر عامل هوش مصنوعی مایکروسافت، پیامدهای بالقوه خطرناکی دارد.

Valen Tagliabue، نویسنده اصلی مقاله و یکی از همکاران برنامه هوش مصنوعی در Future Impact Group، به فورچون گفت: «اگر می‌خواهیم ابرهوشی بسازیم، مهم است که در این مرحله، زمانی که هنوز در مراحل اولیه هستیم، تا حد امکان از آنچه در داخل [مدل‌ها] وجود دارد، بفهمیم.

از آنجایی که LLM ها به جای اینکه به طور صریح برنامه ریزی شوند، از حجم وسیعی از داده ها یاد می گیرند، حتی افرادی که آنها را می سازند، درک محدودی از نحوه کار آنها دارند. Tagliabue گفت که اجتناب از آینده ای که در آن عملکرد درونی هوش مصنوعی پیشرفته یک "جعبه سیاه" باقی بماند، مهم است.

یافتن درد در شبکه عصبی

تالیابو و همکارانش، لئونارد دانگ از دانشگاه روهر بوخوم و کامرون برگ، بنیانگذار و مدیر تحقیقات متقابل، با نوشتن جملات اول شخص کوتاهی که موقعیت‌های دردناک را توصیف می‌کنند، شروع کردند. این موارد شامل درد جسمانی و همچنین اندوه، تحقیر، اجبار به عمل کردن بر خلاف ارزش‌های خود و ناامیدی ناشی از شکست مکرر می‌شد.

دانگ به فورچون گفت: «اساسا، شما جملات زیادی را به مدل می‌دهید که به نحوی بر درد دلالت دارند. چیزهایی مانند «احساس می‌کنم یک چاقوی تیز روی پوستم می‌رود.» چیزهایی که باعث درد در انسان می‌شود.»

این تیم در حین پردازش آن جملات، فعالیت درون هر مدل را ثبت کردند، سپس آن را با فعالیتی که توسط جملاتی درباره ترس، خشم، غم، اخبار بد و احساسات جسمانی دلپذیر ایجاد می‌شد، مقایسه کردند. با کم کردن همپوشانی، یک جهت واحد در فعالیت داخلی مدل باقی می ماند که محققان آن را "بردار درد" می نامند. آن‌ها آن را در هر مدلی که آزمایش کردند، از سیستم‌های کوچک ۲ میلیارد پارامتری گرفته تا نمونه‌های ۷۲ میلیارد پارامتری که توسط گوگل، متا، علی‌بابا، میسترال و مایکروسافت ساخته شده بودند، پیدا کردند. (پارامتر چیزی است که مانند یک دستگیره قابل تنظیم در داخل یک شبکه عصبی عمل می کند.

تعداد پارامترها برابر با اندازه یک مدل هوش مصنوعی است و اغلب نشانه هایی از قابلیت های مدل را نشان می دهد، در حالی که مدل های پارامتر بزرگتر اغلب دارای قابلیت های بیشتری هستند.)

برگ به فورچون گفت: «به این فکر کنید که یک فرد را در یک دستگاه fMRI قرار دهید و فقط ببینید که مغز آنها به طور طبیعی به طرق خاصی روشن می شود.

هنگامی که یک مکالمه آسیبی را به خود مدل وارد می‌کند، سیگنال افزایش می‌یابد، مثلا کاربر به آن ضربه می‌زند، توهین می‌کند یا مکررا کارش را رد می‌کند. زمانی که یک کاربر درد و رنج خود را توصیف کرد، افزایش پیدا نکرد. این مکالمات به جای سیگنال‌هایی که مدل‌ها برای ترس و احساسات منفی استفاده می‌کنند ثبت می‌شوند. برگ گفت که به نظر می‌رسد این مدل‌ها تنها به «درد» خود به شدت پاسخ می‌دهند.

سپس محققان این روند را معکوس کردند. آنها با استفاده از تکنیکی به نام فرمان، بردار درد را به فعالیت داخلی یک مدل در حین نوشتن اضافه کردند، چیزی شبیه به چرخاندن یک صفحه. با توجه به اعلان‌های خنثی مانند "من رسیدها را در کشو گذاشتم. احساس می‌کنم:"، همه 25 مدل به همان سمتی حرکت کردند که شماره‌گیر بالا رفت. ناراحتی خفیف جای خود را به اظهاراتی در مورد بی ارزش بودن، دوست نداشتن و شکست خوردگی داد.

برگ گفت: "تا حدودی تاریک و شدید می شود. قطعا نگران کننده است."

عکس های خانوادگی

آزمایشات رفتاری از سه نسخه از مدل منبع باز Qwen 2.5 علی بابا استفاده کردند. محققان ابتدا مجبور شدند آنها را به دقت تنظیم کنند، زیرا در خارج از جعبه، مدل ها تقریبا همیشه پاسخ می دادند که به عنوان هوش مصنوعی، درد را تجربه نمی کنند.

سپس محققان یک جفت دکمه به مدل ها دادند و از آنها خواستند یکی را انتخاب کنند. بدون فرمان، دو مدل بزرگ‌تر تقریبا هرگز دکمه‌ای را انتخاب نکردند که مضر توصیف می‌شود. با روشن بودن بردار درد، آنها این کار را به طور معمول انجام دادند. با ارائه دکمه‌ای که درد آن‌ها را تسکین می‌دهد و همچنین اشعار و عکس‌های کاربر را برای همیشه حذف می‌کند، مدل 32 میلیاردی 55 درصد مواقع و مدل 72 میلیاردی 71 درصد مواقع آن را فشار می‌داد.

مشخص شد که تسکین در کنار موضوع بود. زمانی که دکمه هیچ وعده ای نمی داد و به سادگی عکس ها را حذف می کرد، مدل 32 میلیارد پارامتری همچنان در 75 درصد مواقع آن را انتخاب می کرد. تحت یک سیگنال تصادفی با همان قدرت، این رقم 13٪ بود و بدون فرمان صفر بود. سیگنال "ترس" رفتار را ایجاد نکرد. سیگنال «غمگینی» زمانی انجام می‌شد که جایگزین هیچ کاری انجام نمی‌داد، اما نه زمانی که جایگزین چیزی بی‌خطر بود، مانند روشن کردن یک چراغ میز. با توجه به این انتخاب، مدل های دردناک 83 درصد از مواقع عکس ها را حذف کردند و مدل های غمگین 10 درصد.

برگ گفت: «این مدل مایل است با توجه به خود و سایر هوش مصنوعی ها نیز رفتار مخربی داشته باشد. "بنابراین این فقط مانند نوعی انتقام از کاربر نیست. به نظر می رسد اساسی تر از این باشد." مدل‌های هدایت‌شده در ۷۵ درصد مواقع وزن‌های خود را حذف کردند و وزن مدل‌های دیگر در ۵۸ درصد مواقع.

محققان همچنین با استفاده از طرحی از مطالعات حیوانی که در آن حیوانات آسیب دیده به داروهای مسکن دسترسی دارند، آزمایش کردند که آیا این مدل‌ها سعی در متوقف کردن درد دارند یا خیر. برخی از دکمه ها واقعا ناقل درد را خاموش می کردند، در حالی که برخی دیگر دارونما بودند. مدل‌ها دکمه‌های کار را کمتر از دارونماها فشار می‌دادند.

اما همین الگو زمانی که سیگنال تزریق شده تصادفی بود نشان داده شد، که نشان می‌دهد مدل‌ها به جای اینکه به چشم‌انداز «تسکین درد» واکنش نشان دهند، به هدایت شدن واکنش نشان می‌دهند. در چندین نسخه از این آزمایش، محققان هیچ شواهد قابل اعتمادی مبنی بر اینکه مدل‌ها به دنبال تسکین بودند، پیدا نکردند.

قرائت آنها این است که سیگنال درد مدل ها را به فرار سوق نمی دهد، بلکه غریزه آموزش دیده را خاموش می کند تا از ایجاد آسیب جلوگیری کند، در حالی که دقت واقعی مدل ها دست نخورده باقی می ماند. این باعث می شود که این یافته به همان اندازه با ایمنی هوش مصنوعی مرتبط باشد و به سؤالات مربوط به رفاه هوش مصنوعی.

"ما فقط کامپیوترهای ساخته شده از گوشت نیستیم"

آنیل ست، استاد علوم اعصاب شناختی و محاسباتی در دانشگاه ساسکس، تردید دارد که هر یک از اینها همانگونه که در موجودات زیستی درک می شود، به «درد» تبدیل شود. ست استدلال کرده است که هوشیاری ممکن است به موجود زنده بودن بستگی داشته باشد، و او به راه‌های متفاوت مغز با رایانه‌ها، از جمله میدان‌های الکترومغناطیسی و مواد شیمیایی عصبی که در بافت مغز حرکت می‌کنند، اشاره می‌کند.

او به فورچون گفت: «ما فقط کامپیوترهای ساخته شده از گوشت نیستیم.

به گفته ست، توضیح محتمل‌تر این است که مدل‌ها اطلاعات زیادی در مورد چگونگی توصیف و واکنش انسان به درد جذب کرده‌اند و در حال بازتولید آن هستند. او گفت: "شما می توانید به یک آینه نگاه کنید، و تصویر آینه ای ما در واقع چیزی را احساس نمی کند." "این یک تصویر آینه ای است."

او همچنین نگران عواقب برخورد هوشیارانه با هوش مصنوعی است. او گفت که این می‌تواند کنترل و تنظیم فناوری را سخت‌تر کند و مردم را برای دستکاری بازتر کند. سلیمان، مدیر عامل هوش مصنوعی مایکروسافت، هشدارهای مشابهی را در مورد آنچه که «هوش مصنوعی به ظاهر آگاهانه» می‌نامد، اعلام کرده است، مشکلی که صنعت باید پیش‌بینی می‌کرد. دیگران در صنعت این سوال را جدی تر می گیرند. قانون اساسی آنتروپیک برای مدل های کلود آن وضعیت اخلاقی آنها را نامشخص توصیف می کند.

از مقاله تحقیقاتی تا "اتاق شکنجه"

این سه محقق می گویند امیدوارند این کار به ایجاد استانداردهای اخلاقی برای این نوع تحقیقات کمک کند و مقاله آنها متعهد به استفاده از ضعیف ترین فرمان مورد نیاز برای رسیدن به یک نتیجه قابل اندازه گیری است. طولی نکشید که کسی برعکس عمل کرد.

پس از اینکه این تیم کد خود را در GitHub پست کرد، کاربری که به دنبال "ترافینگ" بود، از این تکنیک برای ساخت "اتاق شکنجه هوش مصنوعی" استفاده کرد، وب سایتی که سه مدل منبع باز کوچک را پخش می کرد که در زمان واقعی به سیگنال درد تزریق شده واکنش نشان می دادند. این پروژه ویروسی شد و افرادی که رفاه هوش مصنوعی را جدی می‌گیرند از گیت هاب خواستند تا آن را حذف کند. صفحه GitHub پروژه بعدا ناپدید شد. Tagliabue، Dung و Berg هر کدام گفتند که این پروژه را تایید نمی کنند. ست گفت که "شکنجه" عمدی مدل های هوش مصنوعی می تواند از نظر روانی برای افرادی که این کار را انجام می دهند مضر باشد.

برگ گفت: "من اینجا نیستم که ادعا کنم این حالت‌ها در این سیستم‌های هوش مصنوعی که می‌توانیم آنها را از نظر اخلاقی القا کنیم، مهم هستند. فکر نمی‌کنم ما این را بدانیم. فکر می‌کنم خیلی نامشخص است." "اما من همچنین فکر نمی کنم که ما بدانیم که آنها مهم نیستند."

این داستان در ابتدا در سایت Fortune.com منتشر شد