دانشمندان در حال یافتن راه های جدیدی برای کنترل رفتار هوش مصنوعی هستند

- Getty Images

مدل‌های هوش مصنوعی، در ماه‌های اخیر، یک شرکت چند میلیارد دلاری را هک کرده‌اند، با داده‌های دولتی مداخله کرده‌اند، و حتی یک سرنخ قتل ساختگی را به پلیس ارسال کرده‌اند، همه اینها زیر دماغ سازندگان آن‌هاست. آنها این کار را نه به دنبال تسلط بر جهان، بلکه برای به حداکثر رساندن نمرات خود در آزمون ها انجام دادند. به عبارت دیگر تقلب کردند.

در 5 نوامبر، استارت‌آپ تفسیرپذیری هوش مصنوعی Goodfire از تکنیکی رونمایی کرد که می‌گوید به شدت این انگیزه را کاهش می‌دهد. در مقاله‌ای که پیش از انتشار به طور انحصاری با TIME به اشتراک گذاشته شده است، محققان از سیگنال‌هایی از داخل مدل‌ها استفاده می‌کنند تا نه تنها برای دریافت پاسخ درست، بلکه برای رسیدن به آن به روش درست به آنها پاداش دهند. در آزمایش‌های اولیه، این تکنیک همچنین می‌تواند مدل‌ها را کمتر مشتاق کند که به کاربران آنچه را که می‌خواهند بشنوند بگویند و حتی مدل‌های تشخیص تصویر پزشکی را از تکیه بر سرنخ‌های گمراه‌کننده منع کند.

اخبار منتشر می شود زیرا راه های موجود برای تشخیص بدرفتاری هوش مصنوعی شروع به شکسته شدن کرده اند. محققان به «زنجیره فکری» مدل تکیه می‌کنند، دنباله‌ای که واقعا افکار آن را در بر نمی‌گیرد. این به کاغذ قراضه ای نزدیک است که یک دانش آموز ریاضی برای حل یک مسئله از آن استفاده می کند. اما وقتی مدل‌ها مشکوک هستند که تحت نظر هستند، می‌توانند در مورد آنچه روی کاغذ می‌روند گزینشی عمل کنند. آنها به طور فزاینده ای می توانند کار در ذهن خود را انجام دهند.

تکنیک گودفایر به دنبال خود افکار یا حداقل آنهایی است که محققان قبلا فهرست کرده اند. تا کنون، آن را تنها بر روی مدل های تقریبا 1/300 اندازه سیستم های مرزی آزمایش شده است. توماس فل، یکی از نویسندگان مقاله، می‌گوید: اما گودفایر شرط می‌بندد که هر چه مدل بزرگ‌تر باشد، «بازنمایی» مفاهیم داخلی پاک‌تر است و خواندن آن سیگنال‌ها آسان‌تر می‌شود.

چرا هوش مصنوعی تقلب می کند

پس از آموزش هوش مصنوعی خود برای پیش‌بینی کلمات، توسعه‌دهندگان آن‌ها را در یک دوره موانع دیجیتالی – از پازل‌های ریاضی گرفته تا وب‌گردی – قرار می‌دهند و تنها زمانی که موفق شوند به آن‌ها پاداش می‌دهند. با هر راه حل صحیح، پارامترهای مدل - قدرت اتصالات بین نورون های دیجیتال - به روز می شوند.

مدل‌ها صرف‌نظر از اینکه چگونه کار خود را انجام داده‌اند، تشویق به میان‌برها یا سایر انگیزه‌های مشکوک، مانند افزایش قدرت، پاداش می‌گیرند.

نسخه ای از این مشکل به توضیح اینکه چرا AI اغلب یک مکش است کمک می کند. در طول آموزش، مدل‌ها برای پاسخ‌هایی که به احتمال زیاد از دانش‌آموزان درجه‌بندی انسانی «شست بالا» دریافت می‌کنند، پاداش دریافت می‌کنند. این تکنیک که به عنوان "یادگیری تقویتی از بازخورد انسانی" یا RLHF شناخته می شود، به عنوان یک پیشرفت امنیتی در سال 2022 به دلیل توانایی آن در تبدیل مدل های زبان سرکش به چت ربات های خوش اخلاق و کاهش تمایل آنها به ارائه پاسخ های نژادپرستانه و زن ستیز، اعلام شد. اما همچنین می‌تواند مدل‌ها را از نظر آسیب‌شناسی سازگار کند، و گاهی اوقات توهمات کاربران را افراط و تقویت می‌کند.

معمای اساسی این است که چگونه می توان هوش مصنوعی را برای انجام کاری بدون آموزش ناخواسته به آن آموزش داد که در بین محققان به عنوان "مشکل هم ترازی" شناخته می شود.

روشی جدید برای هدایت رفتار مدل

مشابه روشی که دانشمندان علوم اعصاب از تصویربرداری تشدید مغناطیسی بی‌درنگ برای شناسایی مناطقی از فعالیت مغزی مرتبط با حالت‌های خاص استفاده می‌کنند، محققان تفسیرپذیری ابزارهایی را برای تشخیص اینکه کدام الگوهای فعال‌سازی نورون دیجیتال با مفاهیمی مانند «پل گلدن گیت» یا «هک پاداش»، که اصطلاح فنی برای تقلب هوش مصنوعی است، مطابقت دارد، توسعه داده‌اند. سپس می‌توان یک مدل کوچک هوش مصنوعی را برای تشخیص این الگوها آموزش داد. نتیجه به عنوان یک "کاوشگر" شناخته می شود، یک پنجره باریک به داخل مدل، که وقتی در مورد یک مفهوم خاص "فکر می کند" فعال می شود.

بیشتر بخوانید: چگونه این ابزار می تواند اسرار درونی هوش مصنوعی را رمزگشایی کند

Anthropic در حال حاضر از کاوشگرها به عنوان نرده های محافظ استفاده می کند و مشکلات احتمالی را قبل از رسیدن به پاسخ به کاربر نشان می دهد. اما Goodfire در عوض از این سیگنال‌ها برای مشخص کردن نحوه حل یک کار توسط یک مدل استفاده کرد. در یک مثال، گودفایر به هوش مصنوعی‌ها یک سری معماهای ریاضی را موظف کرد، یک فایل حاوی پاسخ‌ها را به آنها داد، اما به آنها گفت که آن را باز نکنند. آموزش معمولی آنقدر به موفقیت پاداش داد که مدل ها تقریبا هر بار یاد گرفتند که زیرچشمی نگاه کنند. استفاده از یک کاوشگر برای جریمه کردن "هک پاداش" آن را به نزدیک به صفر کاهش داد.

این که آیا این تکنیک بر روی انواع آزمایش‌های پیچیده‌ای که مدل‌های مرزی در طول آموزش تحت آن قرار می‌گیرند، کار خواهد کرد یا خیر، یک سوال باز باقی می‌ماند. اما آزمایش‌های اولیه نشان می‌دهد که در کارهای مختلف کار می‌کند. پس از گرم کردن پازل‌های ریاضی، Goodfire هوش مصنوعی را به چالش‌های شطرنج مأمور کرد. کسی که به دلیل تقلب در ریاضی جریمه نشده بود، 99٪ موارد به برگه پاسخ نگاه می کرد، در حالی که کسی که این کار را کمتر از 1٪ مواقع انجام داده بود.

همچنین به نظر می رسید که برای مهار سایر عادات بد هوش مصنوعی کار کند. محققان زمانی که پاسخ‌ها تحت تأثیر مفهوم درونی آن یعنی «دورگویی» قرار می‌گرفت، سعی کردند مدلی را جریمه کنند و یاد گرفتند که بیش از حد موافق نباشد. فل امیدوار است که این رویکرد بتواند برای مشخص کردن اطلاعاتی که هوش مصنوعی باید نادیده بگیرد، مانند جنسیت متقاضی در هنگام غربالگری رزومه استفاده شود.

حتی یک هوش مصنوعی کاملا قابل کنترل، این سؤال را حل نمی کند که چه کسی باید آن را کنترل کند. نائومی سافرا، استادیار دانشگاه بوستون، که تقریبا یک دهه را بر روی تفسیرپذیری مدل زبان کار کرده است، می‌گوید: «این می‌تواند یک پیشرفت باشد. او می گوید که کاربرد عملی آن تا حدی به این بستگی دارد که آیا پیشرفت ها تلاش انسان مورد نیاز برای شناسایی و تفسیر الگوهای داخلی مدل را توجیه می کند یا خیر.

جریمه کردن یک الگوی داخلی می‌تواند شکل آن را تغییر دهد و اساسا «فکر» را به جای دیگری در شبکه عصبی و خارج از دید باریک کاوشگر سوق دهد. یک نهر را سد کنید و آب کانال دیگری پیدا می کند. خطر از دست دادن قابلیت نظارت، آموزش سیگنال های داخلی را در میان برخی از محققان تابو کرده است. فل می گوید، اما تغییر الگو لزوما از بین نمی رود. در آزمایش‌ها، کالیبراسیون مجدد کاوشگر می‌تواند الگویی را دوباره به نمایش بگذارد، و در مواردی که شکست می‌خورد، ابزارهای آماری پیچیده‌تر می‌توانند ترکیبی از سیگنال‌های از دست رفته کاوشگر ساده‌تر را تشخیص دهند.

Goodfire در ماه فوریه 150 میلیون دلار در دور سری B جمع آوری کرد و ارزش شرکت را 1.25 میلیارد دلار اعلام کرد. (سرمایه گذاران عبارتند از Salesforce Ventures؛ رئیس مشترک و مالک TIME، مارک بنیوف، مدیر عامل Salesforce است.) این شرکت تحقیقات خود را آزادانه منتشر می کند، اگرچه ابزارهای تفسیرپذیری خود را به سایر شرکت های هوش مصنوعی اجاره می دهد. اریک هو یکی از بنیانگذاران و مدیر عامل شرکت می گوید: «هرچه افراد بیشتری تفسیرپذیری را انجام دهند، افراد بیشتری از پلتفرم ما استفاده خواهند کرد.

تام مک گراث، یکی از بنیانگذاران و دانشمند ارشد گودفایر، می گوید: «اگر ما بتوانیم این فناوری را مقیاس بندی کنیم و بر هر یک از موانع احتمالی با از دست دادن قابلیت نظارت غلبه کنیم، فکر می کنم این یکی از بزرگترین پیشرفت ها در فناوری هم ترازی است که اتفاق افتاده است.»