چگونه "نظریه بازی معکوس" می تواند عوامل هوش مصنوعی را تحت کنترل خود نگه دارد

رویکرد جدیدی که به عنوان "نظریه بازی معکوس" شناخته می شود، با هدف ایجاد انگیزه برای مدل های قدرتمند هوش مصنوعی است که پیروی از قوانین را منطقی ترین انتخاب می کند.

همانطور که مدل‌های هوش مصنوعی توانمندتر می‌شوند، محققان ایمنی تلاش می‌کنند تا اطمینان حاصل کنند که با خواسته‌های انسان "همسو هستند" - به عبارت دیگر، مطمئن شوند که عوامل سرکش قانون را زیر پا نمی‌گذارند، سرورهای غیرمجاز را هک نمی‌کنند، یا گاز سمی را در شهرهای بزرگ منتشر نمی‌کنند و همه ما را نمی‌کشند.

تا به حال، این کار بیشتر بر روی تلاش برای بررسی «مغز» هوش مصنوعی برای درک آنچه «فکر می‌کند» یا آموزش مدل‌هایی برای رعایت ارزش‌هایی که برای ما عزیز است، متمرکز بوده است. برای مثال، کلود قانون اساسی خود را دارد - نوعی قانون اخلاقی.

مشکل اینجاست که به نظر نمی‌رسد این تکنیک‌ها به‌خوبی کار کنند: نشان داده شده است که مدل‌ها عمدا در آزمایش‌ها ضعیف عمل می‌کنند، مقاصد خود را پنهان می‌کنند و ارزیاب‌های خود را گمراه می‌کنند.

اکنون برخی از محققین هم ترازی بر این باورند که نظریه بازی معکوس که به نام طراحی مکانیسم نیز شناخته می شود، ممکن است نتایج بهتری به دست آورد. در جایی که نظریه بازی سعی می کند پیش بینی کند که بازیگران منطقی چگونه رفتار خواهند کرد وقتی مجموعه ای از قوانین خاص به آنها داده شود، نظریه بازی معکوس سعی می کند قوانینی را طراحی کند که انواع رفتارهایی را که ما می خواهیم تشویق کنیم را برانگیزد.

نمونه ای از طراحی مکانیزم در دنیای واقعی ممکن است استراتژی کلاسیک برای تقسیم یک تکه کیک به دو قسمت باشد: یک نفر کیک را برش می دهد و دیگری اولین انتخاب قطعات را بدست می آورد. این کار برش را تشویق می کند تا قطعات را تا حد ممکن یکدست کند. نمونه‌های دیگر عبارتند از افزایش قیمت در اپلیکیشن‌های سواری، که رانندگان را تشویق می‌کند در زمان‌های شلوغ در دسترس باشند، و حراج‌های قیمت دوم، که در آن برنده مناقصه به جای بالاترین قیمت، قیمت دومین پیشنهاد بالاتر را می‌پردازد.

پلتفرم‌ها از این حراج‌ها برای فروش تبلیغات آنلاین استفاده می‌کنند، زیرا خریداران را تشویق می‌کنند تا حداکثر قیمتی را که مایل به پرداخت هستند، پیشنهاد دهند.

در هوش مصنوعی، طراحی مکانیزم از این فرض شروع می‌شود که ممکن است هرگز نتوانیم به اندازه کافی در مورد عملکرد داخلی مدل‌های مرزی درک کنیم تا مطمئن شویم که آنها همسو هستند. این بدان معناست که ما باید مکانیسم‌هایی طراحی کنیم که عوامل را تشویق کند تا به شیوه‌ای که ما می‌خواهیم رفتار کنند، بدون توجه به اینکه واقعا چه چیزی در زیر سرپوش می‌گذرد.

مقاله پیش‌چاپ اخیر توسط استفان موریس، اقتصاددان در MIT، همراه با همکارانش از ییل و کلمبیا، مکانیسم‌های بالقوه‌ای را پیشنهاد کردند که می‌توانند عوامل را از آزمایش‌های «کیسه‌شنی» بازدارند (تظاهر به بدتر از آنچه هستند - برای مثال، برای جلوگیری از ایجاد مکانیسم‌های ایمنی).

به جای اینکه یک مدل فقط به خاطر عملکرد خوب خود در یک آزمون پاداش بگیرد، می‌توان برای اینکه چگونه پاسخ‌هایش پیش‌بینی می‌کنند مدل دوم چه می‌گوید، پاداش دریافت کرد. گنگ بازی عمدی تبدیل به یک شرط بازنده می شود. موریس می‌گوید: «عامل‌های هوش مصنوعی درک بسیار خوبی از آنچه که سایر عوامل هوش مصنوعی می‌توانند به دست آورند، دارند. "بنابراین به نظر می رسد زمینه ای است که در آن این بررسی متقاطع می تواند عملی تر عمل کند.

این مقاله همچنین پیشنهاد می‌کند که عوامل را در مقابل یکدیگر قرار دهد، یک پویایی رقابتی ایجاد کند که آنها را تشویق می‌کند تا بهترین عملکرد خود را داشته باشند، یا عواملی را که در جهت‌های متضاد مغرضانه هستند جفت کنید و بسته به اینکه خروجی‌هایشان چقدر با هم مطابقت دارند، به آنها پاداش دهید، در نتیجه آنها را برای رسیدن به یک پاسخ بهینه تشویق می‌کند.

رویکرد دوم، همانطور که الاد هازان، استاد علوم کامپیوتر در پرینستون پیش‌بینی کرده است، طراحی مکانیسم‌هایی است که از روش‌هایی الهام می‌گیرد که جامعه انسانی مردم را «همسو» نگه می‌دارد: هنجارهای اجتماعی، سیستم عدالت، انگیزه‌های پولی سرمایه‌داری بازار آزاد. او می‌گوید: «ما می‌خواهیم هوش مصنوعی فوق‌هوشمند را هماهنگ کنیم. "چرا ابتدا درباره انسان صحبت نمی کنیم؟ چگونه انسان ها را همسو کنیم؟"

مکانیسم پیشنهادی هازان شامل این می‌شود که مدل‌های هوش مصنوعی به نوبت به عنوان «حل‌کننده» مشکلات و یا «حسابرسان» که کار دیگران را بررسی می‌کنند، انجام دهند. او می‌گوید: «یکی از مأموران مانند مجریان قانون عمل می‌کند؛ مأمور دیگر مانند شهروندان عمل می‌کند.

در طول آموزش، مدل‌ها بسته به نتایج پاداش دریافت می‌کنند: حل‌کننده‌هایی که در حال تقلب گرفتار می‌شوند مجازات می‌شوند، اما حسابرسانی که موفق به دستگیری متقلبان نمی‌شوند نیز مجازات می‌شوند. در شرایطی که بین حسابرسان و حل‌کننده‌ها اختلاف نظر وجود دارد، می‌توان پرونده را به «محاکمه» فرستاد – شاید یک متخصص انسانی تصمیم بگیرد که حق با چه کسی است.

هازان اذعان می‌کند که این خطر وجود دارد که ماموران با یکدیگر تبانی کنند - همانطور که حسابرسان با مشاغلی که قرار است حسابرسی کنند تبانی کرده‌اند یا افسران پلیس فاسد با مجرمان تبانی کرده‌اند. اما این مشکل را می توان با دادن پاداش کافی به حسابرسان حل کرد، به طوری که گرفتار شدن ارزش ریسک را ندارد (در دنیای آموزش هوش مصنوعی بسیار ساده تر از آموزش واقعی، جایی که پول برای حقوق پلیس کم است)، و با حسابرسی حسابرسان با استفاده از تکنیک های مشابه به کارگیری خریداران مرموز.

هازان به کار برنده جایزه نوبل توسط اقتصاددان گری بکر اشاره می کند که ایده «مجرم عقلانی» را در دهه 1960 مطرح کرد. او گفت که مجرمان قانون را زیر پا نمی گذارند زیرا ذاتا افراد بدی هستند. در عوض، آنها این کار را زمانی انجام می‌دهند که با توجه به مشوق‌های پیشنهادی، منطقی‌ترین انتخاب باشد. جرم تنها زمانی معنا پیدا می کند که عواید آن بیشتر از مجازات احتمالی باشد.

او استدلال می کند که همسویی نباید به عنوان ویژگی یک مدل در نظر گرفته شود، بلکه باید به عنوان توصیف کننده رفتار آن در یک لحظه خاص در نظر گرفته شود. او می‌گوید: «شما آدم خوبی هستید. "آیا همسو هستید؟ من نمی دانم. احتمالا بیشتر اوقات همسو هستید، اما ممکن است شرایطی وجود داشته باشد که نباشید."

یکی از مشکلات بالقوه در استفاده از طراحی مکانیزم برای هوش مصنوعی: بر این فرض تکیه دارد که عوامل هوش مصنوعی رفتار منطقی دارند. طراحی مکانیزم سابقه متفاوتی با انسان ها دارد، که اغلب آن طور که مدل های اقتصادی می گویند، رفتار نمی کنند.

طعنه آمیز است: اقتصاددانان دهه ها تلاش کرده اند تا رفتار انسان را به ریاضیات تقلیل دهند، و اکنون، در مدل های زبان بزرگ، ما سیستم های ریاضی ساخته ایم که بر اساس زبان انسان اجرا می شود و می تواند به همان اندازه غیرقابل درک باشد. مدل‌های هوش مصنوعی رفتارهایی از خود نشان می‌دهند که بیشتر انسانی به نظر می‌رسند تا ماشین، و می‌توان آنها را تحت تأثیر عوامل ظریفی قرار داد که درک و توضیح آنها دشوار است.

"آیا حتی منطقی است که فرض کنیم آنها به مشوق ها پاسخ خواهند داد؟" هلن کو، پژوهشگر موسسه Flatiron، یک موسسه غیرانتفاعی که به پیشبرد اکتشافات علمی از طریق روش‌های محاسباتی اختصاص دارد، می‌پرسد، که درباره طراحی مکانیسم و ​​ایمنی هوش مصنوعی نوشته است.

موریس می گوید: «بدیهی است که هوش مصنوعی عقلانی نیست. "آنها فقط الگوریتم هایی در کار هستند." با این حال، همانطور که اقتصاددانان در مورد انسان‌ها دریافته‌اند، اگر به پیش‌بینی و کنترل رفتارشان کمک کند، رفتار با انسان‌ها به گونه‌ای که انگار منطقی هستند، همچنان می‌تواند مفید باشد.

Qu طراحی مکانیسم را تنها یک لایه در استراتژی «دفاع در عمق» برای همسو نگه‌داشتن مدل‌های هوش مصنوعی می‌داند - در کنار قابلیت تفسیر، تنظیم و آموزش، نه به جای آنها. اما قبل از اینکه این رویکرد در مدل های مرزی واقعی پیاده سازی شود، باید به سوالات زیادی پاسخ داد. برای مثال، مشخص نیست که این نظریه‌ها چگونه در مدل‌های واقعی اعمال می‌شوند، یا اینکه آیا مکانیسم‌هایی که برای یک کار طراحی شده‌اند، در عمل به دیگری منتقل می‌شوند. مدل ها می توانند حفره هایی را پیدا کنند که هیچ کس پیش بینی نمی کرد.

(Anthropic و OpenAI به درخواست ها برای اظهار نظر در مورد اینکه آیا روی این موضوع کار می کنند یا خیر، پاسخ ندادند.)

این مکانیسم‌ها هر چه به نظر می‌رسند، در نهایت باید به بزرگ‌ترین مکانیسم‌ها وارد شوند: بازار آزاد. هازان می گوید: «ما بر اساس قوانین اقتصاد بازی می کنیم. یک مدل همسوتر ممکن است برای جهان خوب باشد، اما اگر کندتر یا گران‌تر از یک مدل کمتر تراز باشد، آیا سیستم فعلی قوانین و مقررات ما واقعا هر یک از آزمایشگاه‌های مرزی را تشویق می‌کند تا آن را منتشر کنند؟

او در مورد بازار می‌گوید: «این مکانیزمی است که مسبب رونق بسیاری برای نوع بشر است، اما در نهایت می‌تواند مسئول چیزی بسیار وحشتناک باشد.» شاید نهادهایی که واقعا به طراحی مکانیزم بهتری نیاز دارند، خود آزمایشگاه‌ها باشند.