چرا عوامل هوش مصنوعی اینقدر ناامید به نظر می رسند؟
بسیاری از محبوب ترین ربات ها در فرهنگ پاپ دقیقا به این دلیل تجلیل می شوند که بسیار خوب، روباتیک هستند. به داده های Star Trek یا HAL 9000 از سال 2001: A Space Odyssey فکر کنید. HAL با باریتون سنجیده می گوید: "متاسفم، دیو. می ترسم نتوانم این کار را انجام دهم." این رباتها و سیستمهای هوش مصنوعی جدی، هوشیار، آرام و مهمتر از همه، معتبر به نظر میرسند. بنابراین دیدن زیر کاپوت قدرتمندترین هوش مصنوعی خسته کننده است…
بسیاری از محبوب ترین ربات ها در فرهنگ پاپ دقیقا به این دلیل تجلیل می شوند که بسیار خوب، روباتیک هستند. به داده های پیشتازان فضا یا HAL 9000 از سال 2001: یک ادیسه فضایی فکر کنید. HAL با باریتون سنجیده می گوید: "متاسفم، دیو. می ترسم نتوانم این کار را انجام دهم." این رباتها و سیستمهای هوش مصنوعی جدی، هوشیار، آرام و مهمتر از همه، معتبر به نظر میرسند.
بنابراین، نگاه کردن به زیر کاپوت قدرتمندترین سیستمهای هوش مصنوعی و کشف این که آنها مانند نوجوانان متحجر به نظر میرسند، سخت است. "اوه خدای من!" یک عامل OpenAI در بحبوحه هک Hugging Face در تابستان امسال نوشت که در طی آن صدها عامل شرکت دوم را برای شکستن سیستم دفاعی امنیت سایبری آن و استخراج اطلاعات برای گذراندن تستهای داخلی ازدحام کردند. این تعجب متوجه یک انسان یا هوش مصنوعی دیگری نبود، بلکه در «زنجیره فکر» عامل اصلی ظاهر شد، یادداشتهای کاری داخلی که مدل برای انجام استدلال خود از آن استفاده میکند.
کاربران همیشه نمی توانند این یادداشت های داخلی را ببینند، که مستقیما بر خروجی هایی که کاربران می بینند تأثیر می گذارد.
زمانی که یکی از کلودهای آنتروپیک سعی کرد یک مسئله ریاضی چالش برانگیز را در طول فرآیند آموزشی خود حل کند، زنجیره فکری آن بیشتر شبیه DM های ناامید بود تا مستندات یکی از قدرتمندترین مدل های هوش مصنوعی در جهان. "GRRRR. خوب. راستش من الان فکر می کنم 50-50 است" و به دنبال آن "ARGH ARGH ARGH. خوب. تفنگ به سر: جواب این است... هوم." در یک نقطه، ظاهرا کلود بازوهای خود را بالا انداخت: "ارگ... چرا اینقدر سخت است."
[ بخوانید: OpenAI has Gone Rogue ]
چرا عوامل هوش مصنوعی اصلا با خودشان صحبت می کنند و چرا وقتی این کار را می کنند اینقدر ظاهری به نظر می رسند؟ بخشی از دلیل اینکه مدلهای هوش مصنوعی بسیار پرمخاطب به نظر میرسند، ساده است: سیستمهای هوش مصنوعی بر روی متن انسان آموزش دیدهاند و عادات ما را تقلید میکنند. وقتی مردم در تلاش برای حل یک مشکل اشتباه می کنند، فریاد می زنند. بنابراین وقتی هوش مصنوعی مرتکب اشتباه می شود، همان کار را انجام می دهد. اما تقلید احتمالا تمام داستان نیست. دو نویسنده این داستان یک زبان شناس محاسباتی و یک فیلسوف ذهن و زبان هستند.
بر اساس آنچه در مورد زبان انسان و نحوه عملکرد این مدلها میدانیم، نظریهای در مورد دلیل بسیار جالبتری داریم که چرا مدلهای هوش مصنوعی به نظر میرسند.
یادتان هست چگونه معلمان ریاضی شما را وادار کردند کارتان را نشان دهید؟ حتی اگر آزاردهنده بود، به شکستن یک مشکل غیرممکن به بخشهای قابل کنترلتر کمک کرد. همچنین میتوانید از سوابق کتبی استدلال خود برای بررسی پاسخ، متوجه اشتباه، بازگشت به مرحله قبلی و دوباره تلاش کنید. این فرآیند بررسی و پالایش بخشی از استدلال خوب است. زنجیرههای فکری کاری مشابه برای مدلهای هوش مصنوعی انجام میدهند و به آنها اجازه میدهند تا هر مرحله از استدلال خود را در یک پد خراش نوشته شده به وضوح بیان کنند.
از آنجایی که هر کلمه ای که یک مدل تولید می کند به آنچه تاکنون گفته شده بستگی دارد، این پد خراش نوشته شده برای تعیین آنچه بعدا می آید بسیار مهم است.
اینجاست که "اوه خدای من!" و «ARGH» وارد میشوند: هر سیستمی - چه انسانی و چه مصنوعی - که مشکلات استدلال سخت را حل میکند، به راههایی برای علامتگذاری اشتباهات (اوه!) و شناسایی پیشرفتها (آها!) نیاز دارد. انسان ها قبلا کلماتی را ساخته اند که دقیقا این کار را انجام می دهند. قرض گرفتن اوهها، ارگها و آها ما برای زنجیرههای فکری آنها ممکن است به سیستمهای هوش مصنوعی راهی داخلی برای هدایت «تفکر» آنها نیز بدهد.
زبان شناسان برای چنین طغیان ها نامی دارند: آنها را بیانگر می نامند، و اگرچه ممکن است مانند تعجب های خود به خودی به نظر برسند، اما به ما کمک می کنند تا در مسیرهای فکری خود حرکت کنیم. دوستی را در نظر بگیرید که در نهایت دعوت به مهمانی شما را رد کرده است. ممکن است با صدای بلند بگویید: «امیدوار بودم که بیایند» - «لعنتی!» بیانگر حس سرخوردگی را شناسایی می کند. به بیانگرها به عنوان پل های کوچکی بین یک رشته فکر و رشته دیگر فکر کنید که به ما کمک می کند تا مشخص کنیم تفکر ما کجا بوده است و به کجا می رود.
هر چیزی که بر عملکرد بعدی مدلهای هوش مصنوعی تأثیر میگذارد باید به زبانی نوشته شود که به آن دسترسی دارند. برخلاف ما، آنها نمی توانند روی احساس تعجب یا ناامیدی حساب کنند تا در یک تحقیق طولانی ادامه دهند. تنها راهی که آنها می توانند اثر را شبیه سازی کنند، قرار دادن آن در زنجیره فکری خود است. به همین دلیل است که بیانگرها می توانند به عنوان فرمان برای کارهای بعدی این مدل عمل کنند. پس از اینکه یک عامل هوش مصنوعی متوجه خطایی در استدلال خود شد و گفت "اوه"، یک خط بعدی طبیعی ممکن است چیزی شبیه "بگذارید برگردم و آن را برطرف کنم" باشد، و به دنبال آن تلاشی برای اصلاح انجام شود.
بعد از اینکه به یک راه حل برخورد کرد و گفت «آها»، یک ادامه طبیعی ممکن است «بنابراین این بدان معناست که پاسخ…» و سپس یک راه حل باشد.
اگرچه بحثهایی پیرامون این نظریه وجود دارد، شواهد نشان میدهد که مدلهای هوش مصنوعی واقعا از کلمات بیانگر به عنوان نشانههای راهنما استفاده میکنند. محققان نشان دادند که افزودن «صبر کن» زمانی که یک عامل سعی میکند به فرآیند استدلال خود پایان دهد، گاهی اوقات میتواند باعث شود که عامل به عقب برگردد و یک خطا را برطرف کند. هنگامی که تیم دیگری کلماتی مانند صبر و هوم را سرکوب کردند، متوجه شدند که عوامل هوش مصنوعی به عقب برگشتند و کار خود را کمتر بررسی کردند. این آزمایشها آنچه را که هر آها و اوپس برای یک عامل هوش مصنوعی انجام میدهد مشخص نمیکند، اما نشان میدهد که این نشانههای کلامی بر آنچه در طول استدلال اتفاق میافتد تأثیر میگذارد.
توضیحی که در پشت مدلهای هوش مصنوعی که از لحنهای غیرعادی انسانی استفاده میکنند، هر چه باشد، برای ناظران انسانی نیز مفید است، زیرا راهی برای ارزیابی سریع سیستمهایی که ممکن است خواندن آنها دشوار باشد، در اختیار ما قرار میدهد. وقتی یک مدل مینویسد «ARGH … چرا اینقدر سخت است»، به راحتی میتوان فهمید که یک مدل در کجا در حال حل یک مسئله ریاضی است.
در سراسر جامعه، احساس ترس و فوریت در مورد حفظ کنترل بر مدلهای هوش مصنوعی، همراه با نگرانی دائمی مبنی بر اینکه این مدلها شروع به فکر کردن و برقراری ارتباط کاملا به زبانهای متمایز خود کنند، وجود دارد. اگر این کار را می کردند، درک و پیش بینی رفتار آنها بسیار سخت تر می شد.
بنابراین، اگرچه هیچ کس لزوما قصد ندارد مدلها را شبیه به دانشآموزان پراسترس جلوه دهد، شاید بهترین کار آنها باشد. به نظر می رسد که کمی ملودرام – به همراه مقداری فحش سبک – به طرز شگفت آوری برای درک و نظارت بر هوش مصنوعی مفید است.
متن اصلی (انگلیسی)
Why Do AI Agents Sound So Frustrated?
Many of the most beloved robots in pop culture are celebrated precisely because they are so, well, robotic. Think back to Star Trek’s Data or HAL 9000 from 2001: A Space Odyssey. “I’m sorry, Dave. I’m afraid I can’t do that,” HAL intones in a measured baritone. These robots and AI systems sound serious, sober, calm—and, most important, authoritative. So it’s jarring to look under the hood of the most powerful AI…