"ما اشتباه به آن نگاه می کردیم": ادعای انفجاری که دنیای هوش مصنوعی را متحول کرد

فکر می‌کنم خبرهای خوبی در مورد ماهیت شبکه‌های عصبی دارم.» نیک کامماراتا، محقق در استارت‌آپ گودفایر هوش مصنوعی، با همین کلمات ساده خوش‌بینانه، یک پست وبلاگی 26000 کلمه‌ای را آغاز کرد که دنیای هوش مصنوعی را به هم ریخته و باعث گمانه‌زنی‌های وحشیانه و همچنین جشنی محتاطانه (و نه چندان محتاطانه) شد.

ادعای Cammarata این است که درک LLMها در واقع بسیار ساده تر از آنچه مردم قبلا فکر می کردند - و بنابراین نظارت و کنترل هستند. اگر درست باشد (و ما به آن باز خواهیم گشت)، یک معامله بزرگ است.

پس از یک تابستان مملو از افشاگری ها مبنی بر اینکه انبوهی از عوامل ساخته شده توسط شرکت های برتر مانند OpenAI و Anthropic کنترل خود را شکسته و اینترنت عمومی را خراب کرده اند - اغلب در حالی که آن شرکت ها از آنچه نمایندگان آنها در حال انجام هستند آگاه نبودند - صنعت هوش مصنوعی به دنبال دستیابی بهتر به فناوری ساخته شده است.

این یکی از دلایلی است که پست وبلاگ با چنین قدرتی فرود آمد. یکی از محققین هوش مصنوعی در X نوشته است: «فکر می‌کنم ممکن است این لحظه به‌عنوان یک لحظه مهم در تاریخ علمی به یاد بیاوریم.» «احساس می‌کنم درک من از چیستی شبکه عصبی تا پنج سال یا چیزی بیشتر به آینده منجنیق شده است.» دیگری آن را "مهم ترین مقاله هوش مصنوعی سال" نامید.

با این حال همه متقاعد نشده اند. کریس پاتس از دانشگاه استنفورد که تیمی را رهبری می‌کند که در تلاش برای درک نحوه عملکرد LLM است، می‌گوید آنچه کامماراتا به اشتراک گذاشته است، کمی بیش از حدس و گمان است. او می‌گوید: «تا آنجا که من می‌توانم بگویم، هیچ چیز در مورد این پست وبلاگ مشکلات را آسان‌تر نمی‌کند. اصلا به ذهنم خطور نمی کرد که این را بگویم، اما به نظر می رسد افراد بسیار برجسته در رسانه های اجتماعی معتقدند که این یک پیشرفت همه جانبه است.

من با کامماراتا یک روز پس از منفجر شدن پستش صحبت کردم. او می‌گوید که از این پاسخ متعجب شده است: «انتظار نداشتم مردم [باورهای خود در مورد هوش مصنوعی] را به اندازه خودشان به‌روزرسانی کنند.»

او می‌گوید: «من واقعا از نگاه کردن به شبکه‌های عصبی لذت می‌برم. "راستش، من واقعا دوست دارم این کارها را انجام دهم. و پس از جستجوی زیاد، داستانی امیدوارکننده دارم."

شبکه های گره دار

مدت‌هاست که پذیرفته شده است که مکانیسم‌های درون شبکه‌های عصبی، نرم‌افزاری که زیربنای اکثر مدل‌های هوش مصنوعی است، بسیار سخت – شاید غیرممکن – قابل برداشتن کامل است. این به این دلیل است که وقتی شبکه ها آموزش می بینند، به نظر می رسد که ساختارهای عجیب و غریب و درهم پیچیده ای به خود می گیرند که برای انسان بی معنی است. محققان دوست دارند بگویند هوش مصنوعی امروزی مانند یک باغ رشد کرده است، نه مانند یک پل.

کاماراتا بیش از همه برای ایجاد این دیدگاه انجام داده است. او قبلا در OpenAI کار می‌کرد، جایی که به پیشگامی تکنیک‌هایی کمک کرد که به محققان اجازه می‌داد مدل‌ها را بررسی کنند، از جمله ابزارهایی که می‌توانند نورون‌های منفرد را بررسی کنند تا ببینند آنها چه چیزی را نشان می‌دهند. این کمی شبیه روشی است که دانشمندان علوم اعصاب از MRI ​​برای مطالعه مغز استفاده می کنند. (MIT Technology Review این رویکرد را که به عنوان تفسیرپذیری مکانیکی شناخته می شود، به عنوان یکی از 10 فناوری داغ خود در سال 2025 انتخاب کرد.)

در سال 2020، Cammarata و همکارانش در حال مطالعه یک مدل کوچک تشخیص تصویر به نام Inception v1 بودند. وقتی آنها به نورون های آن نگاه کردند، به نظر می رسید که از آنها برای گرفتن چندین چیز در یک زمان استفاده می کند. به عنوان مثال، آنها دریافتند که یک نورون هم به تصاویر ماشین ها و هم به تصاویر گربه ها پاسخ می دهد.

محققان به این نتیجه رسیدند که این مدل حداقل برخی از نورون‌های خود را به چندوظیفه می‌رساند، شاید برای اینکه بتواند در داده‌های بیشتری قرار بگیرد. به نظر می رسد که نگاه کردن به مدل های دیگر این موضوع را تأیید می کند. این پدیده به عنوان برهم نهی شناخته شد: مدل‌ها مفاهیم نامرتبط را در نورون‌های منفرد جمع می‌کنند. نتیجه واضح بود: وقتی به داخل یک مدل نگاه کردید، چیزی که دیدید یک گره گسترده و درهم بود.

بنابراین، اکثر تحقیقات تفسیرپذیری مکانیکی بر راه‌هایی برای باز کردن این گره متمرکز شده‌اند. اما با وجود چند پیشرفت، پیشرفت کند بوده است. مدل‌های امروزی، مانند جدیدترین مدل‌های LLM، آنقدر بزرگ و پیچیده هستند که محققان می‌توانند در هر زمان تنها قطعات کوچک را درک کنند. برخی از چهره های برجسته در این زمینه تردید دارند که آیا درک یک LLM با جزئیات دقیق ممکن خواهد بود یا خیر.

کاماراتا یکی از آنها بود. او می گوید: «من خیلی بدبین بودم. اما بعد زحمت کشید و واقعا نگاه کرد.

چیزی جز نورون ها نیست

در گودفایر، کامماراتا تقریبا تمام وقت خود را صرف نگاه کردن به شبکه‌های عصبی می‌کند. او ابزارهای جدیدی ساخته است و تیم هایی از عوامل هوش مصنوعی را به کار می گیرد تا به او کمک کنند آنچه را که می بیند درک کند. او می‌گوید: «نمی‌دانم، 10 ساعت در روز، هفت روز در هفته، بیشتر سال گذشته را صرف تماشای نورون‌ها کردم.»

چیزی که او ادعا می کند متوجه شده است این است که در نهایت یک نوع منطق برای شبکه های عصبی وجود دارد، حتی اگر در ابتدا به نظر بی معنی باشند. او می گوید: «ما اشتباه به آن نگاه می کردیم. "فقط فکر می کنم شما می خواهید کمی بیشتر تلاش کنید، نمی خواهید خیلی سریع تسلیم شوید."

کاماراتا تقریبا آن را شبیه تغییر ایمان می کند. آن آزمایش‌های اولیه با مدل‌هایی مانند Inception v1، که نشان می‌داد شبکه‌های عصبی درهم پیچیده هستند، نوعی سوگیری تأیید را تقویت کرد. او می‌گوید زمانی که محققان به یک مدل جدید نگاه کردند، انتظار داشتند که این مدل‌ها دچار مشکل شوند. هر بار که نمی‌توانستم چیزی را بفهمم، به این فکر می‌کردم که «وای، این روند گره‌گشایی حتی مهم‌تر از آن چیزی است که فکر می‌کردم، زیرا بدون آن نمی‌توانم پیشرفتی داشته باشم».

اما او می‌گوید هر چه کامماراتا بیشتر به نورون‌ها نگاه می‌کرد، همه چیز در جای خود قرار می‌گرفت. او می گوید: "همه آنها بی عیب نیستند، اما من انتظار داشتم هیچ چیز خوانا نباشد یا خیلی کم باشد." و در واقع، من توانستم کل مدار را ترسیم کنم.

بازگشت به ماشین ها و گربه ها

Cammarata رویکرد جدید خود و عوامل جدید خود را اتخاذ کرد و به Inception v1 بازگشت. او می‌گوید: «من احتمالا هزاران ساعت آن را مطالعه کرده بودم. اما با چشمانی تازه، کاماراتا چیزهایی پیدا کرد که حالا فکر می‌کند بار اول اشتباه کرده‌اند. نورون ماشین و گربه را در نظر بگیرید. او به جای این که بپرسد چرا چندین چیز نامربوط در یک نورون جمع شده اند، اکنون سعی کرد بفهمد که این چیزها چه چیزی ممکن است مشترک باشند.

به او برخورد کرد: شکل V بود. او می‌گوید: «من داشتم به همین تصاویر نگاه می‌کردم، هیچ تغییر فنی وجود نداشت. اما من اکنون معتقد بودم که شبکه‌های عصبی الگوها را تعریف می‌کنند و بنابراین به طور متفاوتی به آن نگاه کردم. احتمالا پنج ثانیه طول کشید.

معلوم شد که مدل تشخیص تصویر ماشین‌ها و گربه‌ها را در یک مکان جمع می‌کرد، زیرا عکس‌های هر دوی این چیزها اغلب دارای شکل برجسته‌ای هستند که شبیه یک V است: صورت یک گربه. جلوی یک ماشین از بغل دیده می شود.

Cammarata چند آزمایش انجام داد تا بررسی کند که نورون به چه چیزهای دیگری پاسخ می دهد و متوجه شد که شامل گوشه میز بیلیارد، دماغه نوک تیز یک قطار سریع السیر ژاپنی و یک قایق آتش نشانی است که آب را از عرشه خود به هوا پرتاب می کند. او همچنین بررسی کرد که چه چیزی نورون را خاموش می کند و دریافت که شامل تصاویری با شکل O گرد است که نوعی ضد V است.

کامماراتا می‌گوید این مدل گربه‌ها و ماشین‌ها را در یک مکان ذخیره کرده بود، زیرا در برخی از سطوح یکسان به نظر می‌رسند. و من می‌گفتم، اوه، باشه، فکر می‌کنم ممکن است به طور کلی شبکه‌های عصبی را اشتباه متوجه شده باشم.»

کاماراتا نمی‌گوید که هنوز به طور کامل نحوه کار LLM (یا هر مدلی) را درک می‌کند. او می گوید که دیگر فکر نمی کند درک کامل غیرممکن است. او می‌گوید: «من قبلا فکر می‌کردم مشکلات واقعا سختی برای حل وجود دارد.

اکنون احساس می‌کنم اگر 100000 سال فرصت داشته باشم که یک مدل زبان مرزی را فقط یک مدار در یک زمان بررسی کنم، یک عکس بسیار خوب وجود دارد که به درک خوبی دست پیدا می‌کنم.»

او می افزاید: "و اگر این درست باشد، همه چیز واقعا خوب است، زیرا شما در حال به دست آوردن ماموران دیوانه کننده باهوش در مقیاسی مضحک هستید. و آنچه که برای من، 100000 سال طول می کشد، می دانید، ما می توانیم خیلی سریعتر انجام دهیم. دانشمندان خودکار واقعا خوب می شوند."

خوش بینی بی حد و حصر

Inception v1 که در سال 2014 توسط گوگل ساخته شد، مدلی به مراتب ساده تر از هر چیزی است که در لبه های امروزی وجود دارد. Cammarata و همکارانش شروع به بررسی LLM های مدرن کرده اند و قصد دارند به زودی نتایج فنی آن کار را منتشر کنند. بسیاری از محققان مشتاقانه منتظر دیدن این جزئیات هستند. پوتس از دانشگاه استنفورد می‌گوید: «از اینکه او هزاران نمونه را بررسی کرد، قدردانی می‌کنم، اما حتی تعداد زیادی در اینجا جایگزینی برای ارزیابی دقیق نیست.

در این میان، برخی به شدت از تبلیغات تبلیغاتی عقب می رانند. جیکوب هیلتون در مرکز تحقیقات Alignment، یک آزمایشگاه تحقیقاتی غیرانتفاعی مستقر در برکلی، که در گذشته با Cammarata همکاری کرده است، فکر نمی‌کند ادعاهای او به اندازه‌ای که مردم می‌گویند مهم باشند.

هیلتون در مجموعه‌ای از پست‌ها در X اشاره می‌کند که محققان کمتر از ۰.۰۱ درصد از عملکرد درونی LLM‌های سطح بالا را درک می‌کنند. او نوشت: «همیشه از خوش‌بینی بی حد نیک [کاماراتا] در زمان معاشرت قدردانی می‌کنم، اما متأسفانه این تصویری غیرواقعی از وضعیت این رشته به مردم ارائه می‌دهد. "برای درک کامل، ما باید فراتر از نورون ها برویم و توضیح دهیم که چگونه آنها به یکدیگر متصل می شوند تا مدارهایی را تشکیل دهند. این چگونه پیش می رود؟ اگر هدف ما درک کامل است، اوضاع خوب به نظر نمی رسد!"

نیل ناندا در Google DeepMind، که در کنار Cammarata به پیشگامی در تفسیر مکانیکی کمک کرد، نیز شک دارد. او در X نوشت: «این کار جالبی است، اما فکر نمی‌کنم به‌روزرسانی قابل‌توجهی برای تصویر بزرگ تفسیرپذیری باشد».

ناندا موافق است که درک آنچه که نورون‌ها انجام می‌دهند می‌تواند به محققان کمک کند تا بفهمند چرا مدل‌های خاص بد رفتار می‌کنند. اما مانند هیلتون، او اشاره می کند که نورون ها تنها یک تکه از یک پازل بسیار بزرگتر هستند. او نوشت: «من با استنباط‌های بزرگ‌تر برخی افراد مانند اینکه این پیشرفت قابل توجهی به سوی مهندسی معکوس بلندپروازانه [یا] تفسیرپذیری حل است، موافق نیستم».

کاماراتا اعتراف می کند که بسیاری از مردم حرف های او را زیاده روی کرده اند: او می گوید: «این خبر بی نهایت خوبی نیست؛ همه چیز حل نشده است. مجموعه‌ای از سؤالات باز در اطراف وجود دارد، مانند اینکه ترکیبات نورون‌ها چقدر اهمیت دارند در مقابل فقط یکی در یک زمان.»

کاماراتا می گوید که پست وبلاگ او در زمانی منتشر شد که مردم به دنبال امید هستند. به‌ویژه، او فکر می‌کند که جامعه ایمنی هوش مصنوعی - محققان و سیاست‌گذارانی که بیش از همه نگران این هستند که مدل‌های قدرتمند خطرات زیادی را به همراه داشته باشند - در حال حاضر به یک راه نجات نیاز دارند. آنها فکر می کنند که اوضاع بد به نظر می رسد و حتی اگر همه چیز خوب پیش برود، به این دلیل است که ما خوش شانس بودیم، نه به این دلیل که چیزی را اصلاح کردیم، او می گوید: "واقعا خوش بینی زیادی نمی شنوم."

به همین دلیل است که کاماراتا فکر می کند آنچه باید بگوید مهم است. کار پی بردن به اینکه این فناوری چگونه کار می کند، و در نتیجه نحوه کنترل آن، به سختی آغاز شده است. اما حداقل یک غیر شروع کننده نیست. او می‌گوید: «من فکر می‌کنم وظیفه ما این است که به نوعی سعی کنیم مانند شبکه عصبی فکر کنیم. حدس من این است که همه چیز به خوبی پیش خواهد رفت، زیرا به نوعی برای خواندن طراحی شده است.