پست وبلاگی که دنیای هوش مصنوعی را به آتش کشید

در 24 ساعت گذشته، سیلیکون ولی با یک پست وبلاگی 26000 کلمه ای توسط محقق هوش مصنوعی نیک کامماراتا وسواس داشت. این سند به عنوان "مهمترین مقاله"، "مهمترین نتیجه" و "بهترین خبر" سال یا در تاریخ تحقیقات هوش مصنوعی - یا، شاید، همیشه - نامیده شده است. حتی سام آلتمن، مدیر عامل OpenAI نیز آن را تحسین کرد. کامماراتا یک سری ادعاهای جسورانه و تقریبا شگفت‌انگیز در مورد ماهیت هوش مصنوعی مطرح می‌کند که اگر درست باشد، برخی از مفروضات اساسی صنعت او را در مورد چیزی که در حال ساخت است بر هم می‌زند.

و پس از ماه‌ها ولگردی‌های هک هوش مصنوعی و افزایش واکنش عمومی علیه صنعت، بسیاری از مردم Cammarata را به‌عنوان بارقه‌ای از امید می‌بینند که نه تنها به درک، بلکه همچنین کنترل فناوری در حال گسترش در جهان می‌رسد.

خلاصه، بحث اصلی Cammarata این است که مدل‌های مولد هوش مصنوعی در واقع جعبه‌های سیاه نیستند، برخلاف تصور رایج که این سیستم‌ها آنقدر بزرگ و پرپیچ و خم هستند که تقریبا غیرقابل نفوذ هستند. در واقع، کاماراتا استدلال می کند، مسیر نسبتا روشنی برای درک آنها وجود دارد. اگر اینطور باشد، اهمیت مادی می‌تواند فوق‌العاده باشد: راهی برای ترسیم عملکرد درونی مدل‌های هوش مصنوعی فراهم می‌کند و به نوبه خود، شاید از وارد کردن انواع آسیب‌ها به آن‌ها جلوگیری می‌کند - شرکت‌ها و کشورهای مستقل را به طور مستقل هک می‌کنند، توهمات کاربران را تشویق می‌کنند، ظاهرا به نظر می‌رسد که هوش مصنوعی را فریب می‌دهند.

خود کمانداران یک زمینه تحقیقاتی کامل به نام «تفسیرپذیری مکانیکی» وجود دارد که به مطالعه این موضوع اختصاص دارد.

بحث به همان اندازه مهم است که کسی که آن را مطرح می کند. Cammarata، یک کارمند سابق OpenAI، یک چهره قابل احترام در حوزه کاری خود است. سال‌ها پیش، او نقشی کلیدی در ایجاد ادعای مخالف، که امروزه حکمت رایج است، داشت: اینکه شبکه‌های عصبی، معماری نرم‌افزاری که هوش مصنوعی مولد بر آن ساخته شده است، غیرممکن یا حداقل بسیار دشوار است. در این مقاله جدید، کاماراتا، که اکنون در شرکت تحقیقاتی هوش مصنوعی Goodfire کار می‌کند، اساسا می‌گوید که او و کل رشته‌اش از آن زمان در اشتباه بوده‌اند. یکی از ناظران نوشت: «ادعاها در اینجا کاملا تکان دهنده هستند.

یا همانطور که دیگری در X نوشت، آنها "بزرگ بزرگ و بزرگ" هستند.

[ بخوانید: تصور کنید هر عامل هوش مصنوعی روی زمین همان دستمال کاغذی ارزان قیمت را می‌خرد]

شبکه‌های عصبی که از مغز انسان الهام گرفته‌اند، از اتصالات لایه‌ای میان گره‌های منفرد یا «نرون‌ها» تشکیل شده‌اند که هنگام پاسخ به یک پرس و جو، اطلاعات را فعال کرده و به یکدیگر ارسال می‌کنند. تحقیقات قبلی، از جمله Cammarata، نشان داد که نورون‌های ماشینی می‌توانند در پاسخ به موضوعات مختلف و نامرتبط فعال شوند – برای مثال، یک نورون می‌تواند با تصاویر صورت گربه، پاهای گربه و جلوی ماشین‌ها مطابقت داشته باشد.

هیچ کس مطمئن نبود که چرا این اتفاق افتاده است، اما یک توضیح این بود که، از آنجایی که مدل‌های هوش مصنوعی حاوی اطلاعات بسیار بیشتری نسبت به نورون‌هایشان هستند، باید این گره‌ها را تغییر کاربری دهند. صرف نظر از این، واحدهای اصلی یک مدل هوش مصنوعی که عملکردهای به ظاهر دلخواه و متعددی دارد، درک آنچه در زیر کاپوت می گذرد را بسیار دشوار می کند.

کامماراتا اکنون فکر می‌کند که نورون‌های منفرد را می‌توان درک کرد و هر کدام عملکردی خودسازگار دارند. او نوشت که شبکه‌های عصبی «گره‌های درهم پیچیده» نیستند، بلکه «پاک» هستند. او دریافت که به عنوان مثال، نورون صورت گربه و صورت ماشین، در واقع به چیزهایی با شکل V پاسخ می‌دهند - از جمله شعله‌های V شکل و فواره‌های آب. این امر مکانیسم های داخلی هوش مصنوعی را نسبتا ساده و قابل پیش بینی می کند تا مرموز و مبهم. و اگر بتوانیم از این درک استفاده کنیم، برخی از افراد در صنعت معتقدند، هوش مصنوعی بسیار کمتر احتمال دارد که از بین برود و مثلا همه ما را بکشد.

این واقعا یکی از بزرگ‌ترین موارد خوش‌بینی در سال‌های اخیر است!» آدام مجمودار محقق OpenAI در X نوشت.

همه با Cammarata موافق نیستند. برای یکی، 26000 کلمه او صرفا یک "فرضیه کاری" برای "مقاله فنی آینده" بود و بنابراین ارزیابی آن در سطح فنی دشوار بود. و شبکه‌های عصبی که او از نزدیک مورد مطالعه قرار داد، مدل‌های بینایی بودند که عموما ساده‌تر و بهتر از مدل‌های زبانی زیربنای ChatGPT و Claude قابل درک هستند. کاماراتا ممکن است اشتباه کرده باشد، یا ممکن است در موردش اغراق کرده باشد. پست وبلاگ مورد بازبینی همتا نیست، و مقاله پیش رو نیز احتمالا مانند معمول در این زمینه نخواهد بود. خود تحقیق چیزی شبیه جعبه سیاه است.

(کاماراتا، که فورا به درخواست اظهار نظر پاسخ نداد، اوایل امروز در X نوشت که از همه بحث‌ها قدردانی می‌کند و رویکرد او «تاکنون امیدوارکننده به نظر می‌رسد» برای «مدل‌های بزرگ‌تر زبان مدرن».)

بحث در مورد مقاله کامماراتا شکاف های فلسفی را آشکار کرده است. نیل ناندا، مسئول تفسیر مکانیکی در گوگل دیپ مایند، در ارزیابی خود از یافته‌های کامماراتا نوشت: «این کار جالبی است، اما فکر نمی‌کنم به‌روزرسانی قابل‌توجهی برای تصویر بزرگ باشد». حتی اگر محققان بتوانند عملکرد هر نورون را در Claude Mythos 5.1 یا GPT-6 Astra تقریبی کنند، این به معنای درک نحوه اتصال آنها و نحوه عملکرد شبکه به عنوان یک کل نیست.

فیزیکدانان مدل های خوبی از اتم ها و فعل و انفعالات بین اتمی دارند، اما از ابتدا نمی توانند هر رویداد فیزیکی را توضیح دهند یا پیش بینی کنند (از این رو آب و هوای شدید غیرقابل پیش بینی یا، در این مورد، مفهوم اراده آزاد). شما همه دوستان خود را از مدرسه، محل های کار مختلف و لیگ سافت بال محلی می شناسید، اما همیشه نمی توانید بدانید که آیا آنها در جشن تولد شما با هم کنار می آیند یا خیر. بیشتر به این نکته، بینش در مورد عملکرد درونی یک مدل هوش مصنوعی لزوما بینشی در مورد چگونگی قابل اعتمادتر کردن فناوری ایجاد نمی کند.

تفسیرپذیری ممکن است برای ساخت مدل‌های هوش مصنوعی ایمن‌تر ضروری باشد، اما به هیچ وجه کافی نیست.

اگر مدل‌های مولد هوش مصنوعی زیر کاپوت خوانا باشند، بدون شک به ایمن‌تر شدن فناوری کمک می‌کند. اما بسیاری از مردم در دره سیلیکون، و به‌ویژه کارمندان OpenAI، در حال بحث درباره پست وبلاگ کامماراتا با اشتیاق بی‌نفس هستند که بازتاب سابقه طولانی سیلیکون ولی از راه‌حل‌های فنی آسان و وعده‌های بزرگ است - نگرشی که سوابق مختلف آن را در دنبال کردن آن رد می‌کند.

هر تحقیقی که مربوط به ایمنی هوش مصنوعی باشد، نیازمند صنعتی است که به دنبال عرضه عمومی چند تریلیون دلاری است تا سرعت خود را کاهش دهد و نگاهی طولانی و سخت به خود بیندازد. شاید حتی نگران‌کننده‌تر از یک ابرهوش نامفهوم، این واقعیت باشد که گروهی از شرکت‌ها آشکارا اعلام می‌کنند که واقعا نمی‌دانند چه چیزی می‌سازند – و سپس به هر حال آن فناوری را تا حد افراط ادامه می‌دهند. اگر Cammarata درست باشد، شرکت‌های هوش مصنوعی باید با یکدیگر، حسابرسان خارجی و دولت‌ها کار کنند تا بفهمند چگونه می‌توانند چنین پیشرفتی را به محصولات ایمن و قابل اعتماد ترجمه کنند.

و در حال حاضر، بدون هیچ گونه مقررات جدی، هیچ کس نمی تواند تصمیم به انجام چنین اقدامی به جز خود شرکت ها بگیرد. همه اینها نشان می دهد که جعبه های سیاه واقعی خود OpenAI و Anthropic هستند.