آموزش مجدد را فراموش کنید - هوش مصنوعی اکنون می تواند وزن هوش مصنوعی دیگری را تغییر دهد

خروجی‌های مدل‌های هوش مصنوعی نتیجه یک تعامل پیچیده بین نورون‌ها، وزن‌ها، آموزش و استنتاج هستند و بنابراین پیگیری آنها دشوار است.

اما از برخی جهات آنها بیشتر شبیه کتاب های باز شده اند. کار اخیر توسط Joshua Fonseca Rivera یکی از همکاران ایمنی Anthropic نشان داده است که چگونه نورون های خاصی در یک شبکه عصبی می توانند با یک شخصیت خاص مرتبط شوند.

اکنون، دانشمندان کامپیوتر از آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) دریافته‌اند که مدل‌های هوش مصنوعی مرزی مانند GPT-6 Astra از OpenAI می‌توانند وزن مدل دیگری را مستقیما و نه غیرمستقیم از طریق آموزش بازنویسی کنند و رفتار خود را تغییر دهند.

ریکیا تاکهی، دانشجوی دکترا در MIT CSAIL، در یک پست رسانه‌های اجتماعی گفت: «ما نشانه‌های اولیه‌ای پیدا می‌کنیم که نشان می‌دهد LLM‌های مرزی به‌طور شگفت‌انگیزی در خواندن، نوشتن و استدلال بومی درباره وزن شبکه‌های عصبی خوب هستند. مدل‌ها ممکن است به جای آموزش، وزن‌های خام را مانند کد قابل خواندن و قابل ویرایش در نظر بگیرند: تشخیص خرابی‌ها و اصلاح مستقیم آنها.

برای نشان دادن این موضوع، تاکهی و همکارانش Jayden Teoh، Alex Zhang و Omar Khattab از GPT-6 Astra خواستند تا وزن‌های Qwen3.5-0.8B را ویرایش کند تا در ریاضیات بهتر شود.

Astra تنها 0.016 درصد از وزن های مدل را تغییر داد، حلقه های استدلال آن را کاهش داد و عملکرد ریاضی آن را تا 6 برابر در معیار MATH-500 بهبود داد، در حالی که امتیاز پیروی از دستورالعمل خود را در معیار IFEval تقریبا سه برابر افزایش داد.

هیچ آموزشی با استفاده از نزول گرادیان وجود نداشت. Astra به تازگی مقادیر عددی که وزن‌های Qwen را تشکیل می‌دهند تجدید نظر کرده است.

محققان در یک پست وبلاگ نوشتند: "همه اینها بدون اجازه Astra برای نوشتن حلقه های آموزشی امکان پذیر است." "از استدلال خود استفاده می کند تا بفهمد که هر بخش از یک شبکه عصبی چه چیزی را محاسبه می کند یا باید محاسبه کند، و وزن ها را متناسب با آن تغییر می دهد. ما به این برنامه نویسی Weight-Space می گوییم.

"در طول تاریخ یادگیری عمیق، ما تعصبات استقرایی ساده خود را در بهینه سازهای نمادین کوچکی مانند آدام یا میون رمزگذاری کردیم. این در حال تغییر است: وزن‌های شبکه عصبی ما به‌زودی توسط LLM‌هایی که عمدا وزن خود را استدلال می‌کنند، به‌طور بومی بهینه‌سازی می‌شوند.»

توانایی Astra برای برنامه‌ریزی وزن‌ها به توانایی نوشتن یک شبکه عصبی از ابتدا و بدون شات ادامه می‌یابد. محققان به Astra گفتند: "از ابتدا، وزن یک شبکه سیاستی را بنویسید که [Breakout] را به بهترین شکل ممکن اجرا می کند." و این کار را کرد.

تاکهی پیشنهاد می‌کند که این تکنیک نویدبخش بهبود مدل‌ها بدون عواقب فراموشی فاجعه‌بار است، که زمانی رخ می‌دهد که یک مدل برای گنجاندن دانش جدید بازنگری شود.

به طور کلی تر، نویسندگان انتظار دارند که برنامه نویسی Weight-Space راه های جدیدی را برای درک مدل ها و بهینه سازی آنها و اجرای خود-بهبودی بازگشتی باز کند. این تکنیک همچنین ممکن است برای کاهش همزمانی مدل و بهبود تفسیرپذیری و همسویی مفید باشد.

نویسندگان می‌گویند که گام بعدی شامل ایجاد یک معیار و مهار برای اجرای برنامه‌نویسی Weight-Space در LLM است. آنها می گویند: "ما معتقدیم که این یک ارزیابی استاندارد برای اندازه گیری و سرعت بخشیدن به پیشرفت در برنامه نویسی وزن-فضا ارائه می دهد، و آنچه را که در حال حاضر شبیه جادوی سیاه به نظر می رسد به یک رشته مهندسی دقیق و قابل تکرار تبدیل می کند." ®