پست "Astra می تواند وزن ها را بخواند و بنویسد تا Qwen را بهبود بخشد" گمراه کننده است

شعبده بازان صحنه اغلب یک ترفند را به روش های مختلف انجام می دهند. یک تکرار از یک تکیه گاه استفاده می‌کند، در مورد بعدی به شما نشان می‌دهد که تکیه‌گاه حقه نیست، بلکه یکی به شیء دست می‌دهد، بار سوم یک انتخاب اجباری بود و غیره. وقتی اجرا را تماشا می‌کنید تصور می‌کنید که فقط یک تکنیک وجود دارد، بنابراین هر بار که آن‌ها آن را انجام می‌دهند به نظر می‌رسد که فرضیه شما را درباره نحوه کارکرد آن رد می‌کنند.

این تقریبا روشی است که آزمایش‌ها در «Astra می‌توانند وزن‌ها را برای بهبود عملکرد Qwen بخوانند و بنویسند». چکیده این پست می گوید:

تنها با نگاه کردن به وزن‌های خام، GPT-6 Astra می‌تواند تشخیص دهد که یک شبکه برای انجام چه کاری آموزش دیده است. و بدون هیچ گونه بازخورد محیطی، هیچ مشکلی برای نوشتن ندارد، از ابتدا، شبکه های بازی کوچکی که شبکه های آموزش دیده با PPO را برای 100 میلیون مرحله بازی می کنند.

به همین ترتیب، از Astra برای بهتر کردن Qwen3.5-0.8B در ریاضیات بدون گرادیان، مشکلی را در وزن‌های خود شناسایی می‌کند که باعث ایجاد حلقه‌های استدلالی می‌شود که کارت مدل خود Qwen در مورد آن هشدار می‌دهد، و با ویرایش بومی 0.016٪ از وزن‌ها، این مشکل را برطرف می‌کند. با تنظیمات نمونه‌گیری یکسان، این تصحیح وزن MATH-500 را از 7.9 درصد به 48.1 درصد افزایش می‌دهد و خارج از جعبه را به دستورالعمل‌های زیر تعمیم می‌دهد و IFEval را 3 برابر افزایش می‌دهد.

اگر آن را بخوانید، آیا فرض می‌کنید که آزمایش Qwen «فقط با نگاه کردن به وزن‌های خام» کار می‌کند؟ خوب اینطور نیست. آزمایش‌هایی وجود دارد که وزن‌های خام را بررسی می‌کنند، آزمایش‌هایی که شبکه بازی‌سازی را بهبود می‌بخشد، و آزمایشی که Qwen را در ریاضیات بهبود می‌بخشد. اما این دو مورد آخر فقط با وزن‌های خام کار نمی‌کنند، بلکه برنامه‌های پایتون را می‌نویسند.

در اینجا خلاصه‌ای از آنچه که پست واقعا انجام می‌دهد و تکنیک‌ها چگونه کار می‌کند، آمده است.

¹ با توجه به یک قسمت ضبط شده از شکست. ² در یک بار تلاش، تغییر 3.5٪ از وزن ها. ³ وزن ها از صفر شروع می شوند، بنابراین چیزی برای خواندن وجود ندارد. ⁴ PPO-500M را فقط در Breakout (517 در مقابل 25) می‌زند. در Seaquest (53 در مقابل 89) و Asterix (53 در مقابل 55) به آن باخت. ⁵ حداکثر 16 متن را اجرا می کند و فقط الگوهای توجه را می بیند، نه خروجی ها را.

تنظیم «فقط با نگاه کردن به وزن‌های خام» (شناورهای خام در زمینه، بدون ابزار، بدون اجرای شبکه) فقط در آزمایش‌های 1، 2 و 4، در شبکه‌هایی با وزن 17K-172K ظاهر می‌شود. هر آزمایشی که شامل یک مدل زبان واقعی است از پایتون استفاده می‌کند و نتیجه Qwen که سرفصل است، می‌تواند مدل را روی حداکثر 50 دسته از مسائل تمرینی اجرا کند.

آنچه که نتیجه Qwen در واقع نشان می دهد این است که می توان از Astra خواسته شد تا وظایفی را طراحی و انجام دهد که یک مهندس ML انسانی می تواند انجام دهد. مهندسان ML انسانی تکه‌هایی از کد می‌نویسند که وزن شبکه را "مستقیم" تجزیه و تحلیل یا تغییر می‌دهد. فهمیدن اینکه چگونه می توان این کار را به طور موثر انجام داد، چیزی نیست، و مدل های هوش مصنوعی یک یا دو سال پیش در همه این وظایف شکست خورده بودند.

اما برای من، نتیجه Qwen و آزمایش‌های دیگری که از پایتون استفاده می‌کنند، در همان پست یا کاغذ آزمایش‌هایی که مستقیما وزن‌ها را می‌خوانند، قرار ندارند. یک تکنیک واحد که می تواند به هر دو، «وزن نویسنده برای یک بازی کوچک از ابتدا» و «بهبود عملکرد یک مدل بزرگ در یک کار نمونه» دست یابد، مستلزم یک قابلیت عمیق است. اگر یک تکنیک واحد را به این ترتیب آزمایش کنید، نوعی «گشتالت» از وزن‌ها را نشان داده‌اید (می‌تواند آنها را از ابتدا بنویسد) و همچنین اینکه یک شبکه بزرگ موجود را درک می‌کند. اما این در اینجا اصلا درست نیست، زیرا یک تکنیک واحد نیست.