پیش‌نمایش Ripple-65B: SOTA با وزن باز ایالات متحده در کدنویسی عاملی

دستیابی به SOTA وزن باز ایالات متحده در کدگذاری عاملی

هوش مصنوعی یک آزمایشگاه هوش مصنوعی تمام پشته است که با بهینه‌سازی سخت‌افزار، نرم‌افزار و مدل، سیستم‌های خودبهبودی را ایجاد می‌کند.

برای تقویت پلتفرم طراحی تراشه خود، یک مدل زبان را از ابتدا آموزش دادیم که یک SOTA با وزن باز جدید ایالات متحده را روی کدگذاری عاملی تنظیم می کند. ما معماری مدل را برای پلتفرم های آموزشی و سرویس دهی خود بهینه کردیم، و باعث افزایش کارایی قابل توجهی شد.

امروز، پیش‌نمایش Ripple-65B را منتشر کردیم، یک نوع همه‌منظوره از مدل اختصاصی که پلتفرم طراحی تراشه هوش مصنوعی ما را تقویت می‌کند. این مدل بر روی 12 تریلیون توکن با پشتیبانی از طول زمینه تا 1M از قبل آموزش داده شده است. Ripple-65B Preview نتایج قدرتمندی را در زمینه کدگذاری عاملی ارائه می‌کند، به وزن باز ایالات متحده (80.52) در TerminalBench 2.1 و پیشی گرفتن از مدل‌های وزن باز بسیار بزرگتر ایالات متحده مانند Reflection Beam 501B (80.1)، MetaMuseKing (80.1) و MetaMusenking (80.1) و MetaMusenking (80.1) 975B (63.8) و NVIDIA Nemotron 3 Ultra 550B (56.4).

معماری مدل متراکم ریپل عملکرد استدلال قوی را با تولید توکن با تأخیر کم ارائه می دهد. پاکت پارامتر کوچک این مدل همچنین آن را قادر می سازد تا به طور موثر بر روی دستگاه های محلی مانند NVIDIA DGX Spark اجرا شود که دارای FLOP های محاسباتی بالا با پهنای باند حافظه کم نسبت به شتاب دهنده های مرکز داده است.

پیش‌نمایش Ripple-65B در Hugging Face، Together AI، GMI Cloud و OpenRouter در دسترس است. آتش بازی بعدا امروز پخش می شود.

به‌جای سرمایه‌گذاری در صعود RL با نیروی brute-force، ما دستور العمل‌های SFT و RL خود را با تمرکز بر راندمان محاسباتی با دقت تکرار کردیم. ما تصمیم گرفتیم هیچ داده پس از آموزش را خریداری نکنیم، در عوض خطوط لوله داده مصنوعی، فیلتر کیفیت و معیارهای پوشش را ابداع کردیم.

دستور العمل ترکیبی RL ما از نمونه برداری اهمیت کوتاه، تمرکز امتیاز و جریمه طول خطی با محیط های مصنوعی افق بلند با کیفیت بالا استفاده می کند. وظایف RL برای قابلیت‌های مدل ما تنظیم شده‌اند، و ما به طور مداوم وظایف سخت‌تری را با بهبود مدل اضافه می‌کنیم. نتیجه نهایی یک صعود شیب دار RL از یک ایست بازرسی اولیه قوی SFT بود. ما به امتیاز TerminalBench 2.1 80.5 با تنها 1.4 میلیون نسخه رسیدیم، تقریبا 70 برابر کمتر از Reflection Beam، SOTA قبلی.

معماری Ripple-65B Preview به گونه ای طراحی شده است که بر روی سخت افزار NVIDIA آموزش داده شود و به طور کارآمد ارائه شود. یک هدف کلیدی اتخاذ تصمیم‌های طراحی بود که پیچیدگی زیرساخت‌های پیش‌آموزشی و پس‌آموزشی را کاهش می‌دهد و در عین حال استدلال قوی و عملکرد عاملی را ممکن می‌سازد. بنابراین، ما ترجیح دادیم یک مدل ترانسفورماتور متراکم مدرن را به جای استفاده از Mixture-of-Experts (MoE) مانند سایر آزمایشگاه ها آموزش دهیم.

این تصمیم به سرعت جواب داد و ما توانستیم یک مدل قوی را از ابتدا آموزش دهیم و در عین حال یک MFU جامد (40٪) را در طول پیش‌آموزش و پس‌آموزش حفظ کنیم، حتی با شاردینگ ساده، بدون هسته‌های سفارشی و بدون کوانتیزه‌سازی.

Ripple-65B Preview از نسبت ابعاد مدل نازک و عمیق، با d_model باریک (5120) و 80 لایه در کل استفاده می کند. برای بهبود عملکرد استدلال، ما تعداد سرهای توجه را بیش از حد فراهم می کنیم در حالی که نسبت SWA به لایه جهانی را افزایش می دهیم و اندازه پنجره SWA را کاهش می دهیم تا هزینه افزایش یافته را جبران کنیم. علاوه بر این، ما بریده فعال سازی FFN، توجه دروازه ای، NoPE جهانی و باقیمانده های ارزش را اضافه کردیم.

ما دستور پیش‌آموزشی ریپل را از طریق یک سری آزمایش‌های دقیق نردبانی مدل بهینه کردیم.

نقطه شروع ما نردبان مدل Olmo 3 بود که از آنجا مداخلات را در مقیاس کوچک با تمرکز بر بهبود قابلیت های کدگذاری آزمایش کردیم. نردبان v1.0 ما قوانین مقیاس بندی دسته ای StepFun و نرخ یادگیری را پیاده سازی کرد و نسخه 1.1 نردبان جدید ما را پیاده سازی کرد که ابعاد معماری و عمق مدل را به آرامی مقیاس می کند. نردبان نسخه 1.2 از خط پایه پس از هنجار به هنجار پیش + پس تغییر کرد که در مقیاس کوچک خنثی بود اما از 4B شروع به بهبود نشان داد. نردبان نسخه 1.3 توجه دروازه ای سیگموید را پیاده سازی کرد.

Ladder v1.4 (2 جریان mHC) نتایج خوبی در مقیاس کوچکتر نشان داد اما در مقیاس 4B بهبود نیافت و بنابراین رد شد. نردبان نسخه 1.5 به NoPE جهانی تغییر مکان داد و یک خنک کننده نهایی LR را به صفر اضافه کرد و نردبان نسخه 1.6 ارزش باقیمانده را اضافه کرد. در نسخه نهایی، ما به مجموعه داده‌های پیش‌آموزشی سفارشی خود با کد به‌طور قابل‌توجهی نمونه‌گیری شده تغییر کردیم.

تغییرات مرکب با هم، کارایی محاسباتی روی کد را که توسط dolma_stack CE اندازه‌گیری می‌شود تا 16 برابر در مقیاس مدل 4B بهبود بخشید. به عبارت دیگر، نردبان مدل نهایی ریپل ما می‌تواند برای دستیابی به عملکرد کد مشابه با نردبان Olmo 3 با 16 برابر محاسبه کمتر استفاده شود. توجه داشته باشید که شیب خط پایه نردبان Olmo 3 کمتر از نردبان v1.0+ است، که نشان می‌دهد بهبود راندمان محاسباتی با مقیاس اضافی افزایش می‌یابد.

ما پیش‌نمایش Ripple-65B را برای شروع بستن حلقه بین مدل‌ها و سخت‌افزاری که به آنها انرژی می‌دهد، ساختیم. یک نوع داخلی از این مدل، پلتفرم طراحی تراشه هوش مصنوعی ما را تقویت می‌کند و ما مشتاقانه منتظر دیدن قابلیت‌هایی هستیم که در حین پیشرفت به سمت مرزها ظاهر می‌شوند.

ما خوش شانس بودیم که بر روی کمک های منبع باز موجود، از جمله مشارکت های تیم Olmo در موسسه آلن برای هوش مصنوعی (AI2)، Prime Intellect، RadixArk و NVIDIA، استفاده کنیم. یک اکوسیستم منبع باز قوی نیز خود بهبود می یابد، جایی که مشارکت کنندگان اکوسیستم را تقویت می کنند، که به نوبه خود مشارکت کنندگان بیشتری را جذب می کند.

در Ricursive، ما به‌طور انتخابی محققان و مهندسان استثنایی را استخدام می‌کنیم تا مرز هوش مصنوعی کامل از مدل به سیلیکون را پیش ببریم. اگر علاقه مند هستید، https://www.ricursive.com/careers را بررسی کنید.