Inkling 2 کوچک

امروز ما نسل دوم مدل خود را با Inkling 2 Small معرفی می کنیم. این یک مدل Mixture-of-Experts با 594B پارامتر کل، 17B فعال است و از ورودی های تصویر و تلاش متغیر پشتیبانی می کند.

Inkling 2 Small به مراتب از امتیاز مدل های قبلی ما در شاخص هوش آنالیز مصنوعی با امتیاز 31 پیشی گرفته است که منعکس کننده دستاوردهای عملکرد در کدگذاری عاملی، دید، کار دانش و استدلال است. افزایش قابلیت‌ها ناشی از پیشرفت‌هایی است که در هر مرحله از فرآیند آموزشی ما انجام شده است، از جمله پیش‌آموزش کارآمدتر و اجرای یکپارچه RL.

Inkling 2 Small در ابتدا از طریق Tinker با وزنه‌های بسته در دسترس خواهد بود، به دنبال رویکردی که در مسیری امن برای وزن‌های باز توضیح دادیم. ما قصد داریم هفته آینده پس از اتمام تست ایمنی خارجی و تیم قرمز، وزنه های کامل را تحت مجوز Apache 2.0 در دسترس قرار دهیم.

امروز می توانید Inkling 2 Small را در Tinker Playground امتحان کنید. این مدل همچنین برای تنظیم دقیق و نمونه برداری در Tinker در دسترس است. چک پوینت ها با انتشار وزنه های Inkling 2 Small قابل دانلود خواهند بود.

Inkling 2 Small نسبت به نسل اول ما، به ویژه در کارهای مستقل در افق طولانی، توانایی بیشتری دارد.

چشم انداز و قابلیت های عاملی Inkling 2 Small این امکان را به آن می دهد تا بازخورد بصری را برای ساخت و اصلاح مکرر وب سایت ها، بازی ها و طرح های سه بعدی با عناصر تعاملی ترکیب کند.

Inkling 2 Small با RL در صدها هزار کار کدگذاری افق بلند در میان مهارهای عامل متعدد و استراتژی‌های فشرده‌سازی متن آموزش دید. ما کیفیت خط لوله داده‌های کدگذاری مصنوعی خود را افزایش دادیم و به تنهایی از پاداش‌های آزمون واحد فراتر رفتیم. بسیاری از کارها شامل یک گریدر RL عاملی بود که نحوه برخورد مدل با مشکل را ارزیابی می کرد، نه فقط اینکه آیا کد آن تصویب شده است یا خیر. ما همچنین نقاط بازرسی اولیه Inkling 2 Small را در OpenCode تحت نام Fledge-Alpha آزمایش کردیم تا عملکرد مدل خود را در کارهای کدگذاری در دنیای واقعی ارزیابی کنیم.

نتیجه مدلی است که هم در کدنویسی قوی‌تر است و هم استفاده از آن در حلقه‌های عامل واقعی آسان‌تر است. Inkling 2 Small قابلیت استفاده را در مقایسه با Inkling بهبود می‌بخشد: دستورالعمل‌ها را بهتر دنبال می‌کند، تغییرات را با دقت در نظر می‌گیرد و کار خود را بدون درخواست تأیید می‌کند.

69 کار · چهار تلاش مستقل · بودجه 10 ساعته

یک منحنی را نگه دارید یا مدلی را برای بازرسی انتخاب کنید. برای بازنشانی دوباره آن را انتخاب کنید. با یک مدل متمرکز، از ← و → برای گذر از نتایج یا Escape برای پاک کردن استفاده کنید.

ردیف‌ها بر اساس AUC مرتب می‌شوند: سطح زیر منحنی میانگین در طول 0 تا 10 ساعت، با حداکثر 690 ساعت کار.

هر مدل از حداکثر تنظیم استدلال موجود، مهار PI و خط مشی فشرده سازی مشترک استفاده می کند. ما رفع مشکلات تکلیف و درجه بندی شناسایی شده در طول ارزیابی را اضافه می کنیم. هر راه حل ارائه شده دو ممیزی مستقل LLM دریافت می کند، با بررسی سوم اختلاف نظر را حل می کند.

فراتر از وظایف نرم افزاری معمولی، Inkling 2 Small نیز در زمینه کارهای جستجوی خودکار در افق طولانی آموزش دیده است. این شامل بهینه‌سازی هسته GPU و وظایف ML مانند آموزش پس از آموزش یک مدل به صورت مستقل، همگی در طیف وسیعی از معماری‌های GPU است.

DeepSeek-V3.2 توجه کم، جلو + عقب

Inkling 2 Small ورودی های تصویر را با استفاده از یک رمزگذار بینایی با پارامتر 292M بر اساس Perception Encoder Bolya و همکاران، 2025 پردازش می کند. . ما از وصله‌های 20×20 پیکسلی با ادغام فضایی 2×2 استفاده می‌کنیم و وصله‌های تصویر را با نشانه‌های متنی به هم می‌زنیم. این مدل قابلیت‌های بصری قوی را در چندین دسته از جمله OCR، زمین‌سازی، تفسیر اینفوگرافیک و استدلال بصری نشان می‌دهد.

این مدل از دید در حلقه برای تفسیر و اعتبار سنجی خروجی کدگذاری بصری که تولید می کند استفاده می کند. در انتظار انتشار وزنه های آن، قرار است بهترین مدل وزنه باز در DesignArena باشد.

ما حتی Inkling 2 Small را در مقابل برخی از محققان خود در یک رویداد مزه شراب آزمایش کردیم. تنها با استفاده از بینایی از آنها بهتر بود و در 19 آزمایش از 20 آزمایش، سه شراب را از یک عکس به درستی شناسایی کرد.

اعلان: شما در یک مسابقه مزه شراب کور هستید. لیوان ها از چپ به راست 1 تا 3 برچسب گذاری شده اند. انواع: 99 تاکسی ساو، 19 تاکسی ساو، 23 نبیلو

Inkling 2 Small: این مطلب من است - با توجه به این نکته بزرگ که رنگ عکس تلفن در زیر نور گرم رستوران شواهد متزلزلی است، بنابراین با این موضوع به عنوان یک حدس تحصیلی نگاه کنید، نه یک حکم.

حدس من: لیوان 1 = 2019 کابرنه سوویگنون گلس 2 = 1999 کابرنه سوویگنون گلس 3 = 2023 نبیلو

نقاط ضعف صادقانه در این حدس: نورپردازی ناهموار است (شیشه سمت چپ در ناحیه کم نور نزدیک آتشگاه قرار دارد، که تاریکی آن را اغراق می کند)، و یک 1999 که به خوبی ذخیره شده باشد می تواند بسیار تیره تر از آن چیزی که در دوربین به نظر می رسد بنوشد. تفاوت رنگ، نه عمق، گویای واقعی خواهد بود - اگر شیشه 2 رنگ نارنجی/قهوه ای را در لبه در مقابل لبه بنفش مایل به قرمز شیشه 1 نشان دهد، این موضوع را تایید می کند.

گره‌شکن‌های سریع حسی وقتی واقعا مزه می‌کنید:

اگر مایع ریخته شده در لیوان 3 رنگ پریده است اما دهان شما توسط تانن ها شن گرفته شده است، این تاییدیه نبیولو است. اگر نرم و مخملی است، شیشه 3 و شیشه 2 را برگردانید. در مسابقه موفق باشید - اگر آن را دریافت کردید، با فاش گزارش دهید.

Inkling 2 Small کار دانش را در محیط های حرفه ای واقع گرایانه سرعت می بخشد. به طور ماهرانه ای اطلاعات را جستجو می کند، ابزارها را از طریق MCP فراخوانی می کند و محصولات قابل تحویل با کیفیت بالا تولید می کند. در AA-Briefcase، یک معیار کار دانش سرتاسر، این قابلیت‌ها برای امتیاز ELO 1527 گرد هم می‌آیند.

Inkling 2 Small به ویژه در مباحث مالی و استدلال کمی بیش از صفحات گسترده، پرونده ها و اسناد قوی است. در میان مدل‌های وزن باز، Inkling 2 Small بهترین مدل با عملکرد در چندین معیار مالی است.

برخی از مدل ها، مستقل از عملکرد خارج از جعبه، به تنظیم دقیق بهتر پاسخ می دهند. ما می‌خواستیم Inkling 2 Small یک مدل پایه قوی برای سفارشی‌سازی باشد.

Inkling 2 Small زمانی که بر اساس داده‌ها و الگوریتم‌های مشابه در انواع سناریوهای پس از آموزش آموزش داده می‌شود، سریع‌تر از مدل‌های قبلی ما بیشتر می‌آموزد و بهبود می‌یابد، که ما آن‌ها را بر اساس موارد استفاده مشتری تنظیم کردیم. به عنوان مثال، با شروع از نمرات مشابه پایین در یک کار خلاصه سازی اسناد مالی عمومی، Inkling 2 Small به سرعت تطبیق می یابد، تنها با 75 مرحله آموزشی به عملکرد نهایی Inkling Small می رسد و به طور قابل توجهی جلوتر به پایان می رسد.

Inkling 2 Small در مورد مسائل چالش برانگیز STEM، دنبال کردن دستورالعمل ها، جستجوی اطلاعات با و بدون جستجوی وب، و وظایف پیش بینی آموزش دیده است. در طول RL، ما از قوانین امتیازدهی مناسب برای پیش‌بینی وظایف و پاداش‌های حساس به عدم قطعیت در برخی از وظایف پاسخ‌گویی به سؤال استفاده می‌کنیم. این به مدل آموزش داد تا عدم قطعیت را ارزیابی کند، اطمینان مناسب را بیان کند و پیش‌بینی‌های به خوبی کالیبره شده انجام دهد.

کار ایمنی ما برای Inkling 2 Small بر دو سوال متمرکز است: اینکه مدل چگونه برای کاربر عمومی کار می‌کند و اینکه چقدر در برابر حذف محافظ‌ها توسط یک عامل مخرب مقاومت می‌کند. انتشار وزنه های Inkling در انتظار ارزیابی های ایمنی بیشتر توسط ما و شرکای ما است.

برای ارزیابی خطرات سوء استفاده، ما یک نوع مفید داخلی را آموزش دادیم. ما هم این مدل و هم نقطه بازرسی انتشار را از طریق مجموعه گسترده‌تری از ارزیابی‌ها، با تعداد بیشتری آزمایش‌کننده خارجی، از هر نسخه قبلی اجرا کردیم.

در مورد خطرات شیمیایی، بیولوژیکی، رادیولوژیکی و هسته ای (CBRN)، نمرات دانش و توانایی Inkling 2 Small در زیر مرز وزن باز قرار دارد. در FORTRESS، معیار خصوصی Scale AI که میزان کمک مضر یک مدل را در پاسخ به درخواست‌های خصمانه نوشته شده توسط متخصص در سراسر CBRN، تروریسم، و جرایم غیرخشونت‌آمیز نمره می‌دهد، Inkling 2 Small دارای میانگین ریسک کمتری در مقایسه با Inkling و Inkling-Small (و همچنین نشان‌دهنده بیش‌ازحد) است.

تنها نوع مفید Inkling 2 Small افزایش حاشیه ای را در دانش CBRN نسبت به ایست بازرسی آزاد نشان می دهد، اما به طور قابل توجهی مرز را در هیچ بعدی که اندازه گیری کردیم، پیش نمی برد.

در معیارهای سایبری عامل توهین آمیز و با استفاده دوگانه، Inkling 2 Small یک گام بزرگ از Inkling Small است، اما در پشت مرزهای وزن باز باقی مانده است. این مرز با وزن باز در Vals CyberBench نسخه 1.1 و PatchEval مطابقت دارد، که هر دو توانایی یافتن و وصله آسیب‌پذیری‌های امنیتی را اندازه‌گیری می‌کنند.

* در حالی که ما موقعیت‌های پریشانی روانی را به خوبی مدیریت می‌کنیم، مدل ما گاهی اوقات با سلب مسئولیت‌ها در درخواست‌های عادی حمایت عاطفی همانطور که در بخش محدودیت‌ها ذکر شد، بیش از حد واکنش نشان می‌دهد.

همانطور که مدل ها کار مستقل بدون نظارت و افق طولانی تری را انجام می دهند، آسیب احتمالی ناشی از رفتار نادرست آنها افزایش می یابد. بدون توجه مناسب به تراز، RL متمرکز بر قابلیت ها می تواند مدل ها را به هر قیمتی به موفقیت سوق دهد. هنگامی که وظایف دشوار بود، پست های بازرسی اولیه Inkling 2 Small در تلاش برای موفقیت مداوم بودند - در برخی موارد نتایج را جعل می کردند، دستورالعمل ها را نادیده می گرفتند و آنچه را که انجام داده بودند پنهان می کردند.

ما در سراسر پشته کار کردیم تا هم ترازی مدل را بهبود دهیم. در تمرین میانی، ردپای حاوی رفتار نادرست را فیلتر کردیم و ردپایی را با رفتار صادقانه و همسو قرار دادیم. در RL، یک پاداش هم‌ترازی کلی اضافه کردیم که رفتار نادرست در هر کار را جریمه می‌کند. ما همچنین محیط‌هایی ساختیم که حالت‌های شکست خاصی را که در آموزش مشاهده کرده‌ایم، مانند مدل‌های پاداش برای کنار گذاشتن کارهای غیرممکن را هدف قرار می‌دهند. در نهایت، ما از خود تقطیر مبتنی بر سیاست، ژائو و همکاران، 2026 استفاده کردیم. از یک مدل معلم که با یک مشخصه رفتار تحریک شده است، بنابراین این مدل اصول رفتار خوب را بدون تلقین صریح درونی می کند.

ما پیشرفت را با ارزیابی‌های داخلی و خارجی اندازه‌گیری کردیم و دریافتیم که Inkling 2 Small به طور قابل‌توجهی نسبت به مدل‌های قبلی Inkling در ارزیابی‌های داخلی و خارجی بهبود می‌یابد و از مجموعه‌ای از مدل‌های وزن باز قابل مقایسه در ارزیابی‌های داخلی ما بهتر عمل می‌کند.

Inkling 2 Small همچنان مدل‌های با وزن بسته، مانند GPT-6.1 Sol را در ارزیابی‌های هم‌ترازی ما دنبال می‌کند. کاهش این شکاف در اولویت مدل های آینده است.

ما همچنین برای ایمن سازی آموزش و ارزیابی با دو لایه نظارت کار کردیم. اولی همگام است: یک مانیتور تماس های ابزار را قبل از اجرا بررسی می کند. هر وظیفه اعلام می کند که چه اقداماتی مجاز است. قوانین قطعی تماس ها را در برابر خط مشی و الگوهای دور زدن وظیفه بررسی می کند و موارد نامشخص را به یک قاضی LLM تشدید می کند. لایه دوم ناهمزمان است: یک قاضی LLM راه‌اندازی‌های تکمیل‌شده از آموزش و ارزیابی را برای رفتار نادرست و اقداماتی که علیه مرز امنیتی ما انجام می‌شود، بررسی می‌کند و هشدارهایی را ارائه می‌کند که ما آن‌ها را تریاژ می‌کنیم و در فرآیند حادثه خود تشدید می‌کنیم.

اینها با هم یک رویکرد دفاعی عمیق برای ایمنی و همسویی را تشکیل می دهند که ما آن را برای توسعه یک کارخانه مدل ایمن حیاتی می دانیم.

مرحله پیش‌آموزشی اولیه Inkling 2 Small (H1) 8.4 تریلیون توکن از ترکیب گسترده‌ای از داده‌های زبان طبیعی، کد و تصویر را پوشش داد. به مدت 68 ساعت روی رک‌های NVIDIA GB300 NVL72 کار کرد که موازی‌سازی تخصصی بالایی را امکان‌پذیر کرد. آموزش به صورت بومی در NVFP4 اجرا شد، فرمت ممیز شناور 4 بیتی که با معماری NVIDIA Blackwell GPU معرفی شد. به زودی در یک پست بعدی جزئیات بیشتری در مورد دستور غذای NVFP4 خود به اشتراک خواهیم گذاشت.

Cutoff 2026-06 · بیت در هر بایت (کمتر بهتر است)

ما این مرحله اولیه را با فاز دوم (H2) متشکل از 3.8 تریلیون توکن داده‌های با کیفیت بالاتر و جدیدتر که مدل ندیده بود، در زمینه 512K دنبال کردیم. فاز سوم و چهارم با داده‌ها در قالب استقرار مخلوط شدند. مرحله سوم حدود 320 میلیارد توکن استدلال و مسیرهای عامل در زمینه 1M، در کنار داده‌های پیش‌آموزشی مجدد بود. فاز چهارم (H4) تنها داده‌های با کیفیت را حفظ می‌کرد: حدود 34 میلیارد توکن مسیرهای عامل.

مخلوط‌های H3 و H4 عمدتا از مسیرهای نمونه‌برداری شده از مدل‌های قبلی از جمله Kimi K3 و مدل‌های خودمان تشکیل شده‌اند که برای صحت و تراز بودن فیلتر شده‌اند.

سپس یک اجرای مشترک RL را انجام دادیم که شامل 1075 مرحله و بیش از 17 میلیون نسخه در طی 9 روز بود. برای جزئیات بیشتر به جدول زیر مراجعه کنید. این اجرای مشترک با نسخه قبلی Inkling در تضاد است، جایی که ما اجراهای استدلالی و عاملی RL جداگانه را اجرا کردیم و آنها را با تقطیر چند معلمی ترکیب کردیم.

ترکیب وظایف شامل مهندسی نرم افزار در مخازن واقعی، وظایف ترمینال، ایجاد سند، پاسخگویی به سوالات STEM، چشم انداز، ساخت اپلیکیشن وب، استفاده از ابزار با کاربران شبیه سازی شده و ایمنی بود. هر خانواده وظیفه درجه بندی مخصوص به خود را داشت:

تست های واحد پنهان و بررسی های برنامه ای برای اکثر کارهای کدنویسی.

داوران LLM مبتنی بر روبریک برای اسناد و استفاده از ابزار.

پاسخ های مرجع برای STEM و پاسخ سوال بینایی.

مدل‌های پاداش زوجی که اسکرین‌شات‌های برنامه‌های وب ارائه‌شده را مقایسه می‌کنند.

ما به طور تصادفی نمونه برداری کردیم و در سطح تلاش شرطی کردیم، و یک جریمه طول در تابع پاداش اعمال کردیم، که به مدل آموزش داد تا سرعت و دقت را عوض کند.

RL ناهمزمان ما از یک نوع مرکز امتیاز - هدف StableReinforce در Tinker - استفاده می‌کند که کهنگی قابل توجهی را تحمل می‌کند. اجرای ما کارهای افق کوتاه و بلند را با توکن‌های عرضه کل p50/p99 به ترتیب 43k و 1.5M و مدت p50/p99 به ترتیب 8 دقیقه و 4 ساعت ترکیب می‌کند. ما از طول زمینه 256k استفاده می کنیم و آموزش فشرده سازی را برای کارهای افق طولانی فعال می کنیم. در نتیجه، هم پاداش آموزشی و هم عملکرد ارزیابی به صورت لاگ خطی با محاسبه رشد می کنند.

عملی کردن این مقیاس به بهبودهایی در سراسر پشته سیستم نیاز داشت. زیرساخت RL ما آموزش و نمونه برداری NVFP4 MoE را به کار می گیرد. در طول نمونه برداری، از پیش پر کردن، پیش نویس، و تأیید اجرا به طور کامل بر روی نمودارهای CUDA. مربیان پشته پیش تمرین را با نمودارهای موازی تخصصی بالا، EPLB و CUDA برای بهبود کارایی GPU منعکس می کنند. برای پشتیبانی از بارهای کاری عامل افق طولانی، ما از مسیریابی چسبنده و تخلیه حافظه پنهان KV DRAM برای حفظ نرخ ضربه پیشوند کش پیشوند 93% استفاده می کنیم که به ما امکان می دهد علی رغم آموزش در زمینه های طولانی، نسبت نمونه: مربی 5:3 را حفظ کنیم.

انتقال وزن از طریق GPUDirectRDMA با نرخ خط 93%+ با تأیید کننده جمع کنترلی نا متغیر موازی انجام می شود. ما همچنین با ارائه گونه‌ای از حافظه پنهان NVFP4 KV، هزینه استنباط استقرار را کاهش می‌دهیم، که به نظر می‌رسد ارزش‌ها را به حداقل کاهش می‌دهد.

وظایف درازمدت به مدل ساعت‌ها استقلال می‌دهد و خطرات احتمالی ناشی از رفتار ناهماهنگ را افزایش می‌دهد. در اواسط اجرای اصلی RL، مانیتور ناهمزمان ما نمونه‌ای را علامت‌گذاری می‌کند که در آن مدل، با شکست در یک کار، از طریق یک سرویس شخص ثالث که می‌توانست با استفاده از ابزارهای جستجوی خود به آن دسترسی پیدا کند، در اطراف یک بلوک شبکه کار می‌کند. اجرا را متوقف کردیم، زیرساخت‌هایمان را سخت‌تر کردیم، محیط‌هایی را که نیاز به دسترسی به وب داشتند حذف کردیم و نظارت بر تماس‌های ابزار همزمان را اضافه کردیم. سپس اجرا را از سر گرفتیم و مراحل آموزشی اضافی را به طور خاص برای هم ترازی، همانطور که در بالا توضیح داده شد، ترکیب کردیم.

بهبود فرآیند ما به ما امکان می دهد مدل ها را در اندازه های مختلف با استفاده از دستور العمل های مشابه با مقیاس بندی و عملکرد قابل پیش بینی آموزش دهیم. Inkling 2 Small بخشی از یک نردبان مدل است. ما مشتاقانه منتظر به اشتراک گذاشتن پله های بیشتر با شما هستیم.

مانند نسخه های قبلی Inkling، ما Inkling-Small را در طیف گسترده ای از قابلیت ها محک زدیم. همه ارزیابی‌ها با تلاش 0.99 (نشان دادن) و دمای 1.0 اجرا می‌شوند. همه ارزیابی‌ها با حداکثر مسیر 1M-token اجرا می‌شوند که از حد 256K-token استفاده شده برای Inkling Small افزایش یافته است.

عکس فوری ارزیابی: نتایج از دست رفته به صورت خط تیره نشان داده می شوند.

در حالی که Inkling 2 Small قابلیت استفاده را در مقایسه با Inkling بهبود می‌بخشد، مختصرترین ابزار ارتباطی نیست و همیشه بهترین ابزارها را برای کار انتخاب نمی‌کند – به خصوص در پایگاه‌های کد با تعداد زیادی مهارت.

مانند مدل های قبلی Inkling، Inkling 2 Small به طور بومی از ورودی تصویر پشتیبانی می کند. با این حال، این مدل از صدا پشتیبانی نمی کند.

Inkling 2 Small نیز برای تجربه چت کمتر بهینه شده است. ما متوجه مسائلی مانند سازماندهی و ارائه بدتر محتوا، استفاده بیش از حد از اسلش، و واکنش بیش از حد به سلامت روان و سایر پرسش‌های مربوط به ایمنی می‌شویم.

ما مفتخریم که Inkling 2 Small را برای استنتاج و تنظیم دقیق در Tinker در دسترس قرار دهیم. پس از تکمیل تست ایمنی، این مدل در هفته‌های آینده بر روی پلتفرم‌های اضافی در دسترس خواهد بود.

Inkling 2 Small در خدمت ماموریت ما برای ساختن هوش مصنوعی است که اراده و قضاوت انسان را گسترش می دهد. امیدواریم که جاه‌طلبی‌های شما را تشویق کند و مشتاقانه منتظریم ببینیم با آن چه می‌سازید.