دوره آموزشی سباستین راشکا از ابتدا در مورد ساخت مدل های استدلال

من در دو سال گذشته در مورد مدل‌های استدلال در Ahead of AI، از جمله مقاله اخیر در مورد مکانیسم‌های کنترل سطوح تلاش استدلال در LLMهای معاصر، مطالب زیادی در اینجا نوشته‌ام. مدل های استدلال هنوز هم مثل همیشه مرتبط هستند. در واقع، تقریبا تمام LLM های نسل فعلی امروزه مدل های استدلالی هستند یا یک حالت استدلال ارائه می دهند.

برای کسانی که به نحوه عملکرد مدل‌های استدلال، از جمله مقیاس‌بندی استنتاج، یادگیری تقویتی، و تقطیر علاقه‌مند هستند، من مدل استدلال ساخت اخیر خود را نوشتم (از ابتدا)، که اینها را از پایه در PyTorch پیاده‌سازی می‌کند، که بر اساس تجربه من، هنوز بهترین راه برای درک و یادگیری نحوه کار واقعا چیزها است.

حالا در چند ماه گذشته من هم نشستم و سخنرانی های همراهی را که می خواستم با شما به اشتراک بگذارم ضبط کردم. بنابراین، در زیر، هشت ویدیوی مدل‌سازی استدلال از ابتدا (11 ساعت محتوا) را خواهید دید.

ما با یک LLM از قبل آموزش دیده شروع می کنیم و روش هایی را برای ارزیابی و بهبود آن در Python و PyTorch پیاده سازی می کنیم. بنابراین، اگر سال گذشته از کدنویسی LLM من از دوره Ground Up لذت بردید، این در اصل دنباله آن است (اما می توانید بدون دوره قبلی نیز به عنوان پیش نیاز آن را تماشا کنید).

من در حال حاضر یک استراحت کوتاه می گذرانم و به زودی با جمع بندی تحقیقات LLM هیجان انگیزتر در ماه آینده برمی گردم. در ضمن، امیدوارم از کدنویسی لذت ببرید!

به عنوان یک یادداشت جانبی کوچک، و از آنجایی که اغلب از من می‌پرسند که مدل‌های استدلالی چگونه با عوامل هوش مصنوعی امروزی ارتباط دارند، قبل از شروع کار با ویدیوها، بخش کوتاهی در این زمینه وجود دارد.

یک مدل استدلال اساسا ارتقاء یک LLM معمولی است، یعنی افزودن پس از آموزش بیشتر از طریق یادگیری تقویتی با پاداش‌های قابل تأیید (و تکنیک‌های مقیاس‌بندی استنتاج اختیاری) تا توانایی بیشتری در حل مسائل چالش برانگیز داشته باشد. به طور کلاسیک، مدل‌های استدلال برای ریاضیات و کد ایجاد می‌شوند، اما قابلیت‌ها می‌توانند به سایر حوزه‌های مسئله نیز تعمیم دهند.

سپس یک مدل استدلال به عنوان موتور درون یک مهار عامل عمل می کند، جایی که مهار عامل یک نرم افزار یا چارچوب ابزاری در اطراف مدل LLM/reasoning برای مقابله با مشکلات چالش برانگیزتر (کارهای کدگذاری بزرگتر، رزرو سفر، و سایر انواع وظایف دستیار شخصی) است. وظیفه مهار، مدیریت بافت پیچیده و دادن دسترسی LLM به ابزارها است.

شکل 1: یک قیاس موتور برای LLM های معمولی، مدل های استدلالی و مهارهای عامل. شکل از مقاله من مؤلفه های عامل کدگذاری.

در این قیاس که در شکل بالا نشان داده شده است، مدل موتور است، و مهار عامل ماشینی را اضافه می کند که به ما امکان می دهد از آن برای موارد مختلف استفاده کنیم (به عنوان ارتقاء یک رابط چت بات ساده). یک عامل می‌تواند از یک LLM معمولی یا یک مدل استدلال استفاده کند، اما مدل‌های استدلالی انتخاب معمولی‌تر هستند زیرا توانایی بیشتری دارند. (همانطور که در بالا ذکر شد، اکثر LLM های نسل فعلی مدل های استدلالی با تنظیمات تلاش استدلال متغیر هستند.)

بنابراین، نتیجه این است که مدل‌های استدلال، به عنوان «موتور»، بخش مهمی از درک عوامل مدرن LLM باقی می‌مانند.

منابع همراه با این موضوعات نشان داده شده در بالا عبارتند از:

کتاب و ویدئوهای ساخت مدل زبان بزرگ (از ابتدا).

کتاب ساخت مدل استدلال (از ابتدا) (و ویدیوهای زیر)

اجزای یک مقاله عامل کدنویسی در Substack

ویدئوهای زیر بر توسعه مدل استدلالی تمرکز دارند که می تواند چنین سیستمی را تقویت کند.

ویدئوهای استدلال از ابتدا بر روی یک مدل کوچک Qwen3 از قبل آموزش دیده تمرکز می کنند، جایی که ما خودمان روش های استدلال را در Python و PyTorch پیاده سازی می کنیم. شروع با یک مدل از پیش آموزش دیده به ما امکان می دهد روی بخش جالب تمرکز کنیم: ارزیابی، مقیاس بندی زمان استنتاج، یادگیری تقویتی و تقطیر.

در مورد پیش نیازها، توصیه می کنم با پایتون و PyTorch راحت باشید. من مواد استدلالی را به عنوان محتوای مستقل طراحی کردم، بنابراین محتوای قبلی ساخت مدل زبان بزرگ (از ابتدا) توصیه می‌شود اما به شدت الزامی نیست.

از نظر منابع محاسباتی، می‌توانید نمونه‌های اولیه تولید متن و ارزیابی را روی یک CPU کار کنید. برای آزمایش های بعدی، به ویژه آموزش، یک GPU کار را بسیار کاربردی تر می کند. ویدیوی اول تنظیمات و چند توصیه دیگر را پوشش می دهد. این مخزن همچنین شامل توصیه های سخت افزاری و محیطی است.

شکل 2: مروری بر موضوعات تحت پوشش.

این ویدیوها همراه کتاب من، ساختن یک مدل استدلال (از ابتدا) است. اگر دوست دارید توضیحات را با جزئیات بیشتر و با سرعت خودتان بخوانید، تمرینات و غیره را انجام دهید، کتاب را به عنوان همراه در اینجا توصیه می کنم.

برای عمیق‌ترین تجربه یادگیری، پیشنهاد من این است که یک فصل را بخوانید، کد آن را در کنار ویدیوی مربوطه کار کنید و سپس تمرین‌ها را امتحان کنید.

کتاب از Manning و Amazon در دسترس است و نسخه چاپی آن رنگی است!

شکل 3: گزیده ای تصادفی از کتاب چاپی Build a Reasoning Model (از ابتدا).

از همه کسانی که نسخه ای را انتخاب کرده اند یا آن را به یک دوست توصیه کرده اند سپاسگزاریم. حمایت شما به من کمک می کند تا به ایجاد این مواد ادامه دهم.

به عنوان آخرین یادداشت جانبی سریع قبل از رسیدن به ویدیوهای اصلی زیر: برای یک نمای کلی کوتاه‌تر و مفهومی‌تر، من همچنین دوره آموزشی مدل‌های استدلال هوش مصنوعی خود را در آموزش لینکدین توصیه می‌کنم (این دوره باید به مدت 24 ساعت در هنگام دسترسی به آن از طریق پیوند آنجا رایگان باشد، که پس از آن نیازی به اشتراک LinkedIn Premium ندارد).

این دوره حدود 90 دقیقه است و نحوه عملکرد مدل های استدلال را توضیح می دهد و ایده های اصلی را در پس مقیاس بندی زمان استنتاج، یادگیری تقویتی و تقطیر پوشش می دهد. اگر می‌خواهید ایده‌های اصلی را بدون کار کردن با اجرای کامل زیر بپسندید، یک پیش‌نمایش اختیاری خوب است.

برای رسیدن به بخش اصلی این مقاله، در اینجا هشت ویدیوی سخنرانی اصلی آورده شده است.

ویدیوی اول با توضیحی در مورد رابطه بین LLM های معمولی، مدل های استدلالی و عوامل شروع می شود. در مرحله بعد موضوع اصلی ویدیو تنظیم محیط کدنویسی است. این شامل نصب وابستگی های Python و PyTorch (با uv) و غیره است. من همچنین در مورد انتخاب های سخت افزاری و مسائل رایج راه اندازی بحث می کنم.

رابطه بین LLM های معمولی، مدل های استدلالی و مهارهای عامل

در مورد مزایای یادگیری از طریق پیاده سازی کد

انتخاب سخت افزار و بررسی پشتیبانی CUDA یا Apple Silicon

استفاده از GPU از راه دور با کد VS و عیب یابی محیط

قبل از اضافه کردن روش های استدلال در ویدیوهای آینده، به یک مدل پایه کار نیاز داریم. به جای اینکه آن را از ابتدا آموزش دهیم، زیرا این کتاب کاملا دیگری است (به ساخت یک مدل زبان بزرگ (از ابتدا) مراجعه کنید)، ما با یک مدل از پیش آموزش دیده شروع می کنیم.

در اینجا، وزنه های از پیش آموزش دیده یک مدل Qwen3 0.6B را بارگذاری می کنیم. سپس، فرآیند تولید متن را از طریق یک تولیدکننده متن جریانی پیاده‌سازی می‌کنیم و ذخیره KV و کامپایل مدل را اضافه می‌کنیم تا تولید متن را کارآمدتر کنیم.

این پیاده سازی ها مولفه های پایه و پایه را در اختیار ما قرار می دهد که در ویدیوهای زیر ارزیابی و بهبود خواهیم داد.

رمزگذاری متن به عنوان نشانه و رمزگشایی آن به متن

دانلود وزن Qwen3 و بارگذاری مدل در دستگاه محاسباتی انتخاب شده

بررسی اشکال تانسور، لجیت ها و پیش بینی های بعدی

پیاده سازی رمزگشایی حریصانه و تولید متن

مدیریت توکن های انتهای توالی و اندازه گیری سرعت تولید

افزودن حافظه پنهان KV برای استفاده مجدد از کلیدها و مقادیر توجه

ترکیب کش کردن KV با torch.compile و مقایسه عملکرد سخت افزار

در این سخنرانی، ما یک تأیید کننده پاسخ ریاضی را گام به گام، از استخراج پاسخ تا نرمال سازی و بررسی معادل سازی ریاضی می سازیم. سپس از آن برای ارزیابی مدل در MATH-500 استفاده می کنیم.

ما از این تأیید کننده برای ارزیابی عملکرد مدل پایه در مجموعه داده ارزیابی MATH-500 استفاده می کنیم.

با این حال، تأیید کننده یک کار دوم نیز در این سری دارد: ارائه سیگنال پاداش برای یادگیری تقویتی با پاداش های قابل تأیید (RLVR).

مقدمه ای برای تأیید کننده ها و نحوه انطباق آنها با روش های ارزیابی LLM (روش های دیگر در ضمیمه کتاب پوشش داده شده است)

استفاده مجدد از تأیید پاسخ به عنوان سیگنال پاداش برای RLVR (اطلاعات بیشتر در مورد آن در فصل 6)

جریان تایید کننده، از جمله استخراج پاسخ های نهایی، عادی سازی پاسخ ها و بررسی معادل سازی ریاضی

ساختن یک نمره دهنده پاسخ و یک حلقه ارزیابی برای MATH-500

مقایسه مدل های پایه و استدلال در MATH-500

اکنون راه‌هایی را برای بهبود پاسخ‌ها با ثابت نگه داشتن وزن مدل بررسی می‌کنیم. اما قبل از اجرای تکنیک‌های مقیاس استنتاج خاص، ابتدا روش‌هایی را برای تولید پاسخ‌های متنوع از همان اعلان پیاده‌سازی می‌کنیم (این یک روش استاندارد در چت ربات‌های اختصاصی LLM، مانند ChatGPT است).

به طور مشخص، ما مقیاس‌بندی دما، نمونه‌برداری چندجمله‌ای و فیلتر بالای p را برای تولید پاسخ‌های متنوع اجرا می‌کنیم. سپس با استفاده از رای اکثریت بر روی پاسخ‌های نهایی، چندین پاسخ را از طریق خود سازگاری ترکیب می‌کنیم.

ما همچنین مبادله بین دقت پاسخ و محاسبات اضافی مورد نیاز برای ایجاد نامزدهای بیشتر را بررسی می کنیم.

مقایسه چگونگی مزایای محاسبات اضافی بر عملکرد مدل در طول آموزش و در طول استنتاج

مقدمه‌ای ملایم برای مقیاس‌بندی استنتاج از طریق درخواست‌های زنجیره‌ای از فکر

اجرای مقیاس بندی دما و نمونه برداری چند جمله ای برای ایجاد پاسخ های متنوع

افزودن فیلتر top-p برای کنترل کیفیت پاسخ‌های متنوع

ترکیب پاسخ‌های نامزد از طریق خود سازگاری، یکی از محبوب‌ترین تکنیک‌های مقیاس‌بندی استنتاج

ارزیابی دقت MATH-500 در برابر هزینه محاسبه استنتاج اضافی

با تکیه بر ویدیوی قبلی، ما توابع امتیازدهی را برای مقایسه چندین پاسخ تولید شده از یک اعلان اجرا می کنیم. ما همچنین می‌توانیم از این روش‌های امتیازدهی برای شکستن پیوندها در خودسازگاری (که در سخنرانی قبلی پوشش داده شد) استفاده کنیم.

روش‌های امتیازدهی که در اینجا پوشش داده می‌شوند شامل رمز محاسباتی و احتمالات ثبت توالی هستند (این موضوع در فصل‌های بعدی یادگیری تقویتی نیز مرتبط خواهد بود). سپس یک حلقه خود پالایشی را اجرا می کنیم که در آن مدل یک پاسخ را نقد می کند و سعی در تجدید نظر می کند.

ارزیابی به ما امکان می دهد بررسی کنیم که این مراحل اضافی چقدر برای مدل ما مفید هستند.

استفاده از توابع امتیازدهی برای مقایسه چند پاسخ و شکستن تساوی

محاسبه احتمالات توکن و احتمالات توالی (همچنین مربوط به سخنرانی های زیر)

استفاده از احتمالات log برای بهبود ثبات عددی

ایجاد یک حلقه خود پالایشی برای ایجاد انتقادات و پاسخ های تجدید نظر شده

در این سخنرانی به سراغ پیاده سازی تکنیک آموزشی به نام یادگیری تقویتی با پاداش های قابل تایید (RLVR) می رویم. ما ابتدا یک نسخه ساده‌شده از بهینه‌سازی خط مشی نسبی گروهی (GRPO) را پیاده‌سازی می‌کنیم، گروه‌هایی از پاسخ‌ها را تولید می‌کنیم، آنها را با تأییدکننده خود امتیاز می‌دهیم و از پاداش‌های نسبی آنها برای به‌روزرسانی وزن مدل در طول تمرین استفاده می‌کنیم.

ایجاد ردپای استدلال و درک رابطه بین طول پاسخ و توانایی حل مسئله

بحث و مقایسه دو روش مهم پس از آموزش LLM: یادگیری تقویتی با بازخورد انسانی (RLHF) و یادگیری تقویتی با پاداش های قابل تایید (RLVR)

تبدیل امتیازهای تأییدکننده به پاداش و مزایای نسبی

محاسبه احتمالات ثبت توالی و از دست دادن GRPO ساده شده

مونتاژ حلقه آموزشی با ورود به سیستم و ذخیره های ایست بازرسی

ارزیابی نقاط بازرسی و بررسی ثبات تمرین و نیازهای حافظه

اکنون که حلقه آموزشی را در سخنرانی قبلی اجرا کردیم، می‌توانیم آن را مجددا بررسی کنیم و اجراهای آموزشی را با جزئیات بیشتری تجزیه و تحلیل کنیم.

به طور مشخص، این ویدیو معیارهای آموزشی بیشتری را برای بازرسی و تجزیه و تحلیل اضافه می‌کند، از جمله آمار آنتروپی و مزیت، نسبت‌های خط‌مشی بریده شده، مقادیر مدت ضرر KL، و پاداش‌های قالب‌بندی‌شده.

سپس گزارش‌های آموزشی و نتایج ارزیابی را بررسی می‌کنیم تا بفهمیم که این اضافات چه کار می‌کنند و آیا اضافاتی مانند نسبت‌های خط‌مشی بریده شده و شرایط ضرر KL مفید هستند یا خیر.

اجرای آزمایش های آموزشی طولانی تر و تفسیر گزارش های آنها

ردیابی مزایا و آنتروپی برای درک رفتار آموزشی

اجرای برش در زیان سیاست و تجزیه و تحلیل اثرات آن

اضافه کردن یک اصطلاح ضرر KL و بحث در مورد هک پاداش

درک محدودیت های فرمول KL ساده شده

اجرای پاداش های قالب و شرطی کردن آنها به صحت پاسخ

مقایسه پست های بازرسی در MATH-500 و کاوش در تحقیقات بیشتر GRPO

در نهایت، راه دیگری برای آموزش یک مدل استدلال کوچک، یعنی یادگیری از پاسخ‌های تولید شده توسط یک مدل معلم قوی‌تر (و بزرگ‌تر) بررسی می‌کنیم. ما اشکال مختلف تقطیر را مورد بحث قرار می‌دهیم، داده‌های استدلالی را آماده می‌کنیم و حلقه آموزشی تحت نظارت را پیاده‌سازی می‌کنیم.

ما این سخنرانی و دوره را با ارزیابی مدل تقطیر شده در MATH-500 و مقایسه نتایج به پایان می‌رسانیم. این مجموعه را با جایگزینی برای توسعه قابلیت های استدلال از طریق یادگیری تقویتی تکمیل می کند.

مقایسه ترکیبات و رویکردهای مختلف تقطیر شامل تقطیر نرم و سخت و تقطیر خارج از خط مشی و خارج از سیاست

ایجاد و جمع‌آوری پاسخ‌های معلم برای مجموعه داده MATH (با استفاده از DeepSeek R1)

آماده سازی مجموعه داده های تقطیر، از جمله توکن سازی و تقسیم بندی های آموزشی / اعتبار سنجی / آزمایشی

محاسبه احتمالات لاگ نشانه پاسخ و درک از دست دادن آنتروپی متقابل

اجرای آموزش نظارت شده و پیگیری آموزش و تلفات اعتبار سنجی

ارزیابی نقاط بازرسی در MATH-500 و مقایسه نتایج تقطیر

در حین تماشای این سخنرانی‌ها، من شما را تشویق می‌کنم که هر از گاهی مکث کنید و اگر چیزی جالب به ذهنتان می‌رسد، آزمایش کوچکی از خودتان امتحان کنید.

برای مثال، با خیال راحت تنظیمات نمونه‌گیری را تغییر دهید، چند پاسخ ناموفق را بررسی کنید، یا انواع ایده‌های مختلف مشابه پیشنهادهای تمرین‌ها را امتحان کنید.

و اگر می‌خواهید توضیحات کامل نوشته شده، شکل‌ها و تمرین‌ها را در کنار ویدیوها داشته باشید، می‌توانید ساخت مدل استدلال (از ابتدا) را در Manning و Amazon پیدا کنید.

از خواندن و حمایت Ahead of AI متشکریم. من در حال استراحت کوتاهی برای بازسازی هستم و مشتاقانه منتظر هستم تا با دور بعدی مقالات تحقیقاتی LLM در ماه آینده برگردم.

در ضمن، تماشا و سرهم بندی مبارک!