Quantizations Unsloth Qwen3.8-27B – به روز رسانی Dynamic v3.1

Qwen3.8-27B یک مدل Qwen با پارامتر متراکم 27B است که دارای قابلیت‌های بینایی و استدلال، یک پنجره زمینه 256K است و به صورت محلی بر روی تنظیمات RAM/VRAM 17 گیگابایتی اجرا می‌شود. Qwen3.8 در کدنویسی عاملی، ویژن و وظایف چت برتری دارد و اکنون می تواند از طریق Unsloth GGUFs، NVFP4 و Unsloth Desktop اجرا شود.

به‌روزرسانی 11 نوامبر: GGUF‌های Qwen3.8-27B اکنون از Unsloth Dynamic V3.1 استفاده می‌کنند که دقت متوسط ​​را با دقت 5 تا 10 درصد در اندازه‌های مشابه از جمله Terminal Bench، DeepSWE و معیارهای دیگر بهبود می‌بخشد. ما در حال کار بر روی یک نسخه حتی بهتر از کوانت‌های دینامیک هستیم که برای Qwen4 و مدل‌های آینده اعمال خواهد شد.

با تشکر از Qwen برای دسترسی روز صفر. کمیت های غیر تنبل نیز شامل:

پشتیبانی از نقش توسعه دهنده برای ابزارهای عاملی مانند Codex

فراخوانی ابزار: تجزیه اشیاء تودرتو بهبود یافته برای موفقیت بیشتر ابزارها

ما مشتاقیم که GGUF های Qwen3.8-27B جدید را با استفاده از الگوریتم به روز شده Unsloth Dynamic V3.1 (پیش نمایش) منتشر کنیم که کوانت های Unsloth را با دقت 5 تا 10 درصد در همان اندازه در اکثر معیارها بهبود می بخشد و در کلاس برای اکثر وظایف از جمله برنامه نویسی، حجم کاری عمومی چت، بهترین است.

اکثر کوانت ها از 2 بیت تا 6 بیت به روز می شوند. ما کوانت های 3 بیتی UD3 را پیدا کردیم که با UD3.1 همتراز هستند، بنابراین آنها را به روز نمی کنیم. ما فعالانه در حال کار بر روی بهتر کردن تمام مقادیر هستیم!

ما معیارهای عاملی از جمله Terminal Bench 2.1، DeepSWE v1.1، و معیارهای عمومی مانند LiveCodeBench v6، GPQA Diamond، MMLU-Pro، AIME25 و بسیاری دیگر را اجرا کردیم. ما از 256K طول زمینه برای همه معیارهای عامل و 128K برای بقیه استفاده کردیم. ما از همان روش Qwen3.8-27B مانند DeepSeek-V4.1-Flash و Qwen3.8-Flash-Next پیروی کردیم که از الگوریتم پیش نمایش V3.1 ما نیز استفاده می کردند.

برای مشاهده جزئیات کامل بنچمارک و موارد دیگر روی زیر کلیک کنید:

برای مقایسه GSQ-RCO و Exllama-v3، مجبور شدیم لایه جاسازی توکن را از محور x حذف کنیم، زیرا Exllama-v3 از BF16 برای آن استفاده می کند.

اگر اندازه دانلود کامل و کل مصرف رم برای Exllama-v3 را در نظر بگیرید، با اضافه کردن جدول تعبیه‌شده BF16 و درج تمام اندازه‌های جاسازی، نمودارها تغییر می‌کند. محور x نمودارهای اصلی ما اندازه لایه های جاسازی شده را از همه ارائه دهندگان کوانت حذف می کند. با این حال، در استفاده از RAM خالص و استفاده از فضای دیسک در مقابل دقت، نمودار زیر بازتاب واقعی استفاده واقعی است.

ما بررسی نکرده‌ایم که چرا Exllama-v3 جاسازی‌های توکن را در BF16 نگه می‌دارد، اما از آنجایی که lm_head هنوز به شدت کوانتیزه می‌شود، لایه جاسازی ممکن است بیشتر آسیب‌های کوانتی‌سازی را از آن «جذب» کرده باشد. ما خوشحال خواهیم شد که مقادیر جدید Exllama-v3 غیر BF16 را مانند استفاده از 8 بیتی برای مثال، محک بزنیم و ببینیم آیا معیارها تغییر می کنند یا خیر.

برای LiveCodeBench، GSQ-RCO نشان داد که کوانت های Unsloth UD3 به طور مداوم بدتر از ISTA عمل می کنند. با این حال متوجه شدیم برعکس - کوانت های UD3 (کوانت های قدیمی ما) بهتر از ISTA در LCB در همه اندازه ها به جز کوچکترین عملکرد دارند. UD3.1 در LCB نیز بهبود می یابد.

ما تخمین زده‌ایم که GSQ-RCO از بودجه زمینه‌ای 96 هزار نفری استفاده کرده است، زیرا این بودجه به بهترین وجه با داده‌های اجراهایی که داریم مطابقت دارد. در 96K، GSQ-RCO تا حدودی بهتر از UD3 عمل می کند، اما در 128K، UD3 بسیار بهتر عمل می کند.

در معیار دیگر، برای معیارهای AIME25 ISTA GSQ-RCO، مقدار آنها به بازیابی دقت 100٪، 100٪، 100٪ و 96.7٪ می رسد. و آنها گفتند مقادیر ما بدتر است.

در طول بررسی‌ها، تخمین می‌زنیم که ISTA فقط 1 کارآزمایی انجام داده است - ما 14 کارآزمایی را انجام دادیم، و نشان می‌دهیم که به طور متوسط ​​نرخ بازیابی 93٪ تا 96٪ است - نه بازیابی با دقت 100٪. و در واقع کوانت های قدیمی UD3 ما به طور متوسط ​​بهتر از کوانت های آنها در 14 ران در مقابل 1 ران آنها عمل می کنند، بنابراین اگر آزمایش ها را بیشتر انجام دهید، نتیجه معکوس می گیریم.

ما همچنین پاسخ‌های خود را با استفاده از Math Verify Dynamic 3.1 GGUF و همچنین LightEval بررسی و درجه‌بندی کردیم و دقیقا به همین نتیجه‌ها رسیدیم. ما همچنین رمزگشایی حریصانه (دمای 0) را امتحان کردیم، و این نمی‌تواند ISTA بازیابی 100 درصدی را که در چندین اجرای حریص یافت می‌شود، به دست آورد، زیرا خود پردازنده‌های گرافیکی غیر قطعی هستند. به همین دلیل است که معیارهای شما باید چندین بار اجرا شوند. رمزگشایی حریصانه نیز نماینده موارد استفاده در دنیای واقعی نیست.

ما همچنین 96K (که به احتمال زیاد بودجه ISTA است) و 128K را بررسی کردیم و کوانت های ما هنوز به طور متوسط ​​بهتر عمل می کنند.

ما KLD را برای چند دامنه برای کوانت‌های Unsloth UD3.1 و کوانت‌های UD3 انجام دادیم - ما KLD را در اکثر کوانت‌ها و بیشتر دامنه‌ها کاهش می‌دهیم - ما آن‌های 3 بیتی را جایگزین نکردیم، زیرا متوجه شدیم که UD3 عمدتا عالی عمل می‌کند، و بازیابی دقت در بنچمارک‌ها به اندازه کافی با UD3.1 قابل توجه نبود که به‌روزرسانی آنها را تضمین کند، بنابراین ما انجام دادیم.

ما برای همه بنچمارک‌ها همان رویه را دنبال می‌کنیم که برای Qwen3.8-Flash-Next، DeepSeek-V4.1-Flash و همچنین در Dynamic 3.1 GGUFs مورد بحث قرار گرفته است. ما از دمای 1.0، top_p 0.95، top_k 20، min_p 0، بدون جریمه حضور یا تکرار، حفظ_تفکر و استدلال xhigh برای Qwen3.8-27B استفاده کردیم.

Qwen3.8- 27B 4 بیتی روی VRAM 16-19GB مانند RTX 5080، 4090 یا Mac با 24GB RAM کار می کند. جدول: سخت افزار مورد نیاز (واحد = حافظه کل: RAM + VRAM یا حافظه یکپارچه)

اگر می‌خواهید از MTP برای استنتاج سریع‌تر استفاده کنید، خود را برای داشتن 1-2 گیگابایت فضای اضافی آماده کنید.

Qwen3.8-27B یک مدل تفکر ترکیبی با تنظیمات پیش‌فرض مختلف برای حالت‌های تفکر و غیر تفکر است. Extra High به طور پیش‌فرض فعال است، بنابراین اگر می‌خواهید آثار تفکر کوتاه‌تری داشته باشید، می‌توانید تلاش فکری را تنظیم کنید:

حداکثر پنجره زمینه: 262144 (از طریق YaRN تا 1M قابل افزایش است)

حالت تفکر: دما=1.0، top_p=0.95، top_k=20، min_p=0.0، present_penalty=0.0، repetition_penalty=1.0

حالت دستور (یا عدم تفکر): دما=0.7، top_p=0.80، top_k=20، min_p=0.0، حضور_پنالتی=1.5، تکرار_پنالتی=1.0

Qwen3.8 دارای تفکر حفظ است که ردی از تفکر از مکالمه قبلی باقی می گذارد. این تعداد نشانه هایی را که استفاده می کنید افزایش می دهد، اما می تواند دقت را در ادامه مکالمات افزایش دهد. Unsloth دارای کلیدهای Think و Preserved Thinking برای Qwen3.8 است (راست را ببینید):

Qwen3.8-27B دارای پشتیبانی از reasoning_efort است که می تواند برای تنظیم عمق استدلال و هزینه کنترل استفاده شود. این ضامن ها به طور خودکار در Unsloth فعال می شوند:

xhigh (پیش فرض): برای کارهای پیچیده که نیاز به تجزیه و تحلیل کامل دارند

کم: بهینه سازی استدلال کارآمد برای سرعت و هزینه

برای تغییر تفکر / تلاش استدلالی در اجرای بدون تنبل یا سرور لاما، از --chat-template-kwargs '{"reasoning_efort":"medium"} استفاده کنید.

اگر از Windows Powershell استفاده می کنید، از: --chat-template-kwargs "{\"reasoning_efort\":\"medium\"}" استفاده کنید

رسانه را به سطح استدلال دلخواه خود تغییر دهید.

اکنون می توانید Qwen3.8-27B را در llama.cpp و Unsloth Desktop اجرا کنید. با خیال راحت نوع کوانتیزاسیون را تغییر دهید.

صورت در آغوش گرفته: Qwen3.8-27B- GGUF • Qwen3.8-27B- NVFP4

ModelScope: Qwen3.8-27B- GGUF • Qwen3.8-27B- NVFP4

اجرا در Unsloth دسکتاپ اجرا در llama.cpp راهنمای NVFP4 راهنمای Qwen3.8-2.4T-A95B

Qwen3.8 می تواند در Unsloth Desktop، یک برنامه UI منبع باز برای هوش مصنوعی محلی اجرا شود. Unsloth به طور خودکار در RAM بارگیری می شود و تنظیمات چند GPU را شناسایی می کند. با Unsloth Desktop می‌توانید مدل‌ها را به صورت محلی در MacOS، Windows، Linux و:

مدل‌های GGUF، MLX و Safetensor را جستجو، دانلود، اجرا کنید

تنظیم خودکار پارامتر استنتاج (temp، top-p و غیره)

استنتاج سریع CPU + GPU از طریق MLX و llama.cpp

ساده ترین راه برای شروع، دانلود برنامه Unsloth Desktop است. روی macOS، Windows و Linux کار می کند.

تصویر Unsloth Docker unsloth/unsloth در داکر موجود است. راهنما را بخوانید.

به Unsloth Chat یا Model hub رفته و Qwen3.8 را در نوار جستجو جستجو کنید و مدل و کوانت مورد نظر خود را دانلود کنید.

هنگام استفاده از Unsloth، پارامترهای استنتاج باید به طور خودکار تنظیم شوند، اما همچنان می توانید آن را به صورت دستی تغییر دهید. همچنین می توانید طول زمینه، قالب چت و سایر تنظیمات را ویرایش کنید.

برای اطلاعات بیشتر، می‌توانید راهنمای استنتاج Unsloth ما را مشاهده کنید.

به عنوان مثال، استفاده از Unsloth Desktop با 397 گیگابایت Qwen3.8 (-91٪ کوچکتر) به شما امکان می دهد حالت های تفکر را تغییر دهید، به بوم درون خطی، جستجوی وب و اجرای کد و موارد دیگر اجازه دهید.

می‌توانید از دستور unsloth run استفاده کنید و Qwen3.8 را از طریق یک API با استفاده از پرچم‌های زمان اجرا سرور llama، از جمله اندازه زمینه، لایه‌های GPU، رشته‌سازی، نمونه‌برداری، شبکه‌سازی و پیکربندی ابزار، ارائه دهید. برای اطلاعات بیشتر به اسناد API یا unsloth start مراجعه کنید.

شما همچنین می توانید بسیاری از کارهای دیگر را با Qwen3.8 از طریق Unsloth Desktop انجام دهید مانند:

ابزارهای اتصال: Claude Code، Codex، جستجوی وب، MCP و موارد دیگر

مدل‌های قطار: تنظیم دقیق متن، انتشار، جاسازی و موارد دیگر

تولید رسانه: ایجاد و آموزش تصاویر، ویدئو، TTS به صورت محلی

آخرین نسخه llama.cpp را دانلود کنید. می توانید دستورالعمل های ساخت زیر را نیز دنبال کنید. -DGGML_CUDA=ON را به -DGGML_CUDA=OFF تغییر دهید اگر GPU ندارید یا فقط می خواهید استنتاج CPU را داشته باشید. برای دستگاه‌های Apple Mac/Metal، -DGGML_CUDA=OFF را تنظیم کنید، سپس طبق معمول ادامه دهید - پشتیبانی از فلز به‌طور پیش‌فرض روشن است.

مدل را از طریق (پس از نصب pip install huggingface_hub) دانلود کنید. اگر دانلودها گیر کردند، نگاه کنید به: Hugging Face Hub، XET debugging

برای اجرای مدل در llama-cli، قطعات کد زیر را دنبال کنید: به یاد داشته باشید که تنظیمات را بر اساس مورد استفاده خود تغییر دهید.

مانند Qwen3.6، ما نیز کوانت های پویا NVFP4 Qwen3.8 -27B را منتشر می کنیم که 1.5× سریعتر از نقاط بازرسی BF16، با عملکرد بهتر و اندازه فایل های قابل مقایسه، اجرا می شوند. Qwen3.8-27B NVFP4 را 1.5 برابر سریعتر روی 24 گیگابایت VRAM اجرا کنید. ما همچنین کالیبراسیون کش FP8 KV را برای 2 برابر طول زمینه بیشتر اضافه کردیم! NVFP4 به پردازنده‌های گرافیکی Blackwell NVIDIA مانند RTX 50X، DGX Spark (به Qwen3.8-27B مراجعه کنید)، B200، B300 نیاز دارد. برای GPU های قدیمی تر، GGUF های ما به خوبی کار می کنند! فعلا می‌توانید کوانت‌های NVFP4 را فقط در vLLM اجرا کنید (SGLang پشتیبانی نمی‌شود).

بنچمارک های قبلی انجام شده برای Qwen3.6 و همچنین در مقایسه با سایر پیاده سازی های NVFP4 که از فعال سازی های 16 بیتی در مقابل فعال سازی های NVFP4 ما استفاده می کنند، به زیر مراجعه کنید:

همه بنچمارک ها از همزمانی 1x B200 128 استفاده می کنند. همزمانی بالاتر می تواند 35B را به 17561 توکن در ثانیه افزایش دهد.

برای معیارهای دقت، توافقنامه KLD و Top-1 را روی Code، Chat و بسیاری از دامنه ها اجرا کردیم. NVFP4 بازیابی دقت 92 تا 97 درصد در مقابل BF16 است.

برای معیارهای دقت برای Qwen 3.6، MMLU-Pro، AIME 2025، GPQA را برای FP8، BF16، NVFP4 انویدیا و NVFP4 ما انجام دادیم - نشان می‌دهیم که کوانت‌های سریع‌تر ما در همه موارد مشابه عمل می‌کنند:

برای اطلاعات بیشتر، می‌توانید وبلاگ Quants Dynamic NVFP4 ما را بخوانید.

برای اجرای کوانت های NVFP4، دستورات اجرای Qwen3.8-27B در vLLM یا SGLang را در زیر ببینید:

برای فعال کردن رمزگشایی MTP / گمانه‌زنی (رمزگشایی سریع‌تر اما تا حدودی توان عملیاتی کمتر)، از موارد زیر استفاده کنید:

اگر با مشکلات Torchcodec مواجه شدید، حتما موارد زیر را انجام دهید سپس vllm را مجددا راه اندازی کنید.

اگر از SGLang استفاده می کنید، باید از SGLang نسخه v0.5.19 استفاده کنید در غیر این صورت کار نخواهد کرد زیرا lm_head را به FP8 کوانتیزه می کنیم.

vLLM دارای یک هسته CompressedTensorsW8A8Fp8 است که این را پشتیبانی می کند، در حالی که SGLang نسخه 0.5.19 نمی تواند FP8 lm_head را بارگیری کند. نسخه 0.5.19 اکنون کار می کند!

کوانت های NVFP4 1.5 برابر سریعتر از BF16 هستند و 92 تا 97 درصد دقت بالای 1 را حفظ می کنند.

ما از Dynamic 3.0 GGUF برای بهبود Qwen3.8-27B استفاده کردیم!

نمودار دقت Top-1 همانطور که در UD-3 از Qwen3.8-27B نشان داده شده است:

برای معیارهای کوانتیزاسیون GGUF می‌توانید در بالا برای تجزیه و تحلیل کوانتیشن یا مقاله Dynamic V3.0 ما را ببینید.

کدگذاری ترمینال نمایندگی ترمینال Bench 2.1 (Terminus)

Qwen3.8-2.4T -A95B یک مدل با پارامتر 2.4T (95B فعال) با رقیب GPT-5.6 Sol است. Qwen3.8-2.4T-A95B با دقت کامل به 4.9 ترابایت فضای ذخیره سازی و 1 بیتی Unsloth Dynamic GGUF ها 397 گیگابایت (91 درصد کوچکتر) و IQ1_S بزرگتر 508 گیگابایت نیاز دارد.

Qwen3.8-2.4T فقط تفکر است، در حالی که Qwen3.8-Max ترکیبی است.

دما=1.0، top_p=0.95، top_k=20، min_p=0.0، حضور_پنالتی=0.0، تکرار_پنالتی=1.0

اگر مدل مناسب باشد، هنگام استفاده از B200s و بیش از 120 توکن در ثانیه، 20 توکن در ثانیه تولید خواهید کرد. بهترین قانون سرانگشتی: RAM+VRAM ≈ اندازه کمی. در غیر این صورت همچنان کار می کند، فقط به دلیل تخلیه دیسک بسیار کندتر.

اکنون می توانید Qwen3.8 را در llama.cpp و Unsloth Desktop اجرا کنید. برای مدل بزرگ Qwen3.8-2.T، ما از کوانت 397 گیگابایتی IQ1_XXXS (به نام Q1_0) برای بهترین نتایج از نظر دسترسی و دقت استفاده خواهیم کرد و حداقل به 450 گیگابایت رم نیاز دارد. با خیال راحت نوع کوانتیزاسیون را تغییر دهید.

Qwen3.8 می تواند در Unsloth Desktop، یک برنامه UI منبع باز برای هوش مصنوعی محلی اجرا شود. Unsloth به طور خودکار در RAM بارگیری می شود و تنظیمات چند GPU را شناسایی می کند. با Unsloth Desktop، می توانید مدل ها را به صورت محلی در MacOS، Windows، Linux اجرا کنید. به Unsloth Chat یا Model hub رفته و Qwen3.8 را در نوار جستجو جستجو کنید و مدل و کوانت مورد نظر خود را دانلود کنید. سپس آن را اجرا کنید.

ما IQ1_S را در llama.cpp که 1.5625 بیت در هر وزن است به 1.1875 bpw افزایش دادیم با کاهش تعداد ورودی‌های کتاب کد - متوجه شدیم که این برای مدل‌های بزرگ به خوبی کار می‌کند، و همچنان می‌تواند دقت زیادی را حفظ کند - همچنین متوجه شدیم که این نوع داده‌های جدید برای پس از آموزش بدون نیاز به آموزش QAD یا QATQQUAN (QATQQ) مناسب هستند. تقطیر). Qwen3.8- 2.4T-A95B -GGUF

به دلیل مشکلات نام‌گذاری، از TQ2_0، TQ1_0 و Q1_0 استفاده کردیم، در غیر این صورت در مخزن HF ظاهر نمی‌شود.

ما هنوز معیارهایی را برای انواع داده های جدید اجرا می کنیم، اما برای مدل های بزرگ دیگر، نتایج خوبی را بدون هیچ QAT / QAD دریافت می کنیم:

ما باید از شاخه خاص IQ1_XXXS در اینجا استفاده کنیم. می توانید دستورالعمل های ساخت زیر را نیز دنبال کنید. -DGGML_CUDA=ON را به -DGGML_CUDA=OFF تغییر دهید اگر GPU ندارید یا فقط می خواهید استنتاج CPU را داشته باشید. برای دستگاه‌های Apple Mac/Metal، -DGGML_CUDA=OFF را تنظیم کنید، سپس طبق معمول ادامه دهید - پشتیبانی از فلز به‌طور پیش‌فرض روشن است.

اگر فقط می خواهید IQ1_S استاندارد و سایر کوانت ها را اجرا کنید، llama.cpp را به طور معمول کامپایل کنید:

مدل را از طریق (پس از نصب pip install huggingface_hub) دانلود کنید. می‌توانید Q1_0 را برای IQ1_XXXS یا سایر نسخه‌های کوانتیزه‌شده مانند Q8_0 انتخاب کنید. اگر دانلودها گیر کردند، نگاه کنید به: Hugging Face Hub، XET debugging

برای اجرای مدل در llama-cli، کدهای زیر را دنبال کنید. به یاد داشته باشید که تنظیمات را با توجه به مورد استفاده خود تغییر دهید.