از خالق Redis; LLM را به صورت محلی با ds4 اجرا کنید

DwarfStar 4 یک موتور استنتاج C باریک برای ماشین‌های Mac، CUDA و ROCm با حافظه بالا است. از DeepSeek V4 و V4.1 Flash، GLM 5.x و Qwen3.8 Flash Next، با مدل‌های متن و دید، APIهای محلی، یک CLI و یک عامل بومی در یک پشته پشتیبانی می‌کند.

پشتیبانی شده: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · مجوز MIT · C / METAL / CUDA / ROCM · QWEN ON 64GB

DeepSeek V4 Flash یک مدل بزرگ ترکیبی از متخصصان است. مسیر معمولی سرویس از راه دور است. ds4 از قید مخالف شروع می شود.

کوانتیزاسیون نامتقارن با حفظ مسیرهای حیاتی، کارشناسان مسیریابی را هدف قرار می دهد. این مدل در ماشین های با حافظه بالا عملی می شود.

موتور محلی یک CLI، APIهای HTTP و یک عامل بومی را نشان می‌دهد که همگی حالت مدل و حافظه پنهان یکسانی را به اشتراک می‌گذارند.

کارشناسان مسیریابی را فشرده کنید، مسیرهای مشترک مهم را دقیق نگه دارید. اینگونه است که ساخت‌های روت‌شده-MoE پشتیبانی‌شده با ماشین‌های مورد نظرشان مطابقت دارند.

پیشوندهای طولانی را در SSD ذخیره کنید و با هش سریع از سر بگیرید. نیازی نیست که راه اندازی مجدد به معنای پر کردن مجدد کامل باشد.

از ./ds4 برای چت، ./ds4-server برای APIهای محلی و ./ds4-agent برای جلسات کدگذاری مداوم استفاده کنید.

نقشه زمان اجرا · ساده شده. برای طراحی کامل به یادداشت های معماری مراجعه کنید.

V4 Flash Q2 خط پایه است. در 128 گیگابایت، GLM 5.3 Q2 و Qwen Q4 نیز مناسب هستند. V4.1 Q2 از SSD پخش می شود.

REF · M5 MAX 128 گیگابایت · 32K CTX: 34.4 T/S GEN · 557 T/S PREFILL

برآوردها از جدول معیار ds4. راهنمای کامل سخت افزار و نصب.

با شروع سریع شروع کنید، ماتریس سخت افزار را بررسی کنید، سپس ویرایشگر، عامل یا کلاینت API خود را به سرور محلی متصل کنید.