DeepSeek فقط موتور استنتاج خود را منبع باز کرد
آدرس مقاله: https://github.com/deepseek-ai/DeepInfer آدرس نظرات: https://news.ycombinator.com/item?id=50163277 امتیاز: 411 # نظرات: 137
DeepInfer چارچوب استنتاج با کارایی بالا است که خدمات تولید در مقیاس بزرگ DeepSeek را تقویت می کند. این نسخه منبع باز استنتاج آفلاین را با ویژگی های اصلی مورد نیاز برای ارائه در مقیاس فراهم می کند.
مورد نیاز برای یک سرویس استنتاج کامل (که در این نسخه گنجانده نشده است):
قبل از ساخت DeepInfer، لطفا یک محیط خالی Python 3.12 ایجاد و فعال کنید.
نقطه بازرسی پیش‌فرض، deepseek-ai/DeepSeek-V4.1-Flash-1017، در اولین اجرا در حافظه پنهان Hugging Face دانلود می‌شود. DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 را تنظیم کنید تا از یک نسخه محلی اجرا شود.
بر روی 4 پردازنده گرافیکی SM100 برای پر کردن اولیه و 64 برای رمزگشایی - هر کدام در یک دامنه بزرگ‌تر اندازه‌گیری شده است. برای بازتولید معیارها، run_sweep.sh را ببینید.
DeepInfer تحت مجوز Apache 2.0 منتشر شده است. برای جزئیات بیشتر به مجوز مراجعه کنید.
DeepInfer در اصل بر روی vLLM ساخته شد و از SGLang و TensorRT-LLM الهام گرفت. ما از توسعه دهندگان آنها تشکر می کنیم.
متن اصلی (انگلیسی)
DeepSeek just open-sourced its inference engine
Article URL: https://github.com/deepseek-ai/DeepInfer Comments URL: https://news.ycombinator.com/item?id=50163277 Points: 411 # Comments: 137