مودچیپ لاما: 284B DeepSeek با 64 گیگابایت رم، بدون پردازنده گرافیکی
آدرس مقاله: https://github.com/synchopate/llama-modchip آدرس نظرات: https://news.ycombinator.com/item?id=50411961 امتیاز: 211 # نظرات: 63
⚡ شروع سریع · 🧩 مدل های پشتیبانی شده · 🖥️ تراشه ها و پلت فرم های پشتیبانی شده
استنتاج بلادرنگ Frontier & Agentic MoE در ایستگاه کاری CPU که قبلا مالک آن هستید - 100٪ در RAM، تعویض NVMe صفر:
TL;DR - 3 ستون پارادایم شکن لاما-مودچیپ:
⚠️ نکته سازگاری مهم (GGML_TYPE_Q2_0 = 40): مدلهای Fractal-64 ما از تانسورهای با کد خاکستری مقیاس BF16 بلاک ۶۴ سفارشی (GGML_TYPE_Q2_0، نوع ID 40) و هستههای Deepseek4 / Stock-PVS سفارشی استفاده میکنند. باز کردن آنها در llama.cpp، Ollama یا LM Studio بدون اصلاح با تانسور ناشناخته نوع 40 با شکست مواجه میشود. از ./modchip بالا یا باینری از پیش کامپایل شده تک فایل مستقل ما (llama-server-modchip-linux-x86_64, zero .so dependencies) که مستقیما در مخازن Hugging Face و نسخه GitHub Release نسخه 2.4.0 قرار داده شده است، استفاده کنید:
windows/ را باز کنید و روی windows/AVVIA_MODCHIP.bat دوبار کلیک کنید (یا ./modchip start را در Git Bash اجرا کنید). به طور خودکار هستههای CPU، رم رایگان و VRAM GPU (nvidia-smi) شما را شناسایی میکند، باینریهای رسمی llama.cpp CUDA 12.4 / Vulkan را دانلود میکند، تقسیم بهینه --n-cpu-moe را محاسبه میکند و رابط کاربری وب چت را باز میکند (http://127.0.0.1:80).
👉 کارت امتیاز پایانی خود را در یک 📊 1-کلیک کنید GitHub Benchmark Issue یا GitHub Discussions تا به تابلوی امتیازات CPU انجمن رسمی اضافه شود!
هر خانواده مدل دارای یک راهنمای بهینهسازی غواصی عمیق با اثبات دقیق ریاضی، شکستهای تاخیر در سطح اپراتور و معیارهای دروازه با کیفیت است:
جزئیات کامل ریزمعماری و پرچم های تنظیم برای هر پردازنده پشتیبانی شده و ترکیبی GPU در docs/HARDWARE_OPTIMIZATIONS.md مستند شده است:
نمایهسازی کامل در سطح اپراتور و اثباتهای ریاضی در docs/DEEPSEEK_V4_OPTIMIZATIONS.md:
جداول کامل ابلیشن و گزارش 100/100 Quality Gate در docs/NEMOTRON_OPTIMIZATIONS.md:
./modchip bench (یا windows\BENCHMARK_PC.bat در ویندوز) را اجرا کنید و ➕ کارت امتیازی خود را ارسال کنید (1-کلیک کنید GitHub Issue)!
ما فعالانه با سازندگان سختافزار، تیمهای سیلیکون ابری و آزمایشگاههای تحقیقاتی هوش مصنوعی برای ساخت و تأیید وصلههای هسته خاص معماری شریک هستیم:
📖 Nemotron Deep-Dive ( docs/NEMOTRON_OPTIMIZATIONS.md ) · 🐋 DeepSeek-V4 284B Deep-Dive (docs/DEEPSEEK_V4_OPTIMIZATIONS.md) · 🖥️ سخت افزار و تراشه docs/HARDWARE_OPTIMIZATIONS.md ) · 📄 مقاله کامل ( ARCHITECTURE.md ) · ❓ سوالات متداول ( FAQ.md ) · 🚀 کیت راه اندازی بازاریابی ( Docs/marketing-launch-kit/ )
متن اصلی (انگلیسی)
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
Article URL: https://github.com/synchopate/llama-modchip Comments URL: https://news.ycombinator.com/item?id=50411961 Points: 211 # Comments: 63