کامپیوتر شما برای اجرای یک مدل هوش مصنوعی محلی به چه سخت افزاری نیاز دارد؟

کمتر از آن چیزی که فکرش را می کنید، اما یک کامپیوتر 16 گیگابایتی فقط شما را تا اینجای کار می برد.

Ollama یا LM Studio را دانلود کنید، مدلی را انتخاب کنید و در عرض چند دقیقه می‌توانید با یک چت بات محلی راه‌اندازی کنید. هیچ هزینه ای برای اشتراک وجود ندارد، بدون اتصال به اینترنت کار می کند و هیچ یک از داده های شما از کامپیوتر شما خارج نمی شود. اما یک نکته وجود دارد: آنچه می‌توانید اجرا کنید و سرعت واکنش آن کاملا به قدرت دستگاه شما بستگی دارد.

کامپیوتر روزمره شما با 16 گیگابایت رم می تواند مدل های نسبتا کوچکی را با حدود هفت تا هشت میلیارد پارامتر اجرا کند. Meta's Llama 3.1 8B، یا Alibaba's Qwen3 8B یا یک کارت گرافیک با 8 گیگابایت VRAM آنها را با سرعت مناسبی اجرا می کند. اما این مدل‌ها فاصله زیادی با مدل‌های مرزی امروزی پشت ChatGPT یا Claude دارند. اگر می‌خواهید چیزی نزدیک‌تر اجرا کنید، به حداقل 32 گیگابایت حافظه و یک کارت گرافیک با 16 گیگابایت VRAM یا بیشتر نیاز دارید که با قیمت‌های امروزی، ارزان نیست.

حافظه مورد نیاز یک مدل با اندازه آن تقریبا خطی است که در میلیاردها پارامتر (B) اندازه گیری می شود. اکثر مردم نسخه های فشرده شده ("کوانتیزه") مدل های محلی را اجرا می کنند که هر پارامتر را در حدود چهار بیت ذخیره می کند و یک مدل را تقریبا به یک چهارم اندازه اصلی آن کاهش می دهد. در کتابخانه Ollama، Llama 3.1 8B با 4.9GB، Phi-4 مایکروسافت با 9.1GB، Gemma 3 27B Google با 17GB و Llama 3.3 70B Meta با 43GB قرار داده شده است. قانون کلی اوللاما این بوده است که برای یک مدل 7B به 8 گیگابایت رم، برای 13 بایت به 16 گیگابایت و برای 33 بایت به 32 گیگابایت نیاز دارید.

gpt-oss-20b OpenAI دارای 21 میلیارد پارامتر است اما تنها از 3.6 میلیارد از آنها برای هر توکن از طریق طرحی به نام "مخلوط متخصصان" استفاده می کند. این باعث می شود که آن سریع باشد، اما مدل هنوز باید در حافظه موجود جا شود. OpenAI می‌گوید که «فقط با 16 گیگابایت حافظه» اجرا می‌شود، اما با 14 گیگابایت حافظه در Ollama، این تقریبا تمام یک رایانه شخصی 16 گیگابایتی است.

هر بار که یک مدل یک کلمه یا به طور دقیق تر یک نشانه تولید می کند، باید تمام پارامترهای آن را بخواند. به این ترتیب، سرعت بسیار بیشتر به پهنای باند حافظه بستگی دارد تا قدرت پردازش خام. مهندسان انویدیا آن مرحله را "محافظه به حافظه" توصیف می کنند. VRAM یک کارت گرافیک چندین برابر سریعتر از RAM در بقیه رایانه های شخصی شما است، به همین دلیل است که مدلی که روی GPU شما قرار می گیرد بسیار سریعتر از مدلی که در حافظه سیستم ریخته می شود کار می کند.

من شخصا Mistral 7B را روی یک ایسوس Zenbook Duo مدل 2024 با 32 گیگابایت رم و NPU Intel AI Boost اجرا کردم. از طریق Olama، Mistral استفاده از CPU را به 52 درصد و استفاده از حافظه را به حدود 17 گیگابایت رساند. این به خودی خود قابل کنترل است، اما اگر مورد دیگری باشد، لپ تاپ را خراب می کند. در عوض، همین مدل با استفاده از جعبه ابزار OpenVINO اینتل، NPU را در 98 درصد نگه داشت در حالی که CPU روی 3 درصد قرار داشت، و لپ تاپ سریع و پاسخگو بود در حالی که 2500 کلمه (بیهوده) را در حدود سه دقیقه نوشت.

در رتبه بندی آوریل 2026 تحلیل مصنوعی، Qwen3.5 27B از Alibaba چین امتیاز 42 را در شاخص هوش خود کسب کرد، در سطح متوسط با GPT-5 OpenAI، در حالی که Gemma 4 31B گوگل امتیاز 39 را به دست آورد. و 20 گیگابایت حافظه، که آشکارا فراتر از آن چیزی است که یک کامپیوتر 16 گیگابایتی باید ارائه دهد.

اما حتی قدرتمندترین رایانه های شخصی نیز به سختی سطح آنچه را که اطلاعات مرزی نیاز دارد، خراش می دهند. به گفته Unsloth که نسخه‌های فشرده‌شده مدل‌های باز را منتشر می‌کند، Kimi K2.6 مون‌شات، مدلی با پارامتر 1 تریلیون که در زمان عرضه در آوریل 2026 در میان بهترین مدل‌های وزن باز قرار داشت، برای اجرا در 4 بیت به حدود 600 گیگابایت رم و VRAM ترکیبی نیاز دارد. جانشین آن، Kimi K3، در ژوئیه 2026 در شاخص هوش مصنوعی تحلیل مصنوعی امتیاز 57 را کسب کرد و تنها پس از کلود فبل 5 Anthropic و GPT-5.6 Sol از OpenAI.

با این حال، با 2.8 تریلیون پارامتر، وزن آن به تنهایی به 1.4 ترابایت می رسد، که TECHi تخمین می زند که به سختی بر روی یک سرور مرکز داده هشت GPU جای می گیرد.