Apple ML Research: Muse Spark Open با MLX در Mac Studio

استنتاج LLM بزرگ محلی و توزیع شده با MLX و RDMA در مک استودیو

MLX در مک با سیلیکون اپل به محققان و توسعه دهندگان هوش مصنوعی این امکان را می دهد که به صورت محلی جدیدترین مدل ها و روش ها را در یک محیط خصوصی آزمایش کنند. چارچوب آرایه منبع باز از معماری حافظه یکپارچه سیلیکون اپل استفاده می کند و هر کسی را قادر می سازد تا روش های استنتاج جدید و تنظیم دقیق را روی سخت افزار خود اجرا کند و سایر تکنیک های هوش مصنوعی را کشف کند. در پست قبلی، مزایای معماری M5 و شتاب دهنده های عصبی GPU آن را برجسته کردیم.

در این پست، نحوه اجرای جدیدترین مدل کلاس مرزی - Muse Spark Open، با نزدیک به یک تریلیون پارامتر - را مستقیما از روی میز خود، با استفاده از آخرین نسخه MLX که امروز منتشر شد، نشان می‌دهیم. در مجموعه‌ای متشکل از چهار مک استودیو، Muse Spark Open بیش از 36 توکن در ثانیه تولید می‌کند (شکل 1 را ببینید)، که بسیار بالاتر از میانگین سرعت خواندن انسان است.

با شروع یک مک استودیو (حداکثر 512 گیگابایت حافظه یکپارچه)، سپس با درایور RDMA از طریق Thunderbolt، در چند مک استودیو کوچک‌سازی می‌شود، در زیر یک نمای کلی از طیف وسیعی از مدل‌هایی را که اکنون می‌توانید در Mac Studio اجرا کنید، به اشتراک می‌گذاریم.

ما با استفاده از بسته MLX LM، همانطور که در پست قبلی ما توضیح داده شد، چندین LLM با وزن باز محبوب را در Mac Studio معیار قرار می دهیم. ما دو نسل مک استودیو را با هم مقایسه می کنیم: M5 Ultra اخیرا منتشر شده و نسل قبلی M3 Ultra. نسل M5 دارای شتاب دهنده عصبی GPU است که از عملیات ضرب ماتریس اختصاصی پشتیبانی می کند که برای بسیاری از بارهای کاری یادگیری ماشین ضروری است.

ما سه مدل کلاس مرزی (جدول 1) را که طیف وسیعی از اندازه‌ها را در بر می‌گیرند (در میلیاردها پارامتر، B) ارزیابی می‌کنیم: Muse Spark Open (816 B)، Mistral Medium 3.5 (128 B) و Qwen 3.8 (27 B). Muse Spark Open ترکیبی از مدل خبرگان (MoE) است که تنها کسری از متخصصان - و بنابراین پارامترها - را فعال نگه می‌دارد و محاسبات را در استنتاج کاهش می‌دهد و با دقت NVFP4 ارزیابی می‌شود.

Mistral Medium 3.5 و Qwen 3.8 معماری‌های متراکمی هستند که در آن همه پارامترها در استنتاج فعال هستند و با دقت ممیز شناور اصلی خود (به ترتیب FP8 و BF16) ارزیابی می‌شوند.

ارزیابی ما سه معیار را در طیف وسیعی از اندازه‌های زمینه اندازه‌گیری می‌کند: زمان تا اولین نشانه (TTFT، بر حسب ثانیه)، توان تولید (بر حسب توکن/ثانیه)، و مصرف حداکثر توان (بر حسب وات). تمام اعداد عملکرد در این پست با mlx_lm.benchmark به دست آمده است. به عنوان مثال، اجرای Qwen 3.8 با 8192 توکن زمینه و تولید 128 توکن با خط فرمان انجام می شود:

یکی از کاربردهای رایج LLM های محلی در مک استودیو، اجرای تجربیات عاملی در یک محیط خصوصی، از جمله برنامه های برنامه نویسی عاملی است که اغلب به زمینه های بزرگ نیاز دارند. بنابراین ما عملکرد را در هر دو اندازه زمینه 8192 و 65536 گزارش می‌کنیم.

TTFT خام و توان عملیات رمزگشایی به ترتیب در جدول 2 و جدول 3 گزارش شده است.

Qwen 3.8 27B و Mistral Medium 3.5 128B به راحتی روی یک مک استودیو با 512 گیگابایت جای می‌گیرند، و تا 68 گیگابایت و 158 گیگابایت رم را در تنظیمات زمینه بزرگ (65536 توکن) اشغال می‌کنند. در شکل 2، عملکرد استنباط آنها را در یک مک استودیو با 512 گیگابایت رم، هر دو در M3 Ultra و M5 Ultra مقایسه می کنیم.

زمان تا اولین توکن (TTFT) اساسا محدود به محاسبه است، و اینجاست که شتاب‌دهنده‌های عصبی در پردازنده گرافیکی M5 Ultra می‌درخشند: پشتیبانی سخت‌افزاری تخصصی برای ضرب سریع ماتریس شتاب‌دهنده عصبی GPU مستقیما به سرعت‌های قابل توجهی برای TTFT، تا 4.6× سریع‌تر در مقایسه با M3 Ultra ترجمه می‌شود. این باعث می‌شود که Mac Studio با M5 Ultra به دسکتاپ انتخابی برای انجام کارهایی که شامل زمینه‌های بسیار بزرگ هستند، تبدیل شود.

سرعت تولید (به توکن در ثانیه) محدود به پهنای باند حافظه است. تراشه M5 Ultra 1.2 ترابایت بر ثانیه پهنای باند حافظه یکپارچه را ارائه می‌کند که از 819 گیگابایت بر ثانیه برای M3 Ultra بیشتر است. در اینجا دوباره، این به طور مستقیم به سرعت تولید ترجمه می شود (شکل 3 را ببینید)، با Mac Studio با M5 Ultra 1.6× توکن/ثانیه سریعتر را گزارش می دهد.

مک استودیو همچنین برای استنتاج LLM از نظر انرژی کارآمد است (شکل 4 را ببینید): حداکثر مصرف برق برای مک استودیو با M3 Ultra حدود 200 وات و برای مک استودیو با M5 Ultra 300 وات است - کسری از توان مصرفی یک توستر معمولی. مهمتر از آن، این مقدار کم مصرف انرژی به این معنی است که یک مک استودیو را می توان برای کارهای هوش مصنوعی در هر محیط خانه یا دفتری مستقر کرد.

در حالی که هر دو مدل Qwen و Mistral روی یک مک استودیو با 512 گیگابایت رم قرار می‌گیرند، Muse Spark Open به بیش از 1.6 ترابایت رم در دقت اصلی خود (BF16) برای پارامترهای مدل به تنهایی نیاز دارد. در قالب 4 بیتی کوانتیزه (NVFP4)، ردپای حافظه مدل به حدود 493 گیگابایت کاهش می یابد. حافظه مورد نیاز برای محاسبات میانی را در حین استنتاج اضافه کنید، مدل نمی تواند روی یک ماشین جا شود. این نیاز به موازی سازی در چندین رایانه Mac Studio دارد.

مدل های بسیار بزرگ در کلاس مرزی مانند Muse Spark Open روی یک دستگاه قرار نمی گیرند. با این حال، می توان نیمی از مدل را در یک مک استودیو و نیمی دیگر را در دیگری ذخیره کرد. سپس می‌توانیم استنتاج مدل را در دو رایانه خط‌مشی کنیم: Mac Studio اول نیمه اول لایه‌های مدل را اجرا می‌کند، سپس خروجی را به Mac Studio دوم می‌فرستد، که نیمه دوم را اجرا می‌کند. این طرح موازی سازی موازی سازی خط لوله نامیده می شود (شکل 5 را ببینید) و پیاده سازی آن بسیار ساده است و تنها به حداقل تغییرات کد نیاز دارد.

MLX از طرح های موازی سازی مختلف پشتیبانی می کند، همانطور که در مستندات توزیع شده MLX توضیح داده شده است. اینها به ارتباطات سریع بین ماشینی متکی هستند: macOS 26.2 یک درایور RDMA با تأخیر کم را روی Thunderbolt 5 معرفی کرد، و MLX (نسخه 0.30.1 و جدیدتر) بر روی این درایور ساخته شده و مجموعه های ارتباطی جدیدی (jaccl، تلفظ "شغال") برای طرح های موازی سازی مختلف ارائه می دهد. در راه‌اندازی ما، دو استودیو مک با دو کابل Thunderbolt (برای دو برابر کردن پهنای باند پیوند) وصل شده‌اند و پیوند RDMA-over-Thunderbolt را که jaccl استفاده می‌کند، ارائه می‌کند.

پس از راه‌اندازی میزبان‌ها، MLX mlx.launch را ارائه می‌کند، یک فرمان کمکی برای راه‌اندازی کارها در چندین گره:

در این دستور، --backend jaccl پشتیبان راننده RDMA Thunderbolt را مشخص می کند. پرچم --env MLX_METAL_FAST_SYNCH=1 یک ویژگی آزمایشی MLX را برای همگام‌سازی سریع CPU-GPU فعال می‌کند و سربار ارتباط بین CPU (که ارتباط Thunderbolt را آغاز می‌کند) و GPU (که محاسبات را انجام می‌دهد) را کاهش می‌دهد.

به طور کلی، سرعت استنتاج رمزگشایی با موازی سازی خط لوله (نگاه کنید به شکل 7) بسیار شبیه به یک ماشین واحد است، زیرا لایه ها هنوز به صورت متوالی ارزیابی می شوند. سربار ارتباط نیز بسیار کم است، زیرا تنها خروجی های میانی بین دو مجموعه لایه باید مبادله شوند.

با این حال، قابل توجه است که برای زمینه‌های بسیار بزرگ (۶۵۵۳۶ توکن در معیار ما)، موازی‌سازی خطوط لوله سریع‌تر از یک گره برای پیش‌پر کردن پایان می‌یابد - تا ~1.8× سریع‌تر (شکل 6 را ببینید). این به این دلیل است که MLX زمینه‌های بزرگ را به تکه‌های کوچک‌تر تقسیم می‌کند (در اینجا، 8192 توکن، همانطور که توسط --prefill-step-size 8192 تنظیم شده است) و پیش‌پر را در سراسر ماشین‌ها خط لوله می‌کند: در حالی که ماشین دوم لایه‌های بعدی chunk k kuk را محاسبه می‌کند، ماشین اول لایه‌های اولیه kchunk +1 را محاسبه می‌کند. همپوشانی در زمان

برای محاسبه موازی سازی حتی بهتر، در مرحله بعد به موازی سازی تانسور می رویم.

موازی سازی تانسور (شکل 5 را ببینید) عرض LLM را در بین چندین کامپیوتر توزیع می کند، برخلاف موازی سازی خط لوله، که مدل را در عمق آن توزیع می کند. اکنون هر ماشین کسری از هر یک از لایه های مدل را نگه می دارد، به طوری که محاسبات هر لایه موازی می شود. هنگامی که به طور موثر پیاده سازی شود، موازی سازی تانسور سرعت استنتاج را بهبود می بخشد. با این حال، موازی سازی تانسور برای پیاده سازی پیچیده تر از موازی سازی خط لوله است: هر لایه باید موازی شود، که پیچیدگی کد را افزایش می دهد.

این طرح همچنین شامل بسیاری از عملیات ارتباطی کوچک است: برای هر نشانه ورودی و برای هر لایه، باید ورودی ها و خروجی های جمع را پخش کرد. در نتیجه، یک فناوری ارتباطی با تأخیر بسیار کم مانند Thunderbolt RDMA، که توسط MLX jaccl پشتیبانی می‌شود، برای این رویکرد برای افزایش سرعت حیاتی است.

با کمک راه اندازی mlx.launch سطح بالا MLX، به راحتی می توان به موازی سازی تانسور سوئیچ کرد. کامپیوترهای مک استودیو در یک توری Thunderbolt به هم وصل شده اند و هر جفت ماشین توسط دو کابل Thunderbolt به صورت همتا به هم مرتبط هستند. با فرض اینکه هاست ها راه اندازی شده اند، ما به سادگی معیار را در چندین ماشین راه اندازی می کنیم:

شکل 8 و شکل 9 افزایش سرعت به دست آمده با دو یا چهار کامپیوتر مک استودیو با M5 Ultra را نسبت به خط پایه تک ماشینی (یا برای Muse Spark Open، خط پایه موازی سازی خط لوله) نشان می دهد. قابل ذکر است، معماری های متراکم در چندین کامپیوتر مقیاس بهتری دارند.

با تعداد کمی از ماشین‌ها، سربار ارتباط موازی‌سازی تانسور می‌تواند برخی از مزایای محاسباتی آن را در زمینه‌های بسیار بزرگ جبران کند، اگرچه این فقط برای پر کردن اولیه اعمال می‌شود. این موضوع با Muse Spark Open نشان داده می‌شود، جایی که عادی‌سازی جداگانه خروجی‌های کارشناسان مقداری ارتباطات پیش‌پر را اضافه می‌کند، به اندازه‌ای که در زمینه‌های بسیار بزرگ (۶۵۵۳۶ توکن)، موازی‌سازی تانسور دو ماشینی از موازی‌سازی خط لوله دو ماشین عقب‌تر است. با این حال، این رویکرد با اضافه شدن ماشین‌ها نتیجه می‌دهد، همانطور که در چهار M5 Ultra دیده می‌شود.

رمزگشایی تأثیری ندارد: Muse Spark Open سرعت رمزگشایی قابل توجهی را تحت موازی سازی تانسور حتی در زمینه های بزرگ حفظ می کند، که با مدل های متراکم مانند Qwen 3.8 و Mistral Medium 3.5 قابل مقایسه است.

شبکه دو کابلی نیز در هنگام پر کردن، که پهنای باند لینک اضافی احساس می شود، کارآمد است. برای Muse Spark Open در چهار دستگاه M5 Ultra در زمینه 65536 توکن، دو کابل در هر پیوند TTFT را از حدود 50.5 ثانیه (یک کابل) به 40.6 ثانیه کاهش می‌دهند - مقدار دو کابل گزارش شده در جدول 2، اجرای یک کابل آزمایشی اضافی است.

اخیرا، هوش مصنوعی عاملی در مک، کشش قابل توجهی پیدا کرده است، به طوری که ابزارهای کدنویسی عاملی در بین توسعه دهندگان مورد استفاده گسترده قرار گرفته اند. با MLX، راه اندازی این ابزارها به صورت محلی به سادگی راه اندازی سرور با ابزار mlx_lm.server است. به عنوان مثال، سروری که Muse Spark Open را روی پورت 8080 اجرا می‌کند با:

مانند mlx_lm.benchmark، کمک کننده mlx_lm.server را می توان با mlx.launch برای موازی کردن محاسبات در چندین استودیو مک قرار داد. از آنجا، هوش مصنوعی عاملی را می توان با ابزارهایی مانند OpenCode فعال کرد، که به راحتی می توان آن را برای استفاده از سرور LLM محلی پیکربندی کرد:

بسیاری دیگر از تجربیات هوش مصنوعی عامل محلی را می توان از طریق رویکرد مشابه فعال کرد.

در طول سال گذشته، ما روی چندین نوآوری کلیدی در MLX کار کرده‌ایم تا اجرای پیشرفته‌ترین LLM‌ها را به صورت محلی بر روی سیلیکون اخیر اپل آسان‌تر و کارآمدتر کنیم. اینها شامل پشتیبانی نرم‌افزاری از شتاب‌دهنده‌های عصبی در پردازنده گرافیکی خانواده تراشه‌های M5، ارتباطات کم تاخیر در چندین مک با استفاده از RDMA بر روی Thunderbolt، و پیاده‌سازی کارآمد معماری‌های محبوب اخیر مانند ترکیبی از متخصصان (MoE) است.

هر یک از این موارد به تنهایی کمک می کند، اما ترکیب آنها با جدیدترین سیلیکون اپل - مک استودیو با M5 Ultra، شتاب دهنده های عصبی در پردازنده گرافیکی M5 Ultra، 512 گیگابایت حافظه یکپارچه و RDMA بر روی Thunderbolt 5 - است که اکنون به ما امکان می دهد مدل هایی مانند Muse Spark Open را با پارامترهای بیش از 800 بایت در استارت آپ 4×6 به صورت محلی اجرا کنیم. سرعت (زمان به اولین نشانه) نسل قبلی مک استودیو.

کنفرانس بین المللی نمایندگی های یادگیری (ICLR) 2026

اپل تحقیقات جدیدی را در کنفرانس سالانه بین‌المللی نمایش‌های یادگیری (ICLR) ارائه می‌کند که به صورت حضوری در ریودوژانیرو، برزیل، از 23 تا 27 آوریل برگزار می‌شود. در زیر مروری بر مشارکت اپل در ICLR 2026 است.

کاوش LLM با MLX و شتاب دهنده های عصبی در GPU M5

مک با سیلیکون اپل به طور فزاینده ای در میان توسعه دهندگان هوش مصنوعی و محققان علاقه مند به استفاده از مک خود برای آزمایش جدیدترین مدل ها و تکنیک ها محبوب است. با MLX، کاربران می توانند LLM ها را به طور موثر در مک کاوش و اجرا کنند. این به محققان اجازه می‌دهد تا تکنیک‌های استنتاج یا تنظیم دقیق را آزمایش کنند، یا تکنیک‌های هوش مصنوعی را در یک محیط خصوصی، روی سخت‌افزار خودشان بررسی کنند. MLX با تمام سیستم های سیلیکونی اپل کار می کند و با جدیدترین…

تحقیقات ما در زمینه یادگیری ماشینی هر روز زمینه جدیدی را ایجاد می کند.