یک ابر GPU مجازی پویا و توزیع شده ساخته شده بر روی دستگاه های سیلیکونی اپل بیکار
آدرس مقاله: https://machinelearning.apple.com/research/distributed-gpu-cloud آدرس نظرات: https://news.ycombinator.com/item?id=50070593 امتیاز: 246 # نظرات: 98
Minions: یک Cloud مجازی گرافیکی پویا و توزیع شده ساخته شده بر روی دستگاه های سیلیکونی اپل بیکار
نویسندگان Jianhua Li، Yun Xing، Girisha De Silva، Ryan Flint، Kai Yuan، Sean Suchter
افزایش تقاضا برای استنتاج یادگیری ماشین با شتاب GPU محدودیت‌هایی را در زیرساخت‌های GPU متمرکز از جمله هزینه بالا، کشش محدود و زمان انتظار طولانی تحت محدودیت‌های منابع آشکار کرده است. در عین حال، دستگاه‌های macOS مدرن مبتنی بر سیلیکون اپل مجهز به پردازنده‌های گرافیکی قدرتمندی هستند که در طول استفاده عادی تا حد زیادی بیکار می‌مانند. این مقاله Minions را ارائه می‌کند، یک ابر GPU مجازی پویا و توزیع‌شده که پردازنده‌های گرافیکی بیکار Apple Silicon را در سراسر دستگاه‌های macOS جمع‌آوری می‌کند تا بارهای کاری استنتاج یادگیری ماشین در مقیاس بزرگ را اجرا کند.
Minions به تیم ها این امکان را می دهد تا از سخت افزار موجود بدون نیاز به خرید GPU اضافی استفاده کنند. این سیستم اجرای کار استنتاج GPU انعطاف پذیر، تحمل خطا و استفاده کارآمد از منابع را فراهم می کند. تجربه ما نشان می‌دهد که دستگاه‌های macOS بیکار می‌توانند به یک پلتفرم استنتاج GPU توزیع‌شده عملی در محیط‌هایی که منابع GPU متمرکز محدود هستند، تبدیل شوند.
کاوش LLM با MLX و شتاب دهنده های عصبی در GPU M5
مک با سیلیکون اپل به طور فزاینده ای در میان توسعه دهندگان هوش مصنوعی و محققان علاقه مند به استفاده از مک خود برای آزمایش جدیدترین مدل ها و تکنیک ها محبوب است. با MLX، کاربران می توانند LLM ها را به طور موثر در مک کاوش و اجرا کنند. این به محققان اجازه می‌دهد تا تکنیک‌های استنتاج یا تنظیم دقیق را آزمایش کنند، یا تکنیک‌های هوش مصنوعی را در یک محیط خصوصی، روی سخت‌افزار خودشان بررسی کنند. MLX با تمام سیستم های سیلیکونی اپل کار می کند و با جدیدترین…
تسریع استنتاج LLM در پردازنده‌های گرافیکی NVIDIA با ReDrafter
تسریع استنتاج LLM یک مشکل مهم تحقیقاتی ML است، زیرا تولید توکن رگرسیون خودکار از نظر محاسباتی گران و نسبتا کند است و بهبود کارایی استنتاج می‌تواند تأخیر را برای کاربران کاهش دهد. علاوه بر تلاش‌های مداوم برای تسریع در استنتاج سیلیکون اپل، اخیرا پیشرفت قابل‌توجهی در تسریع استنتاج LLM برای پردازنده‌های گرافیکی NVIDIA که به طور گسترده برای برنامه‌های تولید در سراسر صنعت استفاده می‌شوند، داشته‌ایم.
تحقیقات ما در زمینه یادگیری ماشینی هر روز زمینه جدیدی را ایجاد می کند.
متن اصلی (انگلیسی)
A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Article URL: https://machinelearning.apple.com/research/distributed-gpu-cloud Comments URL: https://news.ycombinator.com/item?id=50070593 Points: 246 # Comments: 98