هوآوی از معماری «SuperCluster» رونمایی کرد که برای ساخت یک میلیون تراشه هوش مصنوعی به عنوان یک رایانه طراحی شده است.

مهندسان در چین یک معماری کامپیوتری جدید ساخته اند که می گویند روزی می تواند یک میلیون تراشه هوش مصنوعی (AI) را به عنوان یک واحد کار کند. برای مقایسه، شرکت هوش مصنوعی ایلان ماسک، SpaceXAI (به زودی SpaceXSI) خوشه Colossus خود را قدرتمندترین سیستم آموزشی هوش مصنوعی جهان توصیف می کند که شامل 200000 تراشه به هم پیوسته است.

به طور سنتی، تراشه‌های هوش مصنوعی که برای آموزش مدل‌های پایه استفاده می‌شوند در سرورهای جداگانه قرار می‌گیرند و از طریق یک شبکه برای به اشتراک گذاشتن داده‌ها و تقسیم بار کاری ارتباط برقرار می‌کنند. اما معماری جدید، Peerium، از یک سیستم اتصال پرسرعت استفاده می‌کند که برای حفظ ارتباط کارآمد بین تراشه‌ها در چندین رک طراحی شده است، حتی اگر تعداد تراشه‌ها به صدها هزار برسد.

هواوی از معماری جدید در 17 سپتامبر در کنفرانس سالانه CONNECT این شرکت رونمایی کرد.

نمایندگان هواوی در بیانیه‌ای اعلام کردند که رایانه‌های مجهز به Peerium می‌توانند مدل‌هایی با حداکثر 40 تریلیون پارامتر را آموزش دهند. برای مقایسه، سخت افزارهای رقیب، مانند GB200 NVL72 از NVIDIA و CS-3 از Cerebras، آموزش را در مقیاس تریلیون پارامتر گزارش کرده اند، نه ده ها تریلیون.

لیائو هنگ، دانشمند ارشد بازوی طراحی تراشه های هوآوی، HiSilicon، به آسوشیتدپرس گفت: «طی دو سال آینده، تقریبا 6 یا 7 آزمایشگاه هوش مصنوعی مرزی در چین وجود خواهد داشت و هدف همه آنها آموزش مدل‌های زبان پایه با اندازه‌های بین 10 تا 40 تریلیون پارامتر خواهد بود.» بنابراین برای آموزش این مدل ها به چنین مقیاس زیرساختی نیاز دارید.»

فناوری نیروبخش Peerium

نمایندگان هوآوی در بیانیه اعلام کردند عملکرد Peerium بر سه عنصر متکی است: موازی سازی تو در تو، آدرس دهی حافظه یکپارچه، و اتصالات همتا به همتا.

موازی سازی تودرتو اجازه می دهد تا بارهای کاری به وظایف کوچکتر تقسیم شوند و در گروه های سلسله مراتبی تراشه ها که به صورت موازی کار می کنند سازماندهی شوند. این شبیه به نحوه تقسیم کار یک شرکت به بخش ها و سپس تیم های کوچکتر است که همگی تلاش های خود را برای رسیدن به یک هدف مشترک هماهنگ می کنند. آدرس دهی حافظه یکپارچه به پردازنده ها اجازه می دهد تا به حافظه از طریق سرورهای دیگر دسترسی داشته باشند، برخلاف آنچه که فقط به سرور خود پردازنده متصل است. اتصالات همتا به همتا به اجزا اجازه می دهد تا به جای تکیه بر یک واسطه، مستقیما با یکدیگر ارتباط برقرار کنند.

هر سه اصل برای استفاده کارآمدتر از منابع محاسباتی طراحی شده‌اند تا یک سیستم واحد بتواند تعداد بیشتری از تراشه‌ها را برای مدیریت بارهای کاری سخت‌گیرانه هوش مصنوعی هماهنگ کند.

به گفته هوآوی، فناوری‌های اتصال موجود - که پردازنده‌ها و سرورها را به یکدیگر متصل می‌کنند تا بتوانند ارتباط برقرار کنند - نمی‌توانند معماری Peerium را در مقیاسی که مد نظر دارد پشتیبانی کنند. به عنوان مثال، NVIDIA از NVLink برای ارتباط درون رک ها و InfiniBand برای ارتباط بین رک ها استفاده می کند. اریک ژو، رئیس چرخشی هوآوی، به AP گفت که پهنای باند ارتباط بین رک در این تنظیم 200 گیگابایت در ثانیه است.

او گفت: "با چنین پهنای باند ارتباطات بین رک کم، هیچ راهی وجود ندارد که بتوان یک میلیون پردازنده را به عنوان یک کامپیوتر کار کرد."

هوآوی در عوض فناوری اتصال خود به نام UnifiedBus را توسعه داد که به گفته این شرکت، پهنای باند ارتباطات بین رک تا 800 گیگابایت در ثانیه را ارائه می دهد.

Xu افزود: «وقتی یک میلیون پردازنده به عنوان یک رایانه کار می کنند، این پایه و اساس آموزش و استنتاج هوش مصنوعی بهتر و کارآمدتر است. "بنابراین، من UnifiedBus را به عنوان مسیری برای عصر هوش مصنوعی آینده می بینم. من معتقدم در سال های آینده، سایر بازیکنان مطمئنا همین روند را دنبال خواهند کرد."

دوختن یک شبکه محاسباتی

در کنار Peerium، هواوی همچنین Atlas 950 SuperPoD را معرفی کرد، یک سیستم محاسباتی ساخته شده بر روی Peerium و با بیش از 8000 تراشه شتاب دهنده هوش مصنوعی Huawei Ascend 950DT.

داستان های مرتبط

دانشمندان «پردازنده AGI» تخصصی می‌سازند که معتقدند موج بعدی عوامل هوش مصنوعی را تامین می‌کند

دانشمندان می گویند که آنها یک گلوگاه بزرگ هوش مصنوعی را از بین برده اند - اکنون آنها می توانند محاسبات را "با سرعت نور" پردازش کنند.

فراتر از شهود انسانی: هوش مصنوعی اجزای تراشه را 500 برابر کوچکتر از آنچه مهندسان تصور می کردند طراحی می کند.

Xu گفت که آزمایش برای آموزش هوش مصنوعی بر روی این SuperPoD ها در حال انجام است و نتایج نشان می دهد که آنها از قدرت محاسباتی موجود خود برای آموزش هوش مصنوعی کارآمدتر از خوشه های محاسباتی هوش مصنوعی که مبتنی بر Peerium و UnifiedBus نیستند استفاده می کنند.

هوآوی انتظار دارد حداکثر تا اوایل سال آینده عرضه SuperPoD ها را آغاز کند، قبل از اینکه SuperCluster های خود، که چند SuperPoD را به یکدیگر متصل می کنند تا یک سیستم محاسباتی هوش مصنوعی بزرگتر بر اساس Peerium را در نهایت آنلاین کنند. نمایندگان گفتند که یک SuperCluster با 256000 کارت محاسباتی - ماژول‌های سخت‌افزاری که ظرفیت پردازشی را اضافه می‌کنند - در حال حاضر در حال نصب و آزمایش است.

مدل‌هایی با تعداد زیادی پارامتر به منابع محاسباتی و زیرساخت بیشتری نیاز دارند، که همیشه مطلوب نیست زیرا هزینه‌ها را افزایش می‌دهد. در تابستان، محققان از یک کامپیوتر کوانتومی IBM برای کاهش گیجی مدل زبان متا Llama 3.1 8B - معیاری برای پیش‌بینی کلمه یا نشانه بعدی - استفاده کردند و تعداد پارامترها را تقریبا بدون تغییر نگه داشتند.