ستون فقرات یک هیولا - نمودار صعود انویدیا به تایتان شبکه

انویدیا چیزی بیش از یک پیشرو در زمینه گرافیک و سخت افزار هوش مصنوعی است. همچنین با فروش اترنت دیتاسنتر بزرگتر از هر فروشنده دیگری، به یکی از بزرگترین صنعت شبکه تبدیل شده است.

در سه ماهه دوم، درآمد شبکه انویدیا به بیش از 17.5 میلیارد دلار رسید. برای در نظر گرفتن این موضوع، درآمد سیسکو در همان دوره، در تمام محصولات، 17.3 میلیارد دلار بود.

ورود GPUzilla به عنوان یک قدرت شبکه ناگهانی به نظر می رسد، اما جنسن هوانگ در سال 2019 با خرید 6.9 میلیارد دلاری شریک قدیمی شبکه ملانوکس شروع به کار برای این وضعیت کرد.

در آن زمان ملانوکس نام بزرگی در سوئیچینگ اترنت نبود. این شرکت بیشتر به خاطر کارت‌های شبکه ConnectX و سوئیچ‌های InfiniBand معروف بود. خارج از محاسبات با کارایی بالا (HPC) و خوشه‌های ابررایانه، و استقرار بزرگ در مایکروسافت، InfiniBand به طور گسترده در مراکز داده در مقیاس فوق‌العاده مستقر نبود.

خرید ملانوکس به انویدیا اجازه داد تا خود را به عنوان سازنده سیستم تغییر دهد، که به معنای چیزی متفاوت در زمینه محاسبات توزیع شده است. انویدیا متوجه شد که مشتریان مرکز داده اش علاقه ای به خرید پردازنده گرافیکی یا حتی سرور ندارند. آنها خوشه هایی از سیستم ها را می خواستند. برای این کار، انویدیا به اتصال به هم نیاز داشت و InfiniBand ملانوکس با این شرایط مطابقت داشت.

طراحی مشترک بی امان

طی سال‌ها، هوانگ در مورد طراحی مشترک صحبت کرده است - طراحی اجزا و نرم‌افزار برای کار با هم برای مجموعه‌ای از مشاغل به جای اینکه بهترین GPU، سوئیچ یا NIC باشد. کار آن با ملانوکس نمونه بارز این رویکرد است.

به گفته سامه بوجلبنه، تحلیلگر گروه دل اورو، تصمیم انویدیا برای یکپارچه سازی محاسبات و شبکه، کلید موفقیت این شرکت شد.

او به The Register گفت: «مشتریان Nvidia را برای معماری محاسباتی و شبکه‌ای کاملا یکپارچه‌اش انتخاب می‌کنند که برای بارهای کاری هوش مصنوعی بهینه شده است. این ادغام استقرار را آسان‌تر می‌کند و زمان را به بازار سرعت می‌بخشد.

بن مابی، CTO شرکت پیشگام هوش مصنوعی و یادگیری ماشین Recursion، به The Reg Nvidia گفت که طرح‌های یکپارچه‌سازی انویدیا او را به خود جلب کرد.

Recursion که در سال 2013 تأسیس شد، تقریبا یک دهه قبل از اینکه ChatGPT هوش مصنوعی را موضوع بحث میز شام قرار دهد، به دنبال استفاده از یادگیری ماشینی که بر روی پردازنده‌های گرافیکی اجرا می‌شد برای مشکل کشف دارو بود.

مابی به ما می‌گوید که این کار شامل ایجاد مجموعه داده‌های عظیمی بود که اکنون بیش از 50 پتابایت حجم دارند.

او به The Register گفت: «وقتی به حجم کاری ما فکر می‌کنید، باعث می‌شود آموزش حجم کاری LLM در مقایسه با مقدار داده‌ای که باید جابجا شود، آسان به نظر برسد.

او افزود: «در فضای بیولوژیکی و علوم به طور کلی، میزان حجم واقعی داده ها به خوبی قابل درک نیست. اینترنت بزرگ است، اما در طرح کلی چیزها، متنی که مردم روی آن آموزش می‌دهند در واقع بسیار کوچک است، در مقابل پتابایت داده‌ای که ما از این تصاویر داریم.

اولین کلاستر Recursion سیستمی به نام BioHive Zero بود که از کارت‌های گرافیک GTX 1080 که در ابتدا برای سیستم‌های بازی در نظر گرفته شده بودند، ترکیب شد. از اترنت برای اتصال GPU ها استفاده می کرد و به محدودیت های شبکه های معمولی رسید.

بنابراین، برای خوشه دوم خود، یک ماشین مبتنی بر A100 با حدود 300 شتاب دهنده، Recursion با سوئیچ‌های کوانتومی InfiniBand انویدیا و کارت‌های شبکه ConnectX استفاده شد.

همانطور که Mabey توضیح می دهد، خرید محاسبات و اتصالات آن از همان فروشنده، بهینه سازی و عیب یابی را بسیار ساده کرده است. هنگامی که Recursion برای کمک به تنظیم سیستم به انویدیا مراجعه کرد، آنها توانستند آن را به عنوان یک سیستم واحد به جای منابع محاسباتی و شبکه ای مجزا در نظر بگیرند. این سطح از ادغام تنها قبلا توسط سازندگان بوتیک سوپرکامپیوتر مانند کری یا آتوس (Eviden/Bull/هر چیزی که بعدا تغییر نام می‌یابد) ارائه شده بود.

یک طیف گسترده تر

انویدیا همیشه درآمد شبکه را به‌عنوان یک مورد واحد در فهرست مالی خود ذکر نکرده است. با این حال، بر اساس تفسیر CFO و کمی پشت سر هم از ریاضی دستمال، می‌توانیم جاهای خالی را پر کنیم.

درآمد شبکه انویدیا از زمان خرید Mellanox به طور پیوسته افزایش یافته است. در دو لحظه، درآمد آن به طور ناگهانی افزایش یافت.

اولین مورد در سال تقویم 2023 (FY24) پس از اینکه OpenAI با راه‌اندازی ChatGPT، هجوم طلای هوش مصنوعی را آغاز کرد، به وجود آمد.

دومی در سال‌های 2024 و 2025 پخش شد، زمانی که انویدیا شروع به فروش پردازنده‌های گرافیکی نسل بلک‌ول کرد و سپس شروع به ارسال آن‌ها در مقادیر زیاد کرد.

به گفته Nvidia، من دو نقطه عطف اصلی را می بینم که هر دو با رمپ پلتفرم بلک ول همزمان هستند: معرفی سوئیچ های NVLink و پذیرش سریع سوئیچ های اترنت Spectrum-X برای شبکه های پشتیبان هوش مصنوعی، که ناشی از استقرار رو به رشد خوشه های گرافیکی انویدیا و افزایش نرخ سوئیچ های قابل اتصال Nvidia است.

تقریبا در همین زمان بود که کاربران شروع به استقرار روی سوئیچ‌های اترنت در حجم زیاد در کلاسترهای Nvidia کردند. ابرکامپیوتر کولوسوس ایلان ماسک یکی از اولین نمونه ها بود.

همانطور که در آن زمان گزارش دادیم، نیمه اول خوشه 200000 تراشه ای H100 و H200 در سال 2024 آنلاین شد و در آن زمان، یکی از بزرگترین کلاسترهایی بود که با استفاده از سوئیچ های اترنت Spectrum-X انویدیا استفاده می شد.

متا همچنین از سوئیچ‌های Spectrum انویدیا در کلاسترهای آموزشی خود، از جمله در سایت Prometheus با یک میلیون GPU در نیو آلبانی، اوهایو، استفاده گسترده‌ای کرده است.

چند دلیل وجود دارد که انویدیا Spectrum-X اینقدر خوب عمل می کند.

اول، از طریق ترکیبی از سوئیچ‌های Spectrum Ethernet، superNICها و برخی بهینه‌سازی‌های نرم‌افزاری هوشمندانه، انویدیا توانست بسیاری از ویژگی‌هایی را که InfiniBand را بسیار جذاب می‌کرد، تکرار کند و در عین حال از رادیکس و قابلیت همکاری بسیار بالاتر نیز بهره‌مند شود.

سوئیچ های اترنت، از جمله سوئیچ های خود انویدیا، در طول تاریخ پورت های بیشتری را ارائه کرده اند. هرچه ریشه بیشتر باشد، سوئیچ های کمتری برای پشتیبانی از یک کلاستر در سرعت پورت معین لازم است.

این اغلب به این معناست که InfiniBand نمی‌تواند فراتر از خوشه‌هایی با اندازه معین مقیاس شود، که لزوما اینطور نیست. اما برای خوشه‌هایی که از تعداد معینی از GPU فراتر می‌روند، اترنت اغلب مقرون به صرفه‌تر است، زیرا به تجهیزات کمتری نیاز دارد و در عین حال به استفاده مشابهی دست می‌یابد.

همانطور که گفته شد، Spectrum-X انویدیا دقیقا منحصر به فرد نیست. Broadcom، Cisco، AMD و دیگران با سرمایه گذاری های مختلف در smartNIC ها و سوئیچ ها موفق به استفاده مشابه InfiniBand شده اند.

همانطور که Mabey و Boujelbene قبلا اشاره کردند، تمایز اصلی انویدیا، سطح یکپارچگی بین محاسبات و شبکه است.

مرز بعدی

سپس بلک ول وارد بازار شد و مقیاس بسیار بیشتری را ایجاد کرد و درآمد شبکه انویدیا را افزایش داد.

قبل از Blackwell، فناوری اتصال NVLink و NVSwitch Nvidia تا حد زیادی به سیستم‌های منفرد با حداکثر هشت پردازنده گرافیکی محدود شده بود. با راه اندازی GB200 NVL72، این NVSwitches به لوازم اختصاصی تبدیل شدند. (و بله، ما GH200 NVL256 و NVL32 را به خاطر می آوریم، اما از آنجایی که می توانیم بگوییم اینها هرگز در حجم معنی داری ارسال نشده اند.)

به ازای هر سیستم رک NVL72 فروخته شده، انویدیا 9 سینی NVSwitch را نیز فروخت که شش دوجین GPU سیستم را قادر می‌سازد تا به عنوان یک واحد پردازش گرافیکی عظیم عمل کنند. این به طور موثر رشد درآمد شبکه ثابت را تضمین می کرد: حتی اگر مشتریان سوئیچ های مقیاس پذیر انویدیا را نخرند، اگر رک های NVL72 می خواستند، به طور خودکار NVSwitch را خریداری می کردند.

Boujelbene به El Reg گفت: «ما تخمین می زنیم که NVSwitch اکنون تقریبا یک سوم درآمد شبکه انویدیا را به خود اختصاص می دهد، در حالی که کمتر از دو سال قبل تقریبا صفر بوده است. "این نشان می دهد که چقدر سریع سوئیچینگ NVLink به موتور رشد اصلی تجارت شبکه انویدیا تبدیل شده است."

انویدیا اکنون در حال حرکت است تا تجارت شبکه خود را با یک برنامه مجوز جدید بیشتر توسعه دهد.

تا همین اواخر، فناوری NVSwitch انویدیا به شتاب دهنده های خودش محدود می شد. با این حال، با معرفی NVLink Fusion در اوایل سال گذشته، انویدیا فناوری اتصال را به اشخاص ثالث برای صدور مجوز باز کرد.

بسیاری از طراحان تراشه، از جمله Marvell، Qualcomm، Arm، Fujitsu، MediaTek و d-Matrix، برنامه‌های خود را برای توسعه CPU و XPU با استفاده از NVLink Fusion اعلام کرده‌اند. پذیرش این اتصال دری را برای فروش اضافی NVSwitch باز می کند، زیرا تراشه هایی که از NVLink Fusion استفاده می کنند هنوز برای ارتباطات تراشه به تراشه به آنها متکی هستند و جایی برای دریافت آنها وجود ندارد، زیرا Nvidia هنوز مجوز NVSwitch را صادر نکرده است.

Boujelbene گفت: "NVLink Fusion به انویدیا اجازه می دهد تا ردپای شبکه خود را فراتر از پردازنده های گرافیکی خود به بازار شتاب دهنده های سفارشی که به سرعت در حال رشد است گسترش دهد. من آن را به عنوان یک حرکت استراتژیک برای تصاحب سهم بیشتری از هزینه های شبکه هوش مصنوعی، حتی در خوشه هایی که از GPU های Nvidia استفاده نمی کنند، می بینم."

جاه طلبی های شبکه انویدیا به همین جا ختم نمی شود.

Boujelbene افزود: «انویدیا همچنان به دنبال فرصت‌ها در حوزه‌های شبکه در حال ظهور است، زیرا نیازمندی‌های شبکه برای همگام شدن با حجم‌های کاری AI که به طور فزاینده ای نیاز دارند، تکامل می‌یابد. "آخرین نمونه، شبکه های مقیاس پذیر است که برای رفع نیازهای جدید هوش مصنوعی عاملی طراحی شده است، در حالی که نوآوری هایی مانند CPO به غلبه بر چالش های رو به رشد پهنای باند، قدرت و مقیاس پذیری کمک می کند." ®