TPU 8tx و TPU 8i Max

ما مجموعه نسل هشتم TPU خود را با TPU 8tx و TPU 8i Max گسترش داده‌ایم و چهار سیستم TPU جدید را در یک سال نشان می‌دهیم.

SVP و مدیر فناوری، هوش مصنوعی و زیرساخت

ما در حال گسترش مجموعه نسل هشتمی TPU خود با TPU 8tx جدید برای استنتاج ایمن و محرمانه و TPU 8i Max برای پنجره‌های زمینه عظیم هستیم. این سیستم‌ها به شما کمک می‌کنند تا با ارائه سخت‌افزار تخصصی برای امنیت، چگالی و استدلال، بارهای کاری پیچیده را مدیریت کنید. می‌توانید با تماشای پخش ما یا بازدید از وب‌سایت Google Cloud برای بررسی مجموعه زیرساخت‌های کامل ما، درباره این موارد افزوده شده و آخرین به‌روزرسانی‌های نرم‌افزار ما بیشتر بدانید.

ما برای اولین بار بیش از یک دهه پیش با انگیزه نیازهای داخلی Google، از جمله تشخیص صدا و ترجمه زبان، TPUها را طراحی کردیم. هشت نسل از TPU ها بعدا، موارد استفاده منفجر شده است، که شامل موارد زیر می شود: 1) آموزش و ارائه مدل های Gemini خودمان، 2) بارهای کاری عامل، 3) ارائه خدمات به مشتریان Google Cloud در زیرساخت ابری ما، و اخیرا، iv) به مشتریان اجازه می دهد TPU ها را مستقیما در مراکز داده خود مستقر کنند. TPU ها اکنون یک تجارت به سرعت در حال رشد با نزدیک به 100 مشتری هستند - از جمله آزمایشگاه های مرزی، شرکت های تجاری، خرده فروشان، دانشگاه ها و غیره.

در Google Cloud Next در ماه آوریل، دو TPU تخصصی جدید در همان نسل را معرفی کردیم - 8t برای آموزش در مقیاس بزرگ و 8i برای استدلال بلادرنگ. TPU 8t و 8i به ترتیب تا 2.7 برابر عملکرد آموزشی بهتر و 80 درصد عملکرد قیمت استنتاج بهتری نسبت به نسل قبلی TPU های ما ارائه می دهند.

امروز، ما در حال برداشتن یک قدم جلوتر هستیم و مجموعه نسل هشتمی TPU خود را با دو سیستم اضافی گسترش می‌دهیم: TPU 8i Max برای پنجره‌های زمینه عظیم و بالاترین تراکم محاسباتی در هر رک، و TPU 8tx برای استنتاج ایمن و محرمانه. این اولین بار است که ما چهار سیستم TPU را در یک سال معرفی می کنیم.

مجموعه گسترده نسل هشتم TPU ما: TPU 8t، TPU 8i، TPU 8tx، و TPU 8i Max.

در حالی که ما همیشه TPU های خود را با مشارکت Google DeepMind طراحی کرده ایم، اکنون به طور فزاینده ای از سازمان های خارجی در مورد نیازهای خاص آنها بازخورد دریافت می کنیم. با حرکت محاسباتی از مقیاس انسانی به عامل، کسب‌وکارها شتاب‌دهنده‌هایی می‌خواهند که بتوانند در پنجره‌های زمینه عظیم مدل‌های هوش مصنوعی استدلال کنند. علاوه بر این، برخی از مشتریان بسیار تحت نظارت، قابلیت‌های رمزگذاری تخصصی را برای بارهای کاری منحصر به فرد درخواست می‌کنند.

سیستم های TPU جدیدی که امروز معرفی می کنیم به این واقعیت جدید می پردازند. همراه با اطلاعیه های اخیر PyTorch ما، هدف ما این است که TPU ها را به راحتی برای هر توسعه دهنده و مشتری Cloud در دسترس قرار دهیم. با ترکیب سیلیکون سفارشی مدولار با یک پشته نرم افزاری باز و با کاربری آسان، می توانیم سخت افزار و پیکربندی های سیستمی جدید را با سرعت صنعت هوش مصنوعی ارائه کنیم.

امروز، ما دو سیستم TPU جدید را معرفی می کنیم - و تفاوت مهمی بین یک تراشه جدید و یک سیستم جدید وجود دارد.

طراحی یک تراشه جدید به معنای قرار دادن میلیاردها ترانزیستور میکروسکوپی روی یک ویفر سیلیکونی در یک فرآیند چند ساله است که با قوانین فیزیک و چرخه عمر ساخت پیچیده و طولانی مدت محدود می شود. از سوی دیگر، یک سیستم به این موضوع می‌پردازد که چگونه محاسبات، شبکه و ذخیره‌سازی را در اطراف تراشه گرد هم می‌آوریم. این می تواند شامل نحوه بسته بندی آنها با تراشه ها باشد تا به سرعت نیازهای مشتریان در حال ظهور و موارد استفاده تحقیقاتی را برآورده کند.

زمانی که بیش از یک دهه پیش اولین TPU خود را ساختیم، می دانستیم که نرم افزار هوش مصنوعی بسیار سریعتر از تولید سیلیکون تکامل می یابد. بنابراین ما یک شرط اساسی بر روی تعادل و ماژولار بودن سیستم انجام دادیم، و TPU های خود را به عنوان بلوک های سازنده به عنوان بخشی از ابررایانه هوش مصنوعی خود معمار کردیم، تا مهندسان بتوانند به سرعت بسته بندی، حافظه پرسرعت، شبکه های نوری و امنیت را در اطراف آنها تنظیم کنند. این رویکرد به ما اجازه می‌دهد تا ابررایانه‌های تخصصی را در عرض چند ماه به جای چند سال تحویل دهیم.

هر سیستم در نمونه کارها TPU نسل هشتم ما بخش مشخصی از چرخه حیات هوش مصنوعی را هدف قرار می دهد. TPU 8t و TPU 8i خط پایه را برای این نسل از تراشه ها ایجاد کردند:

اکنون، همانطور که شرکت‌ها عوامل مستقل را وارد تولید می‌کنند، ما دو پیکربندی جدید از این سیستم‌های بنیادی را برای حل دو چالش جدید فوری ایجاد کرده‌ایم: امنیت داده در سطح سخت‌افزار و مقیاس بافت میلیونی.

TPU 8tx، سیستم نسل هشتمی ما، برای استنتاج ایمن و محرمانه بهینه شده است و همچنین برای آموزش در مقیاس کوچک عالی است. این برای شرکت‌های تحت نظارت و دولت‌هایی که مدل‌های مرزی یا اختصاصی و عوامل مستقل را در کنار حساس‌ترین داده‌هایشان اجرا می‌کنند، ساخته شده است.

به طور معمول، داده ها هنگام ذخیره یا ارسال از طریق یک شبکه رمزگذاری می شوند، اما باید در حین پردازش آن توسط رایانه در حافظه باز شوند. TPU 8tx که بر روی همان سیلیکون TPU 8t ساخته شده و با میزبان‌های نسل پنجم CPU AMD EPYC جفت شده است، امنیت را مستقیما در لایه سخت‌افزار ایجاد می‌کند و داده‌های حساس و وزن مدل را حتی در هنگام استفاده فعال محافظت و ایزوله نگه می‌دارد. و با استفاده از همان شبکه Boardfly کم تأخیر که برای استدلال بلادرنگ ایجاد کردیم، TPU 8tx عوامل چند مرحله‌ای را در حرکت نگه می‌دارد و تا 2 برابر تاخیر کمتری نسبت به TPU 8t با جریمه عملکرد تقریبا صفر ارائه می‌کند.

جفت کردن محاسبات درجه آموزشی با یک شبکه استنتاج سریع همچنین به این معنی است که سازمان ها می توانند به طور همزمان مدل های خود را بر روی یک سیستم واحد اجرا و سفارشی کنند. TPU 8tx به تیم‌ها امکان می‌دهد تا مدل‌ها را با استفاده از داده‌های خصوصی خود تنظیم دقیق کنند، مدل‌های بزرگ را به مدل‌های کوچک‌تر تقطیر کنند و عوامل خود را از طریق یادگیری تقویتی آموزش دهند، همه اینها بدون نیاز به انتقال داده‌های حساس بین خوشه‌های جداگانه.

TPU 8tx که برای بارهای کاری حساس سازمانی طراحی شده است، محاسبات محرمانه در سطح سخت افزار را برای تنظیم دقیق خصوصی و اجرای ایمن عامل فراهم می کند.

سیستم چهارم ما، TPU 8i Max، برای یک مشکل متفاوت ساخته شده است: دیوار حافظه.

وقتی ده‌ها عامل هوش مصنوعی در کل یک پایگاه کد نرم‌افزاری یا ساعت‌ها ویدیو با هم کار می‌کنند، پهنای باند حافظه به سرعت به گلوگاه تبدیل می‌شود. بنابراین ما دو تراشه TPU 8i با تاخیر کم را برداشتیم و آنها را در یک بسته واحد ترکیب کردیم.

TPU 8i Max محاسبات و حافظه را در lockstep مقیاس می‌دهد، دو برابر محاسبه، دو برابر SRAM و دو برابر پهنای باند HBM TPU 8i را ارائه می‌کند، بنابراین پردازنده‌ها به داده‌های ضروری مجهز می‌شوند و به طوری که حجم کاری بزرگ متوقف نمی‌شود. علاوه بر این، از آنجایی که TPU 8i Max دو برابر سیلیکون موجود در رک موجود است، مراکز داده می توانند قدرت محاسباتی بیشتری را در هر فوت مربع و در هر وات مستقر کنند.

سیستم دو تراشه TPU 8i Max، مهندسی شده برای پنجره های زمینه عظیم و حداکثر تراکم محاسباتی.

در حالی که در سرتاسر حجم کاری انعطاف‌پذیر است، چهار سیستم در TPU‌های نسل هشتم ما با هم، شتاب‌دهنده‌ای هدفمند برای هر مرحله از چرخه حیات نمایندگی به مشتریان می‌دهند. TPU 8t برای آموزش افزایش مقیاس، TPU 8i برای استدلال با تأخیر کم، TPU 8tx برای محاسبات محرمانه، و TPU 8i Max برای پنجره‌های زمینه عظیم و بالاترین تراکم محاسباتی در هر رک.

زمانی که ما اولین TPU را بیش از یک دهه پیش راه اندازی کردیم، تنها تعداد انگشت شماری از شرکت ها در حال اجرای حجم کاری بودند که به قدرت پردازش یک TPU نیاز داشتند. موارد استفاده تخصصی بودند، بنابراین مهندسان از چارچوب های بهینه سازی شده و کدهای دستی استفاده می کردند.

در طول سال ها، با پیشرفت هوش مصنوعی، شرکت های بیشتری شروع به استفاده از شتاب دهنده ها کردند. اکنون، پذیرش هوش مصنوعی در نقطه‌ای است که TPU‌ها برای طیف گسترده‌ای از شرکت‌ها و موارد استفاده عالی هستند، و در نتیجه، ما به‌طور سیستماتیک برای رفع موانع پذیرش کار می‌کنیم تا استفاده از TPU‌ها مانند سخت‌افزارهای همه‌منظوره آسان باشد.

این سرمایه گذاری امروز در این زمینه های کلیدی گرد هم آمده است:

ارسال چهار سیستم TPU و یک پشته نرم‌افزاری باز و یکپارچه در یک سال تنها زمانی اتفاق می‌افتد که معماران سیلیکون، مهندسان شبکه، تیم‌های کامپایلر و محققان Google DeepMind در کنار هم بسازند.

ما حتی به طور فزاینده ای از هوش مصنوعی برای ایده پردازی و ساختن نسل بعدی زیرساخت های هوش مصنوعی استفاده می کنیم. از استفاده از سیستم یادگیری تقویتی AlphaChip Google DeepMind گرفته تا استفاده از Gemini برای ارائه طرح‌بندی تراشه در چند ساعت به جای هفته‌ها، ما از خدمات هوش مصنوعی مبتنی بر TPU برای سرعت بخشیدن به توسعه سخت‌افزار نسل بعدی TPU استفاده می‌کنیم. این یک طراحی مشترک واقعی و یک تمایز منحصر به فرد گوگل است.

با تنظیم برنامه امروز در ساعت 9 صبح به وقت محلی، درباره سیستم‌های TPU جدید ما بیشتر بیاموزید.

صندوق ورودی خود را بررسی کنید تا اشتراک خود را تأیید کنید.

همچنین می توانید با آدرس ایمیل دیگری مشترک شوید.