استنباط هوش مصنوعی در تنگنای حافظه قرار دارد. هواوی می‌خواهد با OceanStor M900 با آن مقابله کند

همانطور که سازمان ها از تعاملات ساده هوش مصنوعی به سمت مکالمات طولانی تر، استدلال های پیچیده و عوامل مستقل حرکت می کنند، تقاضاها در زیرساخت آنها در حال تغییر است. پردازش مقادیر زیادی از زمینه فشار قابل توجهی بر ظرفیت حافظه وارد می کند، در حالی که نگه داشتن شتاب دهنده ها با داده ها به اندازه قدرت محاسباتی خام اهمیت دارد. یک چالش خاص، حافظه پنهان کلید-مقدار (KV) است که اطلاعات تولید شده در طول استنتاج را ذخیره می‌کند تا مدل‌ها بتوانند به جای پردازش مکرر همان زمینه، از محاسبات قبلی استفاده مجدد کنند.

همانطور که پنجره‌های زمینه گسترش می‌یابد و تعاملات چند نوبتی نیازمندتر می‌شوند، این حافظه‌های پنهان به طور قابل توجهی رشد می‌کنند. حافظه GPU و حافظه سیستم دسترسی سریع را فراهم می کنند اما گران هستند و ظرفیت محدودی دارند. ذخیره‌سازی سنتی ظرفیت بیشتری را ارائه می‌دهد، اما مسیرهای داده طولانی‌تر با واسطه CPU می‌تواند تأخیر ایجاد کند که منابع ارزشمند شتاب‌دهنده را در انتظار داده باقی می‌گذارد. هوآوی معتقد است که رفع این شکاف نیاز به رویکرد متفاوتی برای ذخیره سازی دارد.

نزدیک‌تر کردن حافظه زمینه به محاسبات در HUAWEI CONNECT 2026 در شانگهای، هواوی OceanStor M900 Context Memory Storage را معرفی کرد که برای پشتیبانی از استنتاج هوش مصنوعی در مراکز داده‌های فوق مقیاس و زیرساخت Ascend SuperPoD آن طراحی شده است. این پلتفرم چیزی را معرفی می‌کند که هوآوی به‌عنوان یک لایه ذخیره‌سازی حافظه زمینه اختصاصی توصیف می‌کند، حافظه پنهان KV را فراتر از حافظه شتاب‌دهنده و سیستم به یک استخر ذخیره‌سازی مشترک و چند لایه گسترش می‌دهد.

OceanStor M900 با استفاده از اتصال پرسرعت UnifiedBus هوآوی، منابع کش KV را قادر می‌سازد تا در یک خوشه به اشتراک گذاشته شوند، با ادعای هواوی ظرفیت تا 64PB و زمینه قابل ملاحظه‌ای بیشتر در هر NPU در دسترس است. دیسک نوآورانه ASU آن همچنین عملکردهای CPU، شبکه و کنترل کننده ذخیره سازی را ادغام می کند. در ترکیب با معنای KV بومی، این امکان را به NPU ها می دهد تا به داده های حافظه پنهان ذخیره شده در یک جهش دسترسی داشته باشند و از تبدیل پروتکل مرسوم و ارسال CPU اجتناب کنند.

به گفته هوآوی، این رویکرد تأخیر دسترسی را تا 60 میکروثانیه کاهش می‌دهد، به طور بالقوه توان عملیاتی توکن را دوبرابر می‌کند و زمان را به اولین توکن در حجم‌های کاری کدنویسی AI معمولی نصف می‌کند. هزینه و دوام نیز بخشی از پیشنهاد است. فناوری ذخیره‌سازی تطبیقی ​​هوآوی با KV-aware قرار دادن داده‌ها را بر اساس چرخه‌های عمر حافظه پنهان مدیریت می‌کند، با دوام ادعایی تا ۲۴ نوشتن درایو در روز یا ۱۶ برابر SSD‌های معمولی. این شرکت استدلال می کند که این می تواند هزینه های تعویض و تعمیر و نگهداری را در طول زمان کاهش دهد.

اهمیت گسترده‌تر OceanStor M900 در رویکرد هواوی به زیرساخت‌های هوش مصنوعی نهفته است. این شرکت به جای تلقی فضای ذخیره‌سازی به‌عنوان یک مؤلفه پشتیبان جداگانه، حافظه، شبکه و محاسبات را به‌عنوان عناصر به‌هم پیوسته عملکرد استنتاج قرار می‌دهد. با افزایش حجم کاری هوش مصنوعی عامل، میزان کارآمدی زیرساخت‌ها برای حفظ، اشتراک‌گذاری و بازیابی زمینه ممکن است به همان اندازه مهم شود که شتاب‌دهنده‌های آن با چه سرعتی می‌توانند آن را پردازش کنند. با حمایت هواوی