HPE فضای ذخیره سازی را روی مشکل حافظه گران قیمت هوش مصنوعی کار می کند

HPE کار دیگری را به Alletra Storage MP X10000 خود می دهد: وضعیت استنتاج را نگه می دارد که در غیر این صورت از حافظه GPU گران قیمت خارج می شود و بعدا دوباره محاسبه می شود.

در آزمایش تایید شده توسط Kamiwaza با استفاده از پردازنده‌های گرافیکی NVIDIA H200، پلتفرم Kamiwaza AI و HPE Alletra MP X10000، راه‌حل تا 20× زمان سریع‌تر برای اولین توکن و 17× توان استنتاج مؤثر بالاتر در مقایسه با اجرای بدون بارگیری حافظه پنهان KV به دست آورد.

پردازنده‌های گرافیکی هوشمندتر نشدند. آنها کارهای تکراری کمتری داشتند.

نتایج یک تصمیم ذخیره سازی را مستقیما به بحث در مورد اقتصاد هوش مصنوعی منتقل می کند. قیمت مدل توجه زیادی را به خود جلب می کند. پرداخت مکررا به شتاب‌دهنده‌های گران‌قیمت برای پردازش همان زمینه، مستحق برخی نیز است.

به خصوص زمانی که شرکت‌ها از چت بات‌هایی که به سؤالات فردی پاسخ می‌دهند به نمایندگانی می‌روند که می‌توانند یک درخواست را به فعالیت یک کمیته کوچک تبدیل کنند.

نمایندگان شما مشکل تکرار دارند

گردش‌های کاری نماینده به طور مکرر اسناد، دستورالعمل‌های سیستم و تاریخچه مکالمه را پردازش می‌کنند. یک عامل اطلاعات را بازیابی می‌کند، دیگری آن‌ها را ارزیابی می‌کند، سومی نتیجه را بررسی می‌کند و مراحل بعدی مجددا مطالبی را که سیستم قبلا پردازش کرده است بررسی می‌کند.

مقداری تکرار لازم است. محاسبه مجدد همه چیز نیست.

حافظه پنهان KV حالت توجه متوسط ​​را حفظ می کند و به درخواست های سازگار اجازه می دهد تا از محاسبات قبلی مجددا استفاده کنند. در دسترس نگه داشتن حافظه پنهان می تواند کار مورد نیاز را قبل از اینکه یک مدل شروع به تولید پاسخ بعدی کند، کاهش دهد.

متأسفانه حافظه GPU نه بی نهایت است و نه قیمتی که انگار وجود دارد.

زمینه های طولانی و جلسات همزمان برای آن حافظه رقابت می کنند. هنگامی که حافظه پنهان قابل استفاده مجدد حذف می شود و بعدا مورد نیاز است، موتور استنتاج ممکن است مجبور شود آن را دوباره بسازد. کار بیشتر GPU، انتظار بیشتر، و بینش اضافی برای نشان دادن هیچ کدام.

HPE Alletra MP X10000 یک لایه مشترک برای حافظه نهان بارگذاری شده فراهم می کند، در حالی که RDMA برای S3 مسیر داده های ذخیره سازی را تسریع می بخشد. پیشنهاد: به جای وادار کردن GPU دوباره آن را محاسبه کند، زمینه قابل استفاده مجدد را بازیابی کنید.

یکبار محاسبه کنید اغلب استفاده مجدد یک اصل غیرقابل توجه، تا زمانی که جایگزین در لایحه زیرساخت ظاهر شود.

بیست برابر سریعتر، با مخرج متصل شده است

آزمایش تایید شده توسط Kamiwaza از NVIDIA Nemotron 70B و بیش از 30 عامل همزمان تحت استنتاج چند عاملی با زمینه بزرگ استفاده کرد.

این مهم است زیرا این دقیقا نوعی حجم کاری در دنیای واقعی است که در آن مکرر زمینه و فشار حافظه می تواند استفاده مجدد از حافظه پنهان را ارزشمند کند. چندین نماینده که با مطالب همپوشانی مشورت می‌کنند، فرصتی متفاوت از اعلان‌های کوتاه و نامرتبط با زمینه مشترک کمی ایجاد می‌کنند.

این دستاوردهای سرفصل مربوط به حجم کاری خاص است. طول متن، همزمانی، نرخ ضربه حافظه پنهان و سربار انتقال، بازده را تعیین می کند. بیست برابر سریعتر نتیجه آزمایش است، نه یک حق عمومی.

خریداران باید مقایسه را به دقت ضریب بررسی کنند: حجم کاری یکسان، با و بدون تخلیه حافظه پنهان KV، و همزمانی کافی برای نشان دادن شرایط تولید.

سوال مفید این است که برنامه‌های کاربردی آن‌ها چقدر می‌توانند از محاسبات مکرر اجتناب کنند و آیا بازیابی متن ذخیره‌شده سریع‌تر از بازسازی آن است.

یک عدد عملکرد بزرگ بدون شرایط تست آن بیشتر یک تصمیم تایپوگرافی است.

زباله در هنوز هم هزینه دارد

استفاده مجدد از حافظه پنهان، محاسبات مکرر را نشان می دهد. نمی تواند یک سیستم بازیابی را که نیمی از آرشیو اسناد شرکت را برای پاسخ به یک سوال تغذیه می کند، نجات دهد.

گام گسترده‌تر HPE، X10000 را با Data Fabric جفت می‌کند تا دسترسی کنترل‌شده به داده‌های توزیع‌شده را داشته باشد. گره هوشمند داده X10000 ابرداده، طبقه‌بندی و جاسازی‌هایی را در هنگام دریافت تولید می‌کند تا به برنامه‌ها در بازیابی زمینه مرتبط کمک کند.

این امر به جای اینکه هر تیم برنامه‌ای را برای مونتاژ خط لوله آماده‌سازی پایین‌دست دیگری مونتاژ کند، آماده‌سازی را به محل فرود داده‌ها نزدیک‌تر می‌کند.

منطق اقتصادی ساده است. بازیابی دقیق تر می تواند به معنای کمتر بودن مطالب بی ربط در اعلانات و تلاش کمتر برای به دست آوردن پاسخ مفید باشد.

آرشیوهای سازمانی به ندرت با کمبود اسناد مواجه می شوند. تمایز خط مشی فعلی از شش نسخه جایگزین و ارائه ای به نام "FINAL_final_v7" مشکل جالب تر است.

حاکمیت نیز هنگامی اهمیت دارد که کارگزاران اطلاعات را بازیابی کرده و بر اساس آن عمل کنند. زمینه مربوطه هنوز باید زمینه مجاز باشد. دسترسی سریعتر به چیزی که یک نماینده هرگز نباید دیده باشد، یک تعریف ناخوشایند از پیشرفت است.

این به HPE دو اهرم اقتصادی می دهد: آنچه را که در استنتاج وارد می شود بهبود بخشد، سپس در صورت امکان از محاسبات مجدد استفاده کنید.

تمایز مهم است. بازیابی بهتر می تواند اندازه سریع و تلاش مجدد را کاهش دهد. استفاده مجدد از حافظه پنهان KV کار پردازش را کاهش می دهد. به طور جادویی پاسخ های ایجاد شده را کوچک نمی کند یا تامین کننده API را مجبور نمی کند که صورتحساب خود را کاهش دهد.

فراتر از چک باکس کش

تخلیه کش در حال تبدیل شدن به یک بازار شلوغ است. قدرت HPE بر ترکیب آن با آماده‌سازی داده‌ها و مدیریت آن است، نه برنده شدن یک ویژگی دیگر.

آزمون عملی برای سازمان هایی که به دنبال کسب ارزش بیشتر از هوش مصنوعی خود هستند این است که چگونه آماده سازی داده ها، مدیریت و استفاده مجدد از حافظه پنهان به عنوان یک سیستم واحد عمل می کنند.

آیا برنامه ها می توانند اطلاعات مرتبط و مجاز را بدون کپی و آماده سازی غیر ضروری پیدا کنند؟ آیا موتور استنتاج می تواند زمینه قابل استفاده مجدد را به طور موثر حفظ و بازیابی کند؟ آیا این ترکیب با افزایش پنجره‌های زمینه و تعداد نمایندگان، توان عملیاتی مفیدی را حفظ می‌کند؟

این سوالات معماری را به نتایج قابل مشاهده مرتبط می کند.

خریداران باید نرخ بازدید از حافظه پنهان، زمان برای اولین توکن و توان عملیاتی پایدار در بار کاری خود را بپرسند. آنها همچنین باید کیفیت بازیابی و اینکه آیا سیستم وظیفه مورد نظر را کامل می کند را بررسی کنند. پاسخ اشتباه سریعتر، هر چقدر هم که نمودار معیار جذاب باشد، یک پاسخ اشتباه باقی می ماند.

هزینه هر ترابایت همچنان مرتبط است. همچنین هزینه ساخت یک GPU برای هفتمین بار همان جلسه توجیهی را می خواند.

برای اطلاعات بیشتر، به صفحه وب HPE Alletra Storage MP X10000 مراجعه کنید.

ارائه شده توسط HPE