AMD: جایی که می رویم به DRAM (به اندازه زیاد) نیاز نداریم

آخرین میزان فروش AMD: تا 99 درصد عملکرد با نیمی از DRAM، مشروط بر اینکه مایل به خرید مجوز Mext در کنار سرور جدید و درخشان Epyc خود باشید.

این امر با استفاده از مدل‌های هوش مصنوعی برای بارگیری صفحات حافظه در داخل و خارج از فضای ذخیره‌سازی ارزان‌تر NVMe قبل از اینکه سیستم عامل یا برنامه‌های شما بدانند به آن نیاز دارند ممکن می‌شود - مانند SWAP یا فایل صفحه ویندوز، اما هوشمندتر.

AMD در ماه ژوئن این فناوری را از Mex به دست آورد و به گفته مدیر عامل سابق گری اسمردون - که اکنون معاون توسعه کسب و کار در AMD است - این فناوری می تواند با جایگزینی RDIMM های پرهزینه با حافظه فلش، هزینه های سرور سازمانی را تا 83 درصد کاهش دهد. او تخمین می‌زند که از 145 سیستم اولیه‌ای که نرم‌افزار روی آن‌ها نصب شده است، 5 میلیون دلار در هزینه‌های اجتناب‌شده DRAM صرفه‌جویی کرده‌اند.

وی توضیح داد: به طور محافظه کارانه، 60، 70، حتی 80 یا 90 درصد برای سیستم های حافظه بسیار بزرگ، هزینه یک سرور می تواند در حافظه باشد.

کلید واژه مورد علاقه همه برای نجات

او توضیح داد که حتی در سیستم‌هایی با استفاده از حافظه بالا، که (مثلا) 95 درصد حافظه در حال استفاده است، بسیاری از آن به طور فعال استفاده نمی‌شود. او به یک مقاله تحقیقاتی متا اشاره کرد که نشان داد بین 50 تا 80 درصد از صفحات حافظه در پنج دقیقه، ده دقیقه یا حتی بیشتر لمس نشده اند. "پنج دقیقه تا Epyc یک ابدیت است."

هدف فناوری Mext این است که صفحاتی را که به‌ندرت به آن‌ها دسترسی پیدا می‌کنید برای فلش بارگذاری کند. اسمردون توضیح می‌دهد که چالش این است که اگرچه فلاش ممکن است 50 برابر ارزان‌تر در هر بیت باشد، 30 برابر قدرت کمتر در هر بیت، اما همچنین 500 برابر کندتر است.

به همین دلیل است که اکثر افراد هنگام تهیه VPC یا سرورها، به طور کلی از تعویض دیسک در هر جایی که ممکن است اجتناب می‌کنند: عملکرد برنامه را از بین می‌برد و توافق‌نامه‌های سطح سرویس را از پنجره می‌فرستد.

بنابراین برای اینکه فناوری Mext کار کند، باید اطمینان حاصل شود که هر صفحه‌ای که در فضای ذخیره‌سازی بارگذاری می‌شود، قبل از نیاز به DRAM بازگشته است. مثل انجام یک کار در وسط روز کاری - تا زمانی که قبل از اینکه رئیستان دوباره به شما نیاز داشته باشد، برگشته اید، آنها هرگز متوجه نمی شوند که میزتان را ترک کرده اید.

مشکل این بود که "R" در DRAM مخفف random است. پیش‌بینی صفحاتی که سیستم در آن زمان به آن‌ها نیاز دارد، دقیقا بی‌اهمیت نیست. راه حل؟ (برای آن آماده باشید.)

اسمردون گفت: «ما متوجه شدیم که می‌توانیم از هوش مصنوعی برای نظارت بر سیستم استفاده کنیم و آن صفحات را فعالانه به داخل DRAM برگردانیم، به طوری که تا آنجا که برنامه یا سیستم عامل می‌دانست، آنها در تمام مدت آنجا بودند. به عبارت دیگر: "ما به طور شفاف فلش را به صورت DRAM ظاهر می کنیم."

بنابراین، "به جای خرید دو ترابایت DRAM برای سرور مبتنی بر Epyc خود، می توانید یک ترابایت DRAM بخرید، و سپس ترابایت بعدی با Mext می آید."

برای انجام این کار، AMD’s Mext از تعدادی الگوریتم یادگیری ماشینی استفاده می کند.

اسمردون توضیح داد: «مدل اسب کاری یک مدل مشتق از ترانسفورماتور است، درست مانند ChatGPT یا کلود یا مدل‌های معروف دیگر، اما به‌جای پیش‌بینی، برای مثال، در مورد متن، کلمه بعدی چیست، کاری که ما انجام می‌دهیم این است که پیش‌بینی کنیم چه صفحه‌ای از حافظه بعدی مورد نیاز است». او افزود، تا زمانی که صفحات قبل از نیاز در DRAM باشند، حتی نیازی نیست که صفحات به ترتیب درست باشند.

آموزش مدل‌ها برای پیش‌بینی دقیق الگوهای دسترسی به حافظه، چالش‌های خاص خود را ایجاد می‌کند، که به گفته اسمردون، آموزش پیش‌آموز مدل‌ها را غیرعملی می‌کند.

او توضیح داد که در عوض، آنها یک هسته Epyc را انتخاب می‌کنند و مدل را در کمتر از یک ثانیه آموزش می‌دهند. از آنجا، مدل در طول زمان بیشتر اصلاح می‌شود و دوباره آموزش داده می‌شود تا زمانی که بتواند به‌طور دقیق پیش‌بینی کند که صفحات باید کجا باشند و چه زمانی باید آنجا باشند.

او تاکید می‌کند که تمام این آموزش‌ها بر روی هسته CPU انجام می‌شود – بدون نیاز به GPU، به این معنی که اساسا هر مشتری Epyc می‌تواند از مزیت پلت فرم نرم‌افزار استفاده کند.

در حالی که ممکن است نیازی به GPU نباشد، شایان ذکر است که در محیط‌های مجازی، نرم‌افزار به یک هسته برای هر VM یا VPC نیاز دارد، بنابراین سربار با مجازی‌سازی مقیاس می‌شود. احتمالا زمان اجرا کانتینر از همین محدودیت رنج نمی برد. ما برای شفاف سازی با AMD تماس گرفتیم.

99 درصد عملکرد، نیمی از DRAM

به گفته AMD، این فناوری در واقع کار می کند. اسمردون می گوید که در ابتدا، این شرکت برنامه های کاربردی تشنه حافظه مانند اتوماسیون طراحی الکترونیکی (EDA) و تولید محتوا را هدف قرار داد، اما بعدا برای پشتیبانی از برنامه های حساس به تأخیر مانند پایگاه های داده و خطوط لوله هوش مصنوعی عامل توسعه یافت.

او می‌گوید: «وقتی صفحات حافظه سرد هستند، می‌توانیم آن‌ها را خاموش کنیم تا فلش شوند، و به معنای واقعی کلمه هیچ تأثیری روی عملکرد وجود ندارد.

اسمردون در اینجا کمی اغراق می کند. بسته به برنامه کاربردی و میزان حافظه تخلیه شده برای فلش، جریمه عملکرد وجود دارد.

طبق آزمایش‌هایی که بر روی مجموعه PrimeTime EDA Synopsys انجام شده است، او ادعا می‌کند که نیمی از حافظه را می‌توان با استفاده از Mext روی فلش بارگذاری کرد و سیستم همچنان 95 درصد از عملکرد DRAM را به دست می‌آورد. با 25 درصد DRAM و 75 درصد فلاش، عملکرد به 80 درصد از سطح پایه فقط DRAM در تست های AMD کاهش یافت.

ابزارهای EDA بسیار تشنه حافظه هستند، اما مقدار داده‌هایی که هسته‌ها در هر لحظه روی آن کار می‌کنند، اغلب با مگابایت اندازه‌گیری می‌شوند. به همین دلیل است که تراشه‌های AMD Epyc X در بین مشتریان EDA بسیار محبوب هستند و چرا Mext در ابتدا آن را هدف قرار داد.

در سناریوهای دیگر، مانند Apache Spark، تیم Mext AMD می‌گوید که حتی پس از جایگزینی نیمی از DRAM در سیستم با فلش، 99 درصد عملکرد را مشاهده می‌کند.

در حالی که اجرای این فناوری ممکن است مقداری کارایی هزینه داشته باشد، AMD شرط می‌بندد که مشتریان در ازای صرفه‌جویی قابل توجهی در DRAM، به این مصالحه دست بزنند، زیرا حافظه به لطف ساخت مرکز داده هوش مصنوعی محدود باقی می‌ماند.

در حال حاضر، AMD در تلاش است تا Mext را در مجموعه گسترده‌تر سازمانی خود ادغام کند. به ما گفته شده است که این نرم افزار منحصر به سخت افزار AMD خواهد بود و به عنوان مجوز فروخته شده از طریق شرکای OEM ارائه می شود.

سیستم‌هایی که لینوکس را اجرا می‌کنند تنها به یک درایور هسته نیاز دارند تا از مزیت نرم‌افزار استفاده کنند، در حالی که یک برنامه کاربردی RAM View جداگانه برای کمک به شرکت‌ها در درک سیستم‌ها و بارهای کاری ارائه می‌شود.

طراح تراشه می‌گوید که در حال حاضر در مرحله اول عرضه Mext خود است، به این معنی که با OEMهایی مانند HPE کار می‌کند تا اطمینان حاصل شود که سیستم‌ها به اصطلاح «مکس آماده» هستند. در مرحله دوم، این شرکت قصد دارد فروش مجوزهای نرم افزار و پلتفرم های Epyc را با RAM View از پیش نصب شده آغاز کند.