پرش به محتوای اصلی

"GPU هرگز یک متن را دوبار نمی خواند": استارتاپ بلژیکی Corbenic می خواهد SSD سرور شما را به حافظه AI تبدیل کند، اما سرعت 14 برابری آن بیشتر به دلیل خواندن کمتر است.

تک‌رادار۱۴۰۵ مهر ۲۷, دوشنبه، ساعت ۰۱:۰۰حدود 8 دقیقه مطالعه

Galahad قول استفاده مجدد دقیق و رمزگذاری شده از حافظه پنهان KV را برای vLLM، SGLang و Llama.cpp داده است، اما LMCache، Nvidia و Phison ابتدا به میز گرد آمدند.

Galahad بتای Corbenic AI، حافظه نهان KV مدل را در NVMe محلی رمزگذاری شده ذخیره می‌کند تا سرورها بتوانند پس از پاک شدن حافظه GPU یا پس از راه‌اندازی مجدد، خواندن مجدد متن را رد کنند.

بنیانگذار Sietse Schelpe به TechRadar Pro می گوید که به سخت افزار خاصی نیاز نیست، اما این مقاله بیشتر افزایش 14 برابری را به Blaise، یک جزء بازیابی، نه بارگیری SSD، اعتبار می دهد.

LMCache، Nvidia Dynamo و CMX، WEKA و Phison در حال حاضر حافظه پنهان KV را برای ذخیره سازی حفظ می کنند. لبه گالاهاد دقیق است، استفاده مجدد با شکست در یک کتابخانه کوچک استارت‌آپ بلژیکی Corbenic AI می‌گوید که می‌تواند GPU‌ها را از بازخوانی اسنادی که قبلا پردازش کرده‌اند باز دارد و بنیانگذار آن به TechRadar Pro گفت که این ترفند به چیزی عجیب‌تر از درایو NVMe که قبلا در سرور قرار دارد نیاز ندارد.

Galahad که در 1 اکتبر 2026 وارد نسخه بتا شد، حافظه پنهان (KV) یک مدل، حالت توجه ایجاد شده در حین خواندن یک اعلان، را در حافظه محلی رمزگذاری شده ذخیره می‌کند و دفعه بعد که همان متن ظاهر شد، آن را دوباره بارگیری می‌کند.

Corbenic در ایمیلی به TechRadar Pro، Galahad را با این جمله معرفی کرد: «GPU هرگز یک متن را دوبار نمی‌خواند» و بنیانگذار و مدیر عامل شرکت Sietse Schelpe آن را اینطور خلاصه کرد: «SSD یک سرور از قبل به بخشی از حافظه کاری هوش مصنوعی تبدیل شده است».

پذیرایی از یک بازار با جایگزین های فراوان

زمان اعلام کوربنیک بی عیب و نقص است. با توجه به اینکه مراکز داده در مسیر جذب بیش از 70 درصد تراشه‌های حافظه پیشرفته در سال 2026 هستند، کار بیشتر از سخت‌افزار موجود به راحتی به فروش می‌رسد. اما مقاله خود Corbenic نشان می‌دهد که سرعت 14 برابری سرفصل آن بیشتر به دلیل خواندن متن کمتر است تا بارگذاری کار ذخیره‌شده، و این شرکت در حال قدم زدن در زمینه‌ای است که Nvidia، Phison و یک پروژه منبع باز با بودجه خوب قبلا چیزی مشابه ارائه می‌دهند.

رویکرد Galahad کمی متفاوت است: در سرویس استاندارد، مدلی که به سوال دوم در مورد یک سند پاسخ می‌دهد، وضعیت توجه آن سند را از اولین نشانه محاسبه می‌کند، مرحله‌ای به نام پر کردن. موتورهایی مانند vLLM و SGLang در حالی که در حافظه GPU قرار دارد از آن حالت استفاده مجدد می‌کنند، اما کاغذ Corbenic یادداشت می‌کند که تحت فشار حافظه خارج می‌شود و هر زمان که فرآیند دوباره شروع شود از بین می‌رود.

مؤلفه KV Galahad، Taliesin، هر بلوک از وضعیت متن را در دیسک تحت اثر انگشت دقیق بایت های ورودی، مدل و مستاجر می نویسد، سپس زمانی که آن بایت ها دوباره ظاهر شدند، آن را بارگذاری می کند.

شلپ تاکید کرد که کپی ذخیره شده تنها زمانی وارد بازی می شود که حافظه GPU پاک شود یا سرور راه اندازی مجدد شود. او به TechRadar Pro گفت: "بنابراین انتخاب SSD یا RAM نیست. بلکه SSD یا محاسبه مجدد همه آن بر روی GPU است."

او داوطلبانه دو محدودیت را ارائه کرد: متون کوتاه ذخیره نمی‌شوند زیرا محاسبه مجدد آنها از قبل سریع است و ذخیره‌سازی شبکه بسیار کندتر از یک درایو NVMe محلی است. مقاله یک قانون Fail-closed را در بالا تنظیم می کند: "بدون حافظه سرویس دهید، هرگز با حافظه اشتباه"، بنابراین هر رکوردی که در یک بررسی ناموفق باشد به سادگی دوباره محاسبه می شود.

طبق گفته Schelpe، به سخت افزار خاصی نیاز نیست، فقط لینوکس، پردازنده گرافیکی Nvidia و SSD استاندارد NVMe. در پاسخ به سوالی درباره CXL، او گفت: "ما ذخیره سازی سریع تری را امتحان کردیم، اما Galahad را سریعتر نکرد."

در درایوهای سازمانی مانند خط Pascari Phison، که سازنده آن فلش را به عنوان پاسخی به تنگنای حافظه هوش مصنوعی ارائه کرده است، او بسیار مراقب بود: "ما آنها را اندازه گیری نکرده ایم، بنابراین اعداد را نقل نمی کنم."

شلپه به TechRadar Pro گفت که بارگیری حالت ذخیره شده از یک SSD سریع "بسیار سریعتر" از خواندن مجدد است و "این جایی است که 14× ما از آن می آید: 0.59 ثانیه در هر سوال در vLLM." جداول خود مقاله داستان پیچیده تری را بیان می کند.

نتیجه 0.59 ثانیه ای از یک تست یادآوری با 100 واقعیت پنهان در یک لیست 96726 توکن، اجرا شده بر روی Gemma 4 31B، و از Taliesin به علاوه Blaise بدست می آید. Blaise جزء دومی است که اسناد را به عنوان متن نگه می‌دارد و مدل را فقط بخش مورد نیاز یک سؤال، حدود 668 توکن به جای کل مجموعه، در اختیار مدل قرار می‌دهد. خود مقاله به بلیز اعتبار می‌دهد که سود llama.cpp را از 3.1x به 14.5x افزایش داده است.

تنها با Taliesin، vLLM به ازای هر سوال 15.56 ثانیه زمان می برد، که کندتر از خط پایه 8.11 ثانیه ای آن است، و SGLang 22.02 ثانیه در مقابل 10.29. فقط llama.cpp با استفاده مجدد از KV سریعتر شد، در 3.01 ثانیه در برابر 9.25. این مقایسه ها در هر دو جهت کج است: خط مبنا از یک پنجره 12000 توکنی استفاده می کرد که تنها 12 درصد آخر مجموعه را می دید و به 10 سؤال از 100 سؤال پاسخ می داد، در حالی که تالیسین به مدل اجازه داد به همه چیز رسیدگی کند و به 98 از 100 پاسخ داد.

شلپه گالاهاد را در برابر خطوط لوله تولید افزوده بازیابی (RAG) مانند RAGFlow قرار می‌دهد که اسناد را به تکه‌هایی تقسیم می‌کند و هر قطعه را که جستجو در بالاترین رتبه قرار می‌گیرد، مدل را ارسال می‌کند. او با اشاره به معیاری که در آن Galahad به 100 سوال از 100 سوال و RAGFlow 77 پاسخ داده است، گفت: "وقتی جستجو از دست می‌رود، مدل هرگز پاسخ را نمی‌بیند."

شلپه در پاسخ به سوال TechRadar Pro که چرا هیچ کس دیگری این استراتژی را ارائه نکرده است، گفت: رقبا به دنبال "بزرگتر، بهتر" بوده اند و "هیچ افتخار واقعی" در ساخت چنین چیزی وجود ندارد، و افزود که او خوش شانس بود که همان بار ذهنی را حمل نکرد. صفحه اصلی Corbenic با شعار "ساخت مدل های بزرگتر را متوقف کنید. لایه زیر را بسازید" همین نکته را بیان می کند.

پیش فرض خوب نگه نمی دارد. LMCache، یک پروژه Apache 2.0 با حدود 10900 ستاره GitHub، در حال حاضر حافظه پنهان KV را به حافظه CPU، SSD های محلی و ذخیره سازی راه دور منتقل می کند و یک پست در سال 2024 در وبلاگ خود آن را به عنوان "به LLM ها اجازه می دهد هر متن را فقط یک بار بخوانند." نه روز قبل از راه اندازی Galahad، مهندسان سامسونگ یک ردیف NVMe قابل بازیابی مجدد را برای این پروژه شرح دادند و حامی تجاری آن، Tensormesh، 20 میلیون دلار در ماه مه از سرمایه گذارانی از جمله AMD Ventures، CoreWeave و NVentures Nvidia جمع آوری کرد.

چارچوب Dynamo انویدیا کش KV را از حافظه GPU از طریق DRAM میزبان به NVMe محلی و فضای ذخیره‌سازی شبکه تقسیم می‌کند و در CES 2026، این شرکت از پلتفرم حافظه زمینه BlueField-4، که اکنون CMX نامیده می‌شود، رونمایی کرد که برای فشار دادن کش KV به حافظه‌های SSD NVMe ساخته شده است. Nvidia حتی استدلال کرده است که ذخیره سازی مرز بعدی هوش مصنوعی است. WEKA شبکه حافظه افزوده خود را برای همان کار می فروشد، هوآوی برای جلوگیری از تکرار محاسبات، یک مدیر کش یکپارچه ارائه می دهد، و aiDAPTIV+ Phison در حال حاضر حافظه پنهان KV را روی فلش در لپ تاپ های مصرفی مانند Thunderobot's AI Master M7000 پارک می کند.

یک بازی امنیتی محور که هنوز نیاز به آزمایش مستقل دارد

تمایز واقعی گالاهاد از اکثر رقابت‌هایی که به شدت مورد حمایت قرار می‌گیرد، محدودتر است. مقاله آن به‌طور مستقیم به LMCache و Mooncake اشاره می‌کند و خود را در دقت متمایز می‌کند، با لوجیت‌های بیتی یکسان به عنوان آزمون پذیرش و هرگونه عدم تطابق به عنوان یک اشتباه تلقی می‌شود. شلپ گفت: «دقیق، نه تقریبی»، اگرچه این تضاد در تکنیک‌هایی مانند CacheBlend که LMCache از آن برای استفاده مجدد از تکه‌های غیر پیشوندی با محاسبه مجدد انتخابی به جای بارگذاری ساده استفاده می‌کند، سخت‌تر است.

انتشار راه اندازی Corbenic در واقع منجر به امنیت به جای سرعت می شود و Galahad را "یک انبار امن برای حافظه کاری" می نامد که حالت ذخیره شده را رمزگذاری می کند، داده های هر مشتری را جداگانه نگه می دارد و می تواند فعالیت ها را ضبط کند تا توسعه دهندگان بتوانند حافظه ذخیره شده سرور را به نقطه قبلی برگردانند.

نگرانی پشت زمین واقعی است. محققان در NDSS 2025 نشان دادند که اشتراک‌گذاری حافظه پنهان KV در vLLM و SGLang می‌تواند به یک کاربر اجازه دهد درخواست‌های کاربر دیگر را از طریق یک کانال کناری زمان‌بندی بازسازی کند، و کتابخانه Galahad با امتناع از شروع بدون هویت مستاجر و اثر انگشت مدل، آن را مقابله می‌کند. شلپه همچنین تاکید کرد که داده‌ها باقی می‌مانند: "هیچ شبکه حافظه پنهان مشترکی وجود ندارد و چیزی برای ما ارسال نمی‌شود."

از طرف دیگر، Corbenic یک تیم کوچک مستقر در بلژیک است که به عنوان یک شرکت دلاور ثبت شده است، و هر شماره در مقاله اصلی Galahad آن از آزمایش‌هایی است که بنیانگذار خود روی پردازنده‌های گرافیکی ابری اجاره‌ای انجام داده است، همانطور که مقاله فاش می‌کند. گزارش‌های خام وعده داده شده‌اند اما هنوز منتشر نشده‌اند، روش انتخاب بلیز در انتظار ثبت اختراعات خودداری می‌شود، و مقالات به‌جای کار بررسی‌شده توسط همتایان، پیش‌چاپ‌های arXiv هستند که خود منتشر شده‌اند.

رقابت آن شامل راه‌حل‌های انحصاری و منبع باز است که اکثر آنها آزمایش‌های بسیار بیشتری را پشت سر گذاشته‌اند و احتمالا شاهد پذیرش بسیار گسترده‌تری خواهند بود، مگر اینکه Galahad شرکای صنعتی را پیدا کند که مایل به ادغام آن هستند.

هیچ‌کدام از اینها ایده را اشتباه نمی‌کند. پرداخت هزینه به یک GPU برای بازخوانی قراردادها، دستورالعمل‌ها و کدهای مشابه در هر درخواست، هدر دادن واقعی است، و شلپ مسابقه را به طور معقولی زمانی که «رقیب واقعی: خرید پردازنده‌های گرافیکی بیشتر» می‌خواند، چارچوب می‌دهد. با وجود قیمت‌های حافظه و ذخیره‌سازی، نرم‌افزاری که سرورهای موجود را وادار به انجام کارهای بیشتر می‌کند، خریداران را پیدا می‌کند، و او گفت که واکنش‌های اولیه مثبت بوده است، با «برخی درخواست‌های خوب و برخی آموخته‌ها در حال حاضر».

چیزی که گالاهاد اکنون به آن نیاز دارد، معیار دیگران است: یک برنامه رودررو با LMCache بر روی همان سخت افزار انویدیا، با روشن بودن کش پیشوند هر زمان اجرا، و بازیابی بلیز بر روی اسنادی که در آن ساخته نشده بود، آزمایش شده است. تا آن زمان، مطمئن‌ترین مطالعه این است که Galahad برداشتی دقیق و دقیق از پایداری KV است و چشم‌نوازترین اعداد آن از خواندن کمتر به جای به خاطر سپردن بیشتر است.

خواندن متن کامل در تک‌راداربه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

'The GPU never reads the same text twice': Belgian startup Corbenic wants to turn your server's SSD into AI memory, but its 14x speedup owes more to reading less

Galahad promises exact, encrypted KV cache reuse for vLLM, SGLang, and Llama.cpp, but LMCache, Nvidia, and Phison got to the round table first.

همه‌ی اخبار فناوری