ایستگاه کاری هوش مصنوعی جدید Tiny چیزی جز - بسته بندی در آرایه SSD 16 ترابایتی و حافظه گرافیکی 128 گیگابایتی، اما با قیمت چشمگیر برای راه اندازی

Tinybox Red Kimi 30000 دلاری Tiny Corp، چهار پردازنده گرافیکی Radeon AI Pro R9700 (128 گیگابایت GDDR6) را با شانزده درایو NVMe SSD با ظرفیت 1 ترابایت جفت می کند.

یک درایور tinygrad به پردازنده‌های گرافیکی اجازه می‌دهد تا آرایه SSD 238.4 گیگابایت در ثانیه را مستقیما بخوانند تا Kimi K3 2.8 تریلیون پارامتری Moonshot را اجرا کنند.

Tiny ادعا می کند که 40 توکن در ثانیه دارد، اما ریاضیات شامل ذخیره تقریبا تمام وزن هر توکن در VRAM است. هیچ چیز کوچکی در مورد جدیدترین جعبه کوچک Tiny Corp، Tinybox Red Kimi وجود ندارد: قیمت آن 30000 دلار است و چهار کارت گرافیک AMD Radeon AI Pro R9700 را با شانزده درایو NVMe SSD با ظرفیت 1 ترابایت جفت می کند، همه با یک هدف: اجرای Moonshot AI در 2.8-Datameter 2.8-Datameter.

هر R9700 دارای 32 گیگابایت GDDR6 با سرعت 640 گیگابایت بر ثانیه است که به چهار کارت 128 گیگابایت حافظه GPU و 2560 گیگابایت بر ثانیه پهنای باند مجموع می دهد تا با سیستمی که بر روی پلتفرم G5 شرکت Tiny Corp ساخته شده است، با یک پردازنده 32 هسته ای AMD که نام آن را با نام Epyc Genoa پیکربندی می کند. 32 گیگابایت حافظه سیستم DDR5 در کنار.

Tiny Corp ادعا می‌کند که این دستگاه می‌تواند Kimi K3 را با سرعت ۴۰ توکن در ثانیه اجرا کند، رقمی که هیچ‌کس خارج از شرکت هنوز آن را آزمایش نکرده است.

شانزده درایو، چهار پردازنده گرافیکی و یک CPU AMD EPYC بر همه چیز حاکم است

فضای ذخیره سازی در بازی نقطه فروش منحصر به فرد غول Tiny Corp است: 16 درایو آن یک آرایه RAID با سرعت 238.4 گیگابایت بر ثانیه تشکیل می دهند، و Tiny Corp می گوید نرم افزار tinygrad آن اکنون شامل درایوری است که به GPU های AMD اجازه می دهد به جای مسیریابی هر خوانده شده از طریق CPU، مستقیما درایوهای NVMe را کنترل کنند.

با اشتراک گذاری توپولوژی سیستم در X، این شرکت نتیجه را به عنوان "مدل های مرزی در خانه با سرعت قابل استفاده برای قیمت خوب" ارائه کرد.

منطق به ظرفیت خلاصه می شود. کارت مدل Moonshot کشتی‌های Kimi K3 با وزن‌های MXFP4 بومی را نشان می‌دهد و Hyperstack نقطه بازرسی منتشر شده را در حدود 1.56 ترابایت اندازه‌گیری کرد. چهار پردازنده گرافیکی می توانند حدود 8 درصد از آن را در خود جای دهند، بنابراین بقیه باید در جایی زندگی کنند و Tiny Corp فلاش ارزان تری را نسبت به DRAM انتخاب کرده است.

این مفهوم کاملا جدید نیست: محققان انویدیا و دانشگاه ایلینوی دسترسی SSD مبتنی بر GPU را در معماری سیستم BaM در ASPLOS 2023 ارائه کردند و ذخیره‌سازی را به‌عنوان سطح دیگری از حافظه شتاب‌دهنده در نظر گرفتند. با این حال، پیشنهاد Tiny Corp یک نسخه کارآمد بر روی کارت های ایستگاه کاری AMD است، در داخل جعبه ای که می توانید واقعا سفارش دهید.

کد خود پیکربندی، وزن نصب شده Red Kimi را در حدود 56 پوند، در یک شاسی به عرض 12 اینچ، 19.25 اینچ ارتفاع و 18 اینچ عمق تخمین می زند. همچنین رتبه نویز را از زیر 50 دسی بل به زیر 60 دسی بل برای ساخت های R9700 افزایش می دهد و هشدار می دهد که فن های دمنده کارت ها "قابل شنیدن" هستند.

Kimi K3 یک مدل ترکیبی از متخصصان است که 16 نفر از 896 متخصص مسیریابی خود را به اضافه دو متخصص مشترک، برای 104 میلیارد پارامتر فعال در هر توکن فعال می کند. در 4.25 بیت موثر MXFP4 در هر وزن، این به معنای خواندن حداقل 55 گیگابایت وزن برای هر توکن تولید شده است.

اگر هر یک از آن بایت ها از SSD خوانده می شد، آرایه تنها حدود چهار توکن در ثانیه را مدیریت می کرد. رسیدن به 40 توکن در ثانیه به معنای جابه‌جایی تقریبا 2.2 ترابایت بر ثانیه وزن است، یعنی حدود 86 درصد از پهنای باند حافظه ترکیبی چهار پردازنده گرافیکی، در حالی که SSDها می‌توانند حداکثر حدود 6 گیگابایت در هر توکن یا حدود 11 درصد از نیاز هر کدام را داشته باشند.

به طور خلاصه، این ادعا تنها در صورتی جواب می‌دهد که 128 گیگابایت پردازنده‌های گرافیکی تقریبا هر چیزی را که هر توکن لمس می‌کند، داشته باشد، حتی اگر کمتر از یک دهم مدل مناسب باشد. این امر در صورتی قابل دستیابی است که انتخاب متخصص به اندازه کافی قابل پیش بینی باشد تا بتواند به خوبی ذخیره شود، یا اگر Tiny Corp یک کوانتیزه سازی با دقت کمتری نسبت به قالب اصلی Moonshot، رمزگشایی حدسی یا ترکیبی از این سه اجرا کند.

Tiny Corp دقت، طول زمینه، اندازه دسته یا روش پشت شماره خود را منتشر نکرده است و عاقلانه است که آن را در بهترین حالت به عنوان ادعای سازنده تلقی کنیم. رقم کل پهنای باند همچنین فرض می‌کند که حجم کار به طور مساوی بین چهار کارت تقسیم می‌شود که از طریق PCIe ارتباط برقرار می‌کنند.

پیشنهادی گران قیمت که با مک استودیوی اپل همخوانی دارد

Red Kimi با 30000 دلار پول زیادی برای رایانه رومیزی است، اما گزینه های جایگزین برای اجرای مدل 2.8 تریلیون پارامتری به صورت محلی ارزان تر نیستند. Macworld گزارش می دهد که مک استودیو اپل با M5 Ultra و 512 گیگابایت حافظه یکپارچه از 22299 دلار شروع می شود و با SSD 16 ترابایتی به 29799 دلار می رسد که تنها 201 دلار کمتر از جعبه Tiny است. طبق گفته اپل، چهار برابر حافظه سریع 1.2 ترابایت بر ثانیه را ارائه می دهد، اما 512 گیگابایت هنوز نمی تواند نقطه کنترل اصلی K3 را نگه دارد.

DGX Station مبتنی بر GB300 انویدیا با قیمت تقریبا 91,100 دلار با 748 گیگابایت حافظه به فروش رسید که این قیمت نیز کم است. Threadripper Halo Station AMD، با حداکثر 2.6 ترابایت حافظه ترکیبی، به راحتی با این مدل جا می‌شود، اما تا سال 2027 تولید نمی‌شود، و تخمین‌های صنعت یک سیستم کامل را حدود 150000 دلار نشان می‌دهد.

در برابر چنین رقابت پرکار (و گران قیمت)، Red Kimi ارزان‌ترین راه برای حفظ دقت اصلی Kimi K3 روی یک میز است. نکته مهم این است که با درخواست از فلش برای انجام کار حافظه به آنجا می رسد، و هر توکنی که در ثانیه تحویل می دهد بستگی به این دارد که آن شرط چقدر به نتیجه می رسد. تا زمانی که فردی خارج از Tiny Corp اعداد را اجرا نکند، "سرعت های قابل استفاده" یک وعده است تا یک نتیجه.