PrismML امیدوار است LLM کوچک آن بتواند نحوه استفاده همه ما از هوش مصنوعی را تغییر دهد

PrismML شرط بندی می کند که مدل های زبان بزرگ توانا، با کارایی بالا و استدلال، در واقع نباید بزرگ باشند.

این مدل‌های استدلال را آنقدر کوچک می‌کند که می‌توانند روی رایانه‌های شخصی و تلفن‌های هوشمند جا شوند. (حتی شایعه شده است که در حال مذاکره با اپل است، اگرچه بابک حسیبی، مدیرعامل شرکت از اظهار نظر در مورد آن به TechCrunch خودداری کرد.)

روز پنجشنبه، PrismML Bonsai 2 27B را منتشر کرد که جدیدترین نسخه از خانواده مدل‌های خود است که Qwen3.8 27B، یک مدل متن‌باز پرکاربرد علی‌بابا را تا 5.9 گیگابایت فشرده می‌کند. این به اندازه کافی کوچک است تا روی رایانه شخصی و احتمالا یک تلفن هوشمند رده بالا قرار گیرد. این یک کاهش 9 برابری تا 10 برابری در حافظه نسبت به نسخه اصلی است.

PrismML توسط گروهی از محققان Caltech تاسیس شد و توسط Hassibi، استاد Caltech و متخصص در فناوری های فشرده سازی هدایت می شود. این استارتاپ همچنین یون استویکا را به عنوان مشاور در نظر می گیرد. Stoica یکی از بنیان‌گذاران Databricks (و سایر شرکت‌ها) و مدیر آزمایشگاه محاسبات آسمانی مشهور برکلی است که فناوری‌ها و استارت‌آپ‌های بسیاری از Letta گرفته تا SGLang را به وجود آورده است.

PrismML همچنین توسط سرمایه گذاران Khosla Ventures، Cerberus Capital و Caltech حمایت می شود.

این استارت آپ مطمئنا تنها شرکتی نیست که روی فناوری فشرده سازی LLM کار می کند. محاسبات چند وجهی که توسط یک استاد مشهور از مرکز بین المللی فیزیک دونوستیا اسپانیا تأسیس شده است، یکی دیگر از این موارد است. (و Multiverse Computing مقدار زیادی پول به دست آورده است.)

اما حسیبی می‌گوید که فناوری فشرده‌سازی PrismML منحصربه‌فرد است زیرا LLM‌های آن در مقایسه با نسخه‌های اصلی عملا هیچ کارایی را از دست نداده‌اند. Bonsai 2 با 98٪ امتیازات معیار کل Qwen مطابقت دارد. این بیشتر از اولین Bonsai است که چند ماه پیش در ماه مارس منتشر شد و 95٪ مطابقت داشت. این شرکت می‌گوید که مدل اصلی تاکنون بیش از 11 میلیون بار دانلود شده است و مدل‌های کوچکتر PrismML نیز 2.6 میلیون بار دیگر دانلود شده‌اند.

بنابراین این نشان می دهد که نتایج فشرده سازی PrismML از یک نسخه به نسخه دیگر بهبود یافته است. اینکه آیا هرگز می تواند به برابری عملکرد معیار 100% برسد یا خیر، سوالی است که باید دید. حسیبی می‌گوید فشرده‌سازی احتمالا همیشه تأثیری خواهد داشت.

با این حال، برابری معیار کامل به هر حال نسبتا آکادمیک است. LLM ها در شکل فشرده نشده خود آنقدر دقیق نیستند و معیارها آنقدر منعکس کننده وظایف واقعی نیستند که کاهش 2 درصدی احتمالا به طور معناداری بر نحوه عملکرد یک مدل در استفاده واقعی تأثیر می گذارد. (به‌علاوه، نرم‌افزار اطراف - مهاری که یک مدل در داخل آن اجرا می‌شود - در مورد دقت نیز اهمیت زیادی دارد.)

PrismML می‌گوید که با کوچک کردن «وزن‌هایی» که یک مدل را می‌سازد به این مهم دست می‌یابد - وزن‌ها اساسا اطلاعاتی هستند که یک مدل در طول آموزش یاد می‌گیرد و ذخیره می‌کند. به طور معمول، هر وزن به 16 بیت نیاز دارد. رویکرد PrismML که وزن‌های «سه تایی» نامیده می‌شود، آن را تا سه مورد ساده می‌کند: 1+، 1- یا 0. با مقادیر بسیار کوچک‌تری برای ذخیره برای هر وزن، مدل فضای کمتری را اشغال می‌کند. (برای بررسی عمیق‌تر تکنیک فشرده‌سازی، صفحه GitHub پروژه در اینجا آمده است.)

هدف بعدی این استارتاپ استفاده از این تکنیک فشرده سازی برای مدل های بزرگتر است. حسیبی به تک‌کرانچ گفت: «مدل‌های بعدی که ما عرضه می‌کنیم، امیدواریم در چند ماه آینده، در محدوده چند صد میلیارد پارامتری باشند و من انتظار دارم که حفظ هوشمندی در آنجا آسان‌تر باشد».

او اضافه کرد که با افزایش اندازه مدل، "جای بیشتری برای فشرده کردن آنها بدون از دست دادن هوش وجود دارد. بنابراین من فقط می گویم، به عنوان یک روند کلی، برای مدل های بزرگتر، رسیدن به 100٪ آسان تر است."

Stoica به ما می گوید که او برای این فناوری هیجان زده است زیرا این امکان را برای مدل های پیشرفته در دستگاه های کاربران فراهم می کند. "شما قرار است هوشمندی را در اختیار داشته باشید، و رایگان خواهد بود زیرا روی دستگاهی که قبلا خریداری کرده اید اجرا می شود. همچنین خصوصی خواهد بود، زیرا قرار نیست آن را به ابر ارسال کنید."

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

آخرین روز برای رزرو میز نمایشگاه، 18 سپتامبر است. سرنخ های پر تاثیر، دسترسی سرمایه گذاران، و کانون توجه برند در سالن نمایشگاه Disrupt را از دست ندهید.

استارت آپ فناوری پاک Fluxnium راهی برای بهره برداری از سوخت هسته ای 50000 ساله تیم دی چانت پیدا کرد.

مدل استدلال جدید Salesforce و Nvidia همه چیزهایی است که آزمایشگاه‌های هوش مصنوعی باید از جولی بورت بترسند.

جنسن هوانگ از ترامپ تماس گرفت و چیز دیگری را نیز به نمایش گذاشت، کانی لویزوس

9 استارت‌آپ پرطرفدار از آخرین روز نمایشی Y Combinator، به گفته VCs Marina Temkin Dominic-Madori Davis

تسلا می‌گوید سرانجام در تاریخ 1 اکتبر از نسل دوم رودستر آنتونی ها رونمایی خواهد کرد

Revolut نقض اطلاعات مشتری از طریق درخواست های جعلی دولت Jagmeet Singh را تأیید می کند

مت مولنوگ به کارکنان Automattic می‌گوید (ترول‌ها؟) و می‌گوید که پس از برکناری سارا پرز، مدیر عامل، دوباره کنترل را به دست گرفته است.