من دارم LLM ها را روی دستگاه های کوچک و قدیمی کار می کنم

بزرگترین مدل زبانی را که می توانید روی کوچکترین سخت افزاری که دارید اجرا کنید.

جعبه‌های تلویزیون، تبلت‌های قدیمی، رایانه‌های تک برد و روترها همگی دارای یک CPU، مقداری رم و حافظه فلش هستند که بیشتر روز را بیکار می‌کنند. smolmaxxing بزرگ‌ترین مدلی را پیدا می‌کند که هر یک از آنها واقعا می‌توانند اجرا شوند، سپس با هسته‌های سفارشی، استفاده دقیق از حافظه و وزن‌هایی که از فلش پخش می‌شوند، آن را بیشتر پیش می‌برد. هر عدد در این مخزن بر روی خود دستگاه اندازه گیری می شد.

هر دو دستگاه مدل های ترکیبی 8B و 16B را با حدود 1 گیگابایت رم اجرا می کنند و تنها بخشی از هر مدل را در حافظه نگه می دارند و بقیه را در صورت نیاز از روی فلش می خوانند.

دستگاه های بیشتری (تلفن، رایانه های تک برد، روترها) در راهند. این تکنیک ها به یک جعبه گره خورده نیستند: هسته 1 بیتی فقط به NEON اولیه نیاز دارد و پخش جریانی فلش روی هر دستگاه لینوکس یا اندروید با مدلی بیشتر از RAM کار می کند.

همه آن یک پچ در llama.cpp است. ایده های اصلی:

docs/how-it-works.md هر تکنیکی را با بهره اندازه گیری شده خود دارد.

سریعترین شروع یک فایل مدل آماده از Hugging Face است. آنها به llama.cpp اصلاح شده نیاز دارند: stock llama.cpp نمی تواند آنها را بارگیری کند.

MIT وصله های llama.cpp مشتقاتی از llama.cpp (MIT) هستند. وزن مدل مجوزهای خود را حفظ می کند و متون ارزیابی گزیده های ویکی پدیا هستند (CC BY-SA 4.0).

ساخته شده بر روی llama.cpp و llama2.c. مدل‌هایی از Qwen، unsloth (GGUFs و ماتریس‌های اهمیت)، PrismML (Bonsai)، inclusionAI (Ling-mini-2.0)، تبلینوم (Moon-Beam)، bartowski و mradermacher (GGUFs)، Google (Gemma) و story260K. آیپد با آمتیست جیلبریک شده است. بنر از Archivo (SIL OFL) استفاده می کند و توسط tools/banner/render.sh ارائه می شود. لوگوی 🤏 شکلک دستی است که از نوتو ایموجی گوگل (آپاچی 2.0) گرفته شده است.