پرش به محتوای اصلی

Edge0-145B: قابلیت‌های هوش مصنوعی مرزی در رایانه شخصی شما

هکرنیوز۱۴۰۵ آبان ۲۲, جمعه، ساعت ۰۲:۳۶حدود 13 دقیقه مطالعه

آدرس مقاله: https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-capabilities-on-your-own-computer آدرس نظرات: https://news.ycombinator.com/item?id=50475713 امتیاز: 331 # نظر: 100

امروز، ما Edge0-145B و Edge0-120B را منبع باز، همراه با چارچوب استنتاج یکپارچه و ابزارهای استقرار خود هستیم. Edge0-145B اولین مدل هوش مصنوعی منبع باز در جهان با 145 میلیارد پارامتر است. این برنامه قابلیت‌های کدنویسی، استدلال و عاملی را که با مدل‌های ابری مرزی رقابت می‌کنند را به رایانه شما می‌آورد.

هوش مصنوعی روی دستگاه مدت‌هاست که بین قابلیت مدل و آنچه سخت‌افزار می‌تواند اجرا کند، معاوضه ایجاد کرده است. مدل های بزرگتر به حافظه، پهنای باند و قدرت بیشتری نیاز دارند. مدل های کوچکتر می توانند با کارهای پیچیده دست و پنجه نرم کنند. انتقال آن کار به ابر هزینه های ارائه دهنده مدل، محدودیت های مدیریت داده و وابستگی به اتصال را اضافه می کند.

این نسخه به چهار روش به این محدودیت ها می پردازد:

ما پشته کامل را منتشر می‌کنیم تا توسعه‌دهندگان بتوانند نتایج را بازتولید کنند، مدل‌ها را ارزیابی یا تنظیم دقیق کنند، و آنها را در محصولات خود ادغام کنند.

وزن مدل را دریافت کنید، چارچوب استنتاج را بررسی کنید، یا برنامه Edge0 را امتحان کنید.

Edge0-145B یک مدل با پارامتر 145 میلیارد قابل استفاده در یک لپ تاپ شخصی می سازد. یک مدل محلی مفید باید در حافظه جا بیفتد، اعلان‌ها را به سرعت پردازش کند، به اندازه کافی سریع برای استفاده تولید کند و مصرف انرژی را تحت کنترل نگه دارد. همچنین باید وظایف طولانی تری را حفظ کند.

نسخه قبلی گوشی Edge0-35B ما حداکثر حافظه را زیر 2.5 گیگابایت گزارش کرده بود. در iPhone 18 Pro Max، Edge0-35B با استفاده از تقریبا 2.5 گیگابایت حافظه، بیش از 37 توکن در ثانیه ارائه می‌کند. Edge0-145B تقریبا چهار برابر پارامترهای بیشتری دارد. مقایسه لپ تاپ آن بیش از 80 توکن در ثانیه و حداکثر حافظه 28 گیگابایتی را گزارش می دهد. این اندازه گیری ها برای مدل ها و سخت افزارهای مختلف اعمال می شود.

مقیاس مدل روی دستگاه در طول زمان. این نمودار 67 مدل باز با حداقل پارامترهای 1B از 14 آزمایشگاه را پوشش می دهد که برای تلفن ها، لپ تاپ ها و رایانه های شخصی هوش مصنوعی در نظر گرفته شده است. انواع پایه، دستور و استدلال هم اندازه یک بار می‌شمارند. هر خط بزرگ‌ترین مدل آزمایشگاه را دنبال می‌کند، از جمله نسخه‌های قبل از ژوئیه 2025. نقاط پر شده، اوج‌های جدید و نقاط توخالی نسخه‌های دیگر را نشان می‌دهند. مقیاس لگاریتمی زیر 40B و خطی بالای آن است. اپل مستثنی شده است زیرا وزن های آن منتشر نشده است. منابع: اطلاعیه های فروشنده و کارت های مدل.

محدودیت‌های حافظه، بیشتر مدل‌های روی دستگاه را تا قبل از سپتامبر 2026 زیر پارامترهای 10B نگه می‌داشت. مدل پایه روی دستگاه Apple Intelligence تقریبا پارامترهای 3B داشت، در حالی که Gemini Nano Google در نسخه‌های 1.8B و 3.25B عرضه شد. حتی یک مدل 7B می تواند تقریبا 4 گیگابایت حافظه مصرف کند.

مدل های بزرگتر با دیوار حافظه روبرو بودند. وزن‌های مدل فضای ذخیره‌سازی را اشغال می‌کنند و باید در طول تولید خوانده شوند و برای حافظه و پهنای باند محدود با سیستم عامل و سایر برنامه‌ها رقابت می‌کنند. حتی یک مدل 35B فشرده شده تهاجمی می تواند تقریبا به 20 گیگابایت حافظه نیاز داشته باشد، بسیار بیشتر از آن چیزی که یک تلفن می تواند در دسترس باشد.

محاسبات، پهنای باند و قدرت محدودیت های رقابتی ایجاد کردند. مدل‌های بزرگ‌تر قابلیت‌های بیشتری را ارائه می‌کنند، اما ظرفیت حافظه، سرعت تولید و عمر باتری را کاهش می‌دهند. کوچک‌تر کردن مدل‌ها به آن‌ها کمک می‌کرد که غالبا به بهای قابلیت‌شان جا بیفتند.

حریم خصوصی به تنهایی نمی تواند این شکاف را برطرف کند. Apple Intelligence از داده‌های کاربر محافظت می‌کرد، اما اپل اذعان کرد که مدل روی دستگاه آن برای برنامه‌های کاربردی که نیاز به دانش عمومی جهان دارند طراحی نشده است. فرض غالب این بود که هوش روی دستگاه نمی تواند با ابر مطابقت داشته باشد.

ما Edge0-145B و موتور استنتاج آن را با هم طراحی کردیم تا حافظه و حرکت داده را کاهش دهیم که اجرای محلی مدل های بزرگ را دشوار می کند. طراحی شامل معماری، آموزش، بارگذاری و زمان بندی می شود.

معماری: ماتریس های بزرگ را در میان متخصصان کم به اشتراک بگذارید. به اشتراک گذاری ماتریس ها به طور قابل ملاحظه ای وزن هایی را که باید ذخیره و جابجا شوند کاهش می دهد و در عین حال تعداد متخصصان را بدون تغییر نگه می دارد. هر گروه متشکل از 64 متخصص دو ماتریس بزرگ مشترک دارند، در حالی که هر متخصص مجموعه کوچکی از پارامترها را حفظ می کند که تفاوت های آن را نشان می دهد. قبلا هر متخصص مجموعه کاملی از ماتریس ها را ذخیره می کرد. از مجموع پارامترهای 145B مدل، تنها تقریبا 10B در محاسبه در هر مرحله استنتاج شرکت می کنند.

آموزش: ساخت برای اجرای محلی از روز اول. ما مدل را از ابتدا در معماری روی دستگاه خود آموزش می‌دهیم، با محدودیت‌های استقرار در طراحی آن. این امر از تلقی استقرار محلی به عنوان یک مرحله فشرده سازی یا هرس پس از آموزش یک مدل ابری جلوگیری می کند.

بارگیری: حافظه GPU خط لوله، حافظه سیستم و دسترسی SSD. خواندن و محاسبه در سه سطح ذخیره‌سازی همپوشانی دارند و از انتظار سریال اجتناب می‌کنند. "کارشناسان داغ" پرکاربرد در حافظه GPU باقی می مانند. یک کتابخانه تخصصی تقریبا 40 گیگابایتی در حافظه سیستم قرار دارد و کارشناسان در صورت نیاز به حافظه GPU وارد می شوند. تقریبا 48 گیگابایت داده واژگان روی SSD قرار دارد و در صورت تقاضا خوانده می شود.

زمان بندی: از CPU و GPU با هم استفاده کنید. GPU متخصصان کش را محاسبه می کند در حالی که CPU کارهای باقی مانده را به صورت موازی انجام می دهد. رمزگشایی گمانه‌زنی چندین توکن کاندید را به‌طور هم‌زمان تأیید می‌کند و هزینه خواندن وزن‌ها را در توکن‌های خروجی بیشتری پخش می‌کند. این انتخاب‌ها از نرخ رمزگشایی بیش از 80 توکن در ثانیه پشتیبانی می‌کنند.

طراحی مدل و موتور استنتاج با هم کار می کنند تا استنتاج پارامترهای 100B+ را در رایانه های شخصی کاربردی کنند. منبع: تست داخلی

با هم، این تغییرات باعث می‌شود که تعداد پارامترها از ده‌ها میلیارد به بیش از صد میلیارد افزایش یابد، بدون اینکه افزایش متناسبی در استفاده از حافظه، مصرف انرژی و تأخیر داشته باشد.

Edge0-145B می تواند یک کار پیچیده را تا یک نتیجه قابل استفاده انجام دهد. قابلیت های کدنویسی و استدلال آن از جریان های کاری محلی پشتیبانی می کند که برنامه ریزی، استفاده از ابزار، اجرا، اشکال زدایی و بررسی های بصری را با هم ترکیب می کند. معیارها قابلیت های آن را مشخص می کنند. تظاهرات نشان می دهد که چگونه آنها را به کار می اندازد.

Edge0-145B با مدل‌های ابر مرزی خاص در کدنویسی، استدلال، دانش و دستورالعمل‌های زیر قابل رقابت است:

86.52 آن در Terminal-Bench 2.1 نیز از Qwen3.8-Flash-Next's 83.3، DeepSeek-V4-Flash-0731's 82.7 و Claude's 78.2 بیشتر است. در AA-LCR، Edge0-145B امتیاز 79.3 به کلود 78.0 را کسب می کند. این مقایسه ها در مورد مدل ها و ارزیابی های نام برده اعمال می شود.

نمرات درصد هستند. بالاتر بهتر است خط تیره به این معنی است که نمره عمومی در دسترس نیست، به جای نمره صفر.

نتایج Edge0، Qwen، DeepSeek و Claude از ارزیابی‌های داخلی Edge0 می‌آیند. Claude-Opus-4.6 امتیاز عمومی DeepSWE 1.1 ندارد. برای Flint، Muse Glimmer و Gemma 4، نتایج Terminal-Bench 2.1 و IFBench از ارزیابی بازگشتی Flint به دست آمده است. نتایج HLE، GPQA و AA-LCR از تجزیه و تحلیل مصنوعی به دست آمده است.

بیشترین دستاوردها نسبت به Qwen3.8-27B، یک مدل پایه اصلی روی دستگاه، در کار عامل و کدنویسی است: 18.5٪ در Terminal-Bench و 53.1٪ در DeepSWE. سود نسبی در HLE، GPQA و IFBench به ترتیب 14.9٪، 1.3٪ و 1.4٪ است.

DeepSWE 1.1 و Terminal-Bench 2.1 کار عامل و کدنویسی را ارزیابی می کنند. HLE، GPQA-Diamond، و IFBench استدلال، دانش و دستورالعمل های زیر را پوشش می دهند. راه‌اندازی ارزیابی کامل، محیط سخت‌افزار، و دستورالعمل‌های بازتولید همراه با گزارش فنی ما منتشر می‌شود.

Edge0-145B میانگین امتیاز 72.8 را در شش معیار با 29 گیگابایت حافظه حداکثر اندازه گیری شده ترکیب می کند. Qwen3.8-Flash-Next به طور متوسط ​​​​71.7 است، با حدود 70 گیگابایت برای استقرار استاندارد 4 بیتی. این باعث می شود Edge0-145B در حدود 40 درصد از حافظه پایه تخمینی تخمین زده شود، در حالی که قابلیت مقایسه یا بالاتر را ارائه می دهد و امکان استفاده محلی را در لپ تاپ 48 گیگابایتی فراهم می کند.

این ابزار شامل DeepSWE 1.1، Terminal-Bench 2.1، HLE، GPQA-Diamond، IFBench و AA-LCR می شود. ارقام حافظه Edge0 پیک های داخلی اندازه گیری می شوند. ارقام پایه ستاره‌دار تخمین‌هایی برای استقرار استاندارد 4 بیتی هستند و هنوز اندازه‌گیری می‌شوند. Claude حذف شده است زیرا فقط ابری است و امتیاز DeepSWE ندارد.

[شکل: کیفیت در مقابل حافظه اوج، با 48 گیگابایت لپ تاپ و ظرفیت ایستگاه کاری 64 گیگابایت مشخص شده است. حافظه کمتر و نمرات بالاتر بهتر است. محور عمودی نمودار از صفر شروع نمی شود.]

یک درخواست به زبان طبیعی می تواند کل گردش کار محلی را شروع کند. Edge0-145B نیازمندی ها را تجزیه می کند، مراحل را برنامه ریزی می کند، کد می نویسد و ابزارهایی را برای اجرای آن فراخوانی می کند. وقتی چیزی خراب می شود، کد را دیباگ و تعمیر می کند. سپس برای بررسی نتیجه اسکرین شات می گیرد و تا پایان کار به تکرار ادامه می دهد.

این پروژه ها اغلب به ده ها دور برنامه ریزی، اجرا و بررسی نیاز دارند. استنتاج محلی به این معنی است که مکالمات اضافی، بازبینی کدها و تجزیه و تحلیل‌های بصری هیچ توکن مدل ابری یا هزینه API مربوطه را متحمل نمی‌شوند. کد و داده ها می توانند روی رایانه باقی بمانند و قابلیت های مدل اصلی به صورت آفلاین کار می کنند.

Edge0-145B توضیحی درباره نحوه پرواز رودستر، انجام تحقیقات فنی، فیلمنامه نویسی، تولید دارایی و ویرایش ارائه کرد. ما از آن خواستیم تا اصول را برای مخاطب عام قابل درک کند. این مدل به صورت محلی بدون تماس‌های مدل ابری یا مصرف توکن ابری اجرا شد و از رفت‌وآمدهای شبکه برای استنتاج اجتناب کرد.

ویدئو در عرض یک ساعت تولید شد. تولید کار مشابه به صورت دستی به یک کارگردان و فیلمنامه نویس، یک مدل ساز سه بعدی، یک تدوینگر و یک متخصص فیزیک یک ماه زمان نیاز دارد. یک گردش کار ویدیویی هوش مصنوعی قبلا بیش از صدها دلار هزینه داشت. استنتاج محلی توکن مدل ابری مربوطه و هزینه های API را حذف می کند.

Edge0-145B یک صحنه سه بعدی از منهتن را در عرض یک ساعت ساخت. کار در Blender از متن و تصاویر مرجع، صحنه را ساخت، مواد و نور را تنظیم کرد و بر روی خروجی رندر شده تکرار کرد.

گردش کار بازرسی بصری، تولید کد و بازبینی را در داخل Blender با هم می آورد. این مدل با اشیاء، روابط فضایی و هدف خلاقانه کار می کند و از پیکسل ها در یک تصویر مرجع فراتر می رود. نتیجه را بررسی می‌کند، کد می‌نویسد، و تغییراتی را بدون بازگرداندن آن مراحل به شخصی ایجاد می‌کند. کل فرآیند محلی می ماند.

Edge0-145B می تواند بازی های قابل پخش را به صورت محلی ایجاد کند. ما همچنین از قابلیت‌های مدل‌سازی سه‌بعدی آن برای ساختن یک پایتخت قرون وسطایی اصلی برای RPG فانتزی و رندر کردن یک پرواز 20 ثانیه‌ای با کیفیت تریلر بازی استفاده کردیم.

این مدل شهر را به طور مستقل برنامه ریزی کرد و آن را از ابتدا در بلندر ساخت: دیوارهای شهر، بیش از هزار خانه قدیمی، یک فواره میدان، نمای برج دوقلوی گوتیک، یک شبستان طاق دنده ای، و پنجره های شیشه ای رنگی.

مسیر ثابت دوربین باعث شد خطاها قابل مشاهده باشد. برش هندسی، انسداد یا تناسبات نادرست در طول مسیر ظاهر می‌شد، بنابراین مدل رندرها را بررسی کرد و کار خود را در حین ساخت تصحیح کرد. گردش کار کاملا محلی اجرا شد.

یک مدل ابری پیشرو به صدها تماس ابزار و صدها میلیون توکن برای یک تکمیل نیاز داشت، با استفاده از همان فرمان، تصاویر مرجع و مسیر دوربین. Edge0-145B آن را بدون توکن مدل ابری یا هزینه های API برای استنتاج محلی بر روی لپ تاپ تحویل داد. یک تیم هنری معمولا هفته ها و هزاران دلار را صرف تولید یک صحنه شهری با این استاندارد می کند.

Edge0-145B برنامه یک پهپاد واقعی را با یک دستورالعمل نوشت: «برنامه پهپادی بنویسید که از موانع عبور کند و یک کوله پشتی قرمز پیدا کند.»

برنامه های کنترل پرواز و تشخیص بصری را به صورت محلی تولید کرد. پهپاد سپس در داخل ساختمان بلند شد، از میان ردیف متراکم تیرهای مانع عبور کرد، به طور مستقل جستجو کرد و کوله پشتی قرمز را در کنار دیوار قرار داد. این کار نیازی به کد نوشته شده توسط انسان و تماس ابری نداشت.

توسعه‌دهندگان سخت‌افزار می‌توانند رفتاری را که می‌خواهند توصیف کنند و از مدل بخواهند که آن را به برنامه‌ای برای یک دستگاه واقعی تبدیل کند، بدون اینکه به طور مکرر بین ویرایشگر، اسناد و ابزارهای اشکال‌زدایی حرکت کنند.

Edge0-145B طراحی PCB را از محل قرار دادن قطعات از طریق تجسم مونتاژ گرفته است. از او خواستیم برای خودش تابلو طراحی کند. آن را از ابتدا در KiCad شروع کرد، قطعات را قرار داد، یک برد دو لایه را روت کرد و طرح را در Unreal Engine 5 وارد کرد. سپس دوربین‌ها و نورپردازی را راه‌اندازی کرد و انیمیشنی از ساخت و مونتاژ PCB ارائه کرد.

یک کامپیوتر تنها کاری را ارائه می‌کرد که قبلا به یک مهندس سخت‌افزار و یک طراح سه‌بعدی نیاز داشت تا وظایف را در طول چند روز به عقب و جلو برسانند. طرح‌بندی‌های شماتیک و تابلو می‌توانند روی سخت‌افزار خود تیم باقی بمانند و از الزامات حفاظت از اسرار تجاری و مدیریت داده‌ها بدون آپلود طرح‌ها در مدل ابری پشتیبانی کنند.

هوش مصنوعی مفید روی دستگاه نیازمند توسعه مدل، مهندسی استنتاج و تطبیق سخت افزار برای کار با یکدیگر است. پیشرفت ما بر سه قابلیت استوار است: توسعه سریع مدل‌های مکمل، بهینه‌سازی پشته کامل، و حمل درس‌هایی از هر استقرار به بعدی.

انتشار ماه سپتامبر ما از Edge0-35B نشان داد که این رویکرد می تواند چه چیزی را روی یک تلفن ارائه دهد. پست راه اندازی آن در اولین روز خود بدون تبلیغات پولی در جوامع خارج از کشور، بیش از 1.2 میلیون بازدید داشت. محققان و کارشناسان فنی در OpenAI، NVIDIA، Qualcomm و سایر شرکت‌ها آن را به اشتراک گذاشتند و این مدل در نمودار کلی ترند Hugging Face به رتبه اول رسید.

وزن‌های مدل و چارچوب استنتاج یکپارچه را با هم منتشر کردیم و به شرکت‌ها و محققان رویکرد استانداردی دادیم که می‌توانستند بازتولید کنند. انتشار به انتقال بحث هوش مصنوعی روی دستگاه از چند میلیارد پارامتر به سطح 35B کمک کرد.

در طول سال گذشته، ما 200 مدل را در چهار خانواده عرضه کردیم. هر کدام بخش متفاوتی از کار را انجام می‌دهند، از گوش دادن و صحبت کردن گرفته تا تصمیم‌گیری سریع، حافظه و وظایف پیچیده عامل.

این مجموعه از ده ها میلیون تا بیش از صد میلیارد پارامتر را در بر می گیرد. هر دو Edge0 و Audio8 به رتبه 1 در نمودار ترند Hugging Face رسیده اند.

ما مدل و چارچوب استنتاج را با هم توسعه می‌دهیم، محدودیت‌های سخت‌افزاری را برای آموزش و بهینه‌سازی موتور برای تراشه‌های مختلف ایجاد می‌کنیم. این قابلیت مدل را با نرم افزار و سخت افزار مورد نیاز برای استفاده از آن به صورت محلی متصل می کند.

این کار به تخصص در توسعه مدل، چارچوب های استنتاج و سازگاری سخت افزاری سطح پایین نیاز دارد. بازتولید این ترکیب برای شرکتی که فقط بر توسعه مدل متمرکز است دشوار است.

هر استقرار بهینه سازی های قابل استفاده مجدد را برای تراشه، مدل یا محصول بعدی به ما می دهد. این مهم است زیرا سخت‌افزار روی دستگاه تکه تکه شده است: معماری‌های NPU و پشتیبانی از فرمت‌های عددی مانند INT4، INT8 و FP4 متفاوت است. یک مدل همه منظوره نمی تواند بطور خودکار از هر چیپ استفاده کامل کند.

ما با پلتفرم های فردی سازگار می شویم. مجموعه ما اکنون 95 درصد از پلتفرم‌های تراشه اصلی، از جمله Qualcomm، BES، Rockchip، Allwinner، D-Robotics، و NVIDIA را در سراسر هدفون، عینک، تلفن، رایانه شخصی و روبات‌ها پوشش می‌دهد. این پوشش سراسری است. نیازهای مدل متفاوت است، و این بدان معنا نیست که هر دستگاهی می تواند Edge0-145B را اجرا کند.

این کار استقرار اکنون بیش از 5 میلیون دستگاه تولید را در بر می گیرد. مدل‌های منبع باز ما در عرض سه ماه 15 میلیون بار دانلود شدند. تا اکتبر 2026، ما بیش از 110000 سازمان مشتری داشتیم.

ارقام پرتفوی از مقالات شرکت و آزمایش های داخلی بدست می آید. آنها مجموعه گسترده تر Edge0 را توصیف می کنند. نتایج عملکرد 145B در این مقاله به طور خاص برای Edge0-145B اعمال می شود.

برای Edge0-145B، پشتیبانی یک روزه macOS، Windows، و Linux، از جمله تراشه‌های سری M اپل و پلتفرم‌های NVIDIA مانند RTX Spark، RTX 4090 و RTX 5090 را پوشش می‌دهد. این نسخه شامل ابزارهای استقرار با یک کلیک و راهنماهای سخت‌افزاری است.

با نزدیک شدن مدل‌های محلی به قابلیت سطح ابری، کارهای پیچیده‌تر می‌توانند روی دستگاه باقی بمانند. حفظ حریم خصوصی، کنترل هزینه، و دسترسی آفلاین مدت‌هاست که اجرای محلی را ترجیح داده است. سوال باقی مانده این بود که آیا یک مدل روی دستگاه می تواند کار را انجام دهد یا خیر. Edge0-145B دامنه وظایفی را که می تواند انجام دهد، گسترش می دهد.

اجرای محلی چهار مانع عملی را برای پذیرش هوش مصنوعی فقط ابری برطرف می کند:

ما شاهد تقسیم کار بین دستگاه ها و انتقال ابر در سه مرحله هستیم.

قبل از سپتامبر 2026: ابتدا ابر، با پشتیبانی روی دستگاه. Apple Intelligence این مرحله را منعکس می‌کند: از حریم خصوصی محافظت می‌کند، اما طیف محدودی از وظایف را به صورت محلی انجام می‌دهد در حالی که کارهای سخت‌تر به قابلیت‌های ابری متکی است.

پس از انتشار Edge0-35B در 10 سپتامبر: کارهای روزمره به صورت محلی، وظایف پیچیده در فضای ابری. مدل‌های محلی می‌توانند درخواست‌های مکرری را که نیاز به پاسخ فوری دارند، بپذیرند. برای یکی از تولیدکنندگان پیشرو هدفون، راه حل هیبریدی ما اکنون 92 درصد از استفاده از هوش مصنوعی در دستگاه و 8 درصد در فضای ابری را مدیریت می کند. مکالمه روزمره بیشترین موارد استفاده در پوشیدنی های مصرفی را تشکیل می دهد.

با Edge0-145B: ابتدا به سمت دستگاه، با پشتیبانی از ابر. کدنویسی Vibe و سایر کارهای پیچیده اکنون می توانند روی رایانه شخصی اجرا شوند و به تیم ها دامنه بیشتری برای انتخاب اجرای محلی می دهد. این کار دامنه کاری را که می‌تواند روی دستگاه باقی بماند، افزایش می‌دهد و در عین حال ابر را برای وظایف و سخت‌افزاری که به آن نیاز دارند، حفظ می‌کند.

این نمودار تغییر از هوش مصنوعی ابری به وظایف محلی روزمره و سپس کارهای محلی پیچیده تر را نشان می دهد. نواحی رنگی آن شماتیک هستند، نه سهم استفاده اندازه گیری شده.

محدودیت‌های سخت‌افزاری هنوز تعیین می‌کنند که کدام مدل مناسب است. محاسبه ظرفیت، گرما و عمر باتری مهم است: Edge0-35B روی تلفن‌ها اجرا می‌شود، در حالی که Edge0-145B روی لپ‌تاپ‌های مجهز به مناسب اجرا می‌شود. یک دستگاه بسیار کم محاسبات در حال حاضر نمی تواند یک مدل 145B را به صورت محلی اجرا کند. به یک مدل کوچکتر متناسب با سخت افزار یا دسترسی ابری به مدلی با آن اندازه نیاز دارد.

حافظه بلندمدت بین دستگاهی و جستجوهایی که به اطلاعات بسیار جاری نیاز دارند همچنان به خدمات ابری نیاز دارند. مدل های محلی و ابری می توانند با هم کار کنند. تقسیم مناسب به وظیفه، سخت افزار و اطلاعات مورد نیاز آن بستگی دارد.

هدف این است که اجرای محلی را به یک انتخاب عملی برای کارهای سخت تبدیل کنیم، با مدلی توانا که بتواند نزدیک به شخصی که از آن استفاده می کند کار کند. این گام بعدی به سوی هدف ما برای فعال کردن هوش در فاصله صفر برای همه است.

مدل ها را برای اجرا به صورت محلی دانلود کنید، آنها را ارزیابی یا تنظیم کنید و آنها را در محصولات خود بسازید:

برای ادغام سخت افزار یا محصول، از طریق GitHub یا contact@autoark.ai با تیم Edge0 تماس بگیرید.

خواندن متن کامل در هکرنیوزبه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

Edge0-145B: Frontier AI Capabilities on Your Own Computer

Article URL: https://edge0.ai/blog/introducing-edge0-145b-frontier-ai-capabilities-on-your-own-computer Comments URL: https://news.ycombinator.com/item?id=50475713 Points: 331 # Comments: 100

همه‌ی اخبار فناوری