NPU چه کاری انجام می دهد و چرا بسیاری از لپ تاپ ها آنها را دارند؟

اخیرا لپ تاپ جدیدی خریده اید؟ این احتمال وجود دارد که به یک NPU مجهز باشد، تراشه ای که تقریبا مطمئنا از آن استفاده نمی کنید. NPU یا واحد پردازش عصبی، بلوکی از سیلیکون است که بارهای کاری هوش مصنوعی را با کسری از توان مورد نیاز یک CPU یا GPU اجرا می کند. تقریبا 2 وات در مقایسه با بیش از 100 وات که گرافیک گسسته لپ تاپ استاندارد برای انجام همان کار به آن نیاز دارد. در حالی که هنوز در همه لپ‌تاپ‌ها یافت نمی‌شوند، اکنون در دستگاه‌های میان‌رده و پریمیوم تقریبا استاندارد هستند.

شرکت مشاوره گارتنر تخمین می‌زند که رایانه‌های شخصی با قابلیت هوش مصنوعی، مانند این لپ‌تاپ‌های مجهز به NPU، بیش از نیمی از کل محموله‌های جهانی را تشکیل می‌دهند. دلیل اینکه ما شاهد این هستیم این نیست که خریداران آنها را می خواهند یا به آنها نیاز دارند، بلکه هماهنگی با الزامات گواهینامه است. در سال 2024، مایکروسافت تقریبا دیکته کرد که سازندگان لپ‌تاپ باید 40 TOPS (معیار سرعتی که یک NPU می‌تواند از طریق ریاضیات هوش مصنوعی بجوید) عملکرد اختصاصی NPU را با ماشین‌های جدید انجام دهند، در غیر این صورت خطر از دست دادن دسترسی به ویژگی‌های جدید هوش مصنوعی ویندوز وجود دارد. در نتیجه سخت افزار NPU اکنون از قفسه ها خارج می شود، اما نرم افزار عقب مانده است.

وظیفه یک NPU تسریع استنتاج است. این مرحله "اجرای این مدل" به جای مرحله "آموزش این مدل" مبتنی بر GPU است. شبکه های عصبی برای انجام این کار به شدت به دو نوع محاسبات متکی هستند: ضرب ماتریس و توابع فعال سازی غیرخطی. NPU ها برای اجرای سریع و کارآمدترین عملیات ها به طور هدفمند ساخته شده اند، اما این به قیمت انعطاف پذیری CPU و GPU همه منظوره تمام می شود.

بیایید مثال استفاده از تاری پس زمینه در تماس ویدیویی را در نظر بگیریم. بسیاری از ما از این استفاده کرده‌ایم و می‌تواند بر روی CPU یا GPU اجرا شود. اما هر دو انرژی زیادی مصرف می کنند، تولید گرما و کاهش عمر باتری در یک قابل حمل نازک. یک NPU همان کار را با استفاده از کسری از انرژی انجام می‌دهد، بنابراین ویژگی‌هایی مانند جلوه‌های وب‌کم می‌توانند به طور مداوم بدون تخلیه باتری یا چرخاندن فن‌ها اجرا شوند.

بدیهی است که NPU ها برای آموزش مدل های هوش مصنوعی خوب نیستند، و برای اجرای LLM های محلی بزرگ مانند Llama 70B، همچنان به یک GPU مجزا با حافظه ویدئویی مناسب نیاز دارید. آنها همچنین برای سرویس هایی مانند ChatGPT یا Gemini مورد نیاز نیستند، زیرا این سرویس ها بر روی زیرساخت ارائه دهنده اجرا می شوند. مورد استفاده واقعی آنها، حداقل در حال حاضر، تعداد کمی از موارد استفاده همیشه روشن و کم مصرف مانند جلوه های وب کم، کاهش نویز، ترجمه بلادرنگ و نمایه سازی جستجوی محلی است.

دلیل اینکه بسیاری از لپ‌تاپ‌های دارای NPU را می‌بینیم، گواهینامه Copilot + PC مایکروسافت است. سازندگان لپ‌تاپ تنها در صورتی می‌توانند آن را به دست آورند و برخی از ویژگی‌های هوش مصنوعی ویندوز روی دستگاه را باز کنند که لپ‌تاپ‌هایشان دارای NPU 40 TOPS، به علاوه 16 گیگابایت رم و 256 گیگابایت فضای ذخیره‌سازی باشد. این رقم 40 TOPS نیز باید از NPU باشد، نه GPU. لپ تاپ میان رده RTX 4050 190 TOPS را از هسته های تانسور خود ارائه می دهد. این به حساب نمی آید.

تراشه های اسنپدراگون ایکس الیت و پلاس کوالکام اولین تراشه هایی بودند که با NPU 45 TOPS Hexagon به بازار عرضه شدند. به زودی Lunar Lake اینتل با حداکثر 48 تاپ و Ryzen AI 300 AMD با 50 تاپ به دنبال آن قرار گرفت. پردازنده‌های جدیدتر Panther Lake اینتل که با نام Core Ultra Series 3 شناخته می‌شوند، دارای 50 NPU TOPS در فرآیند 18A اینتل هستند. در اواخر امسال، کوالکام با اسنپدراگون X2 Elite آن را به 85 TOPS رساند که بیش از دو برابر حداقل تعیین شده مایکروسافت است. هر نسلی این تعداد را افزایش داده است، حتی اگر نرم افزاری برای مصرف آن تاپ ها کمیاب باشد.

به زودی، لپ‌تاپ‌های هوش مصنوعی ممکن است تنها گزینه موجود باشند که NPU را اجتناب‌ناپذیر می‌کند. قبلا Dell یک NPU درجه یک سازمانی را در لپ‌تاپ Pro Max Plus خود دیده‌ایم.

اگر یک لپ‌تاپ مجهز به NPU دارید، می‌توانید میزان استفاده از آن را از طریق Task Manager در ویندوز 11 ببینید. در لپ‌تاپ من - یک ASUS Zenbook Duo UX8406 ​​2024 با پیکربندی رم 32 گیگابایتی - این لپ‌تاپ در حد صفر است، و من تصور می‌کنم که در همه دستگاه‌های کاربر معمولی چنین باشد.

افسوس، فهرست برنامه‌هایی که به NPU تکیه می‌کنند کوتاه است: جلوه‌های Windows Studio، زیرنویس‌های زنده، Recall و Click to Do، حذف نویز Teams و Zoom و تعدادی از ویژگی‌های Adobe Creative Cloud.

برای اینکه ببینم یک مدل محلی از 34 TOPS Intel AI Boost NPU چه مقدار از آن را درگیر می کند، Mistral 7B را دانلود کردم، یک مدل منبع باز نسبتا مناسب و کارآمد و آن را از طریق جعبه ابزار OpenVINO اینتل اجرا کردم. سپس از آن خواستم 2500 کلمه در واحدهای پردازش عصبی تولید کند.

اگرچه دستگاه من دارای 34 TOPS پلتفرم است که در سراسر CPU، GPU و NPU ترکیب شده اند، تنها 11 مورد به NPU اختصاص داده شده است. Mistral 7B NPU را روی 98 درصد قرار داد در حالی که CPU روی 3 درصد قرار داشت. تولید متن کار کرد، و در حالی که 11 TOPS فضای زیادی برای مدلی با آن اندازه باقی نمی گذارد، لپ تاپ من سریع و پاسخگو باقی ماند.

می توانید ببینید که چگونه این با اجرای همان مدل محلی خارج از NPU با استفاده از Olama مقایسه می شود. استفاده از CPU به 52 درصد افزایش یافت، با استفاده از حافظه در حدود 17 گیگابایت از ظرفیت 32 گیگابایتی من. اگر من بارهای کاری فشرده دیگری را اجرا می کردم، لپ تاپ من متوقف می شد. این نکته یک NPU است: حجم کاری هوش مصنوعی را بدون تأثیر بر بقیه سیستم کنترل می کند. اما برای رسیدن به آن در این مورد نیاز به یک ابزار خاص و دانش فنی داشت. نرم افزار بسیار کمی به صورت بومی از آن پشتیبانی می کند.