ابزار منبع باز Jev را تقطیر می کند تا بتوانید آن را به صورت محلی اجرا کنید

مطمئنا، Jev ارزان است و سریع به سوالات پاسخ می دهد، اما می دانید چه چیزی حتی بهتر است؟ در مورد یک مدل دانشجوی محلی که از درخواست های Jev شما یاد می گیرد و به جای آن موارد آشنا را روی سخت افزار شما اجرا می کند، چطور؟ Jevstiller یک پروژه منبع باز است که همانطور که از نامش پیداست، خروجی‌های Jev را به یک مدل محلی تقطیر می‌کند که می‌تواند برخی از کارهای مسلما سریع Jev را حتی سریع‌تر و کارآمدتر انجام دهد - بدون نیاز به هزینه 42 دلار در هر میلیارد توکن ورودی یا منتظر ماندن حدود 300 میلی‌ثانیه برای پاسخ به درخواست‌هایی که می‌تواند به صورت محلی انجام دهد، می‌گویند Jevstillers.

پاسخ دادن به صورت محلی به این معنی است که هیچ توکن Jev خرج نمی شود، هر چقدر هم که ارزان باشند، و پاسخ ها می توانند در کمتر از 15 میلی ثانیه مستقیما از CPU دستگاه دریافت شوند. مدلی که Jevstiller بر روی ماشین کاربر ایجاد می‌کند، کوچک و سریع است، و اگر ادعاهای توسعه‌دهندگان آن باور شود، به سیستم کمک می‌کند تا با رسیدگی به درخواست‌های آشنا به صورت محلی و ارسال دیگران به Jev، به توافق کلی 98 درصدی با Jev دست یابد.

Jev، همانطور که اخیرا در چندین داستان به تفصیل توضیح داده‌ایم، الگوی جدیدی از طراحی هوش مصنوعی است که از تولید متن‌های ساده و آزاد که با LLM مدرن معمولی ارائه می‌شود، صرف نظر می‌کند تا بتواند به چند نوع اساسی سؤال پاسخ دهد: انتخاب، امتیاز و نوول. از آنجایی که Jev مجموعه‌ای از متن تولید نمی‌کند و نیاز به نشخوار فکری در ساختار زبان انسان دارد، Jev به عنوان یک کاربرد عملی هوش مصنوعی برای حجم‌های کاری تصمیم‌گیری ساختاریافته که ممکن است یک LLM مولد تمام‌عیار بیش از حد باشد، سریع، ارزان و به سرعت علاقه توسعه‌دهندگان را به خود جلب می‌کند.

تیم Jevstiller آن را به حافظه پنهانی تشبیه می‌کند که در مقابل خود Jev قرار دارد و درخواست‌ها را جمع‌آوری می‌کند و تعیین می‌کند که آیا باید به سرورهای Jev واقعی هدایت شوند یا خیر، زمانی که نسخه محلی مطمئن نیست می‌تواند به یک سؤال پاسخ دهد. تیم Jevstiller در یک سند راهنما توضیح می‌دهد: «یک درخواست به صورت محلی فقط در صورتی پاسخ داده می‌شود که هر سؤالی در آن باشد؛ در غیر این صورت کل درخواست با کلید تماس‌گیرنده به Jev می‌رود، پاسخ Jev بدون تغییر برگردانده می‌شود و هر پاسخ انتخابی به یک ردیف آموزشی تبدیل می‌شود».

چرخاندن یک Jevstiller جدید اساسا به این معنی است که شما در حال راه‌اندازی مدلی هستید که چیزی در مورد پاسخ‌های Jev نمی‌داند، بنابراین باید بیاموزد که Jev چگونه با ارسال همه آنها به Jev و جمع‌آوری سؤالات و پاسخ‌ها به سؤالات پاسخ می‌دهد. مستندات Jevstiller توضیح می‌دهد: «زمانی که نمونه‌های کافی در هر کلاس وجود داشته باشد، یک کارگر پس‌زمینه با یک دانش‌آموز و یک خط‌مشی مسیریابی متناسب است. "ورودی های مطمئن و آشنا به صورت محلی پاسخ داده می شوند. بقیه چیزها به Jev می رسد." فرض کنید از Jev برای فیلتر کردن ایمیل‌های دریافتی به یک تیم خاص یا برای تعیین اولویت یک کار خاص استفاده می‌کنید.

هنگامی که Jevstiller نمونه‌های کافی از آن پرسش‌ها و پاسخ‌ها را ببیند، می‌تواند با اطمینان به همان روش Jev پاسخ دهد. همانطور که تیم Jevstiller اشاره می کند، حفظ توافق با Jev، مشکل اصلی طراحی است که آنها به دنبال حل آن بودند. به نظر می رسد آنها فکر می کنند که به راه حلی در قالب ممیزی منظم رسیده اند که دائما پاسخ های Jevstiller را در برابر انتخاب تصادفی سؤالات ارزیابی می کند.

توسعه‌دهندگان می‌گویند: «۲ درصد ثابت از همه درخواست‌ها بدون توجه به آنچه مدل محلی فکر می‌کند به Jev می‌رود، و پاسخ مدل محلی نیز در کنار آن ثبت می‌شود. Jevstiller به طور مستمر خود را بر اساس همه پاسخ‌های Jev بازآموزی می‌کند و نرخ توافق هدف را می‌توان در سطح محلی پیکربندی کرد.

اگر ممیزی در هر زمانی نشان دهد که نرخ توافق Jevstiller با Jev کمتر از هدف تعیین‌شده کاهش یافته است، نرخ حسابرسی بالا می‌رود تا آموزش مجدد Jevstiller سریع‌تر اتفاق بیفتد. اگر بدترین اتفاق بیفتد و Jevstiller فکر کند توانایی خود برای توافق با Jev از بین رفته است، "هر درخواستی به Jev برمی گردد و آموزش از آن نقطه دوباره شروع می شود." آزمایش خود تیم نشان داد که این مفهوم همانطور که توضیح دادند کار می کند. توسعه دهندگان Jevstiller درباره اجرای آزمایشی می‌گویند: «در ساعت 24 ساعته، یک Jev ایستاده بی‌صدا هر پاسخ را در ساعت دوازده تغییر می‌داد.

"سهم محلی از 90٪ به 9٪ در عرض چهار دقیقه کاهش یافت، زیرا ممیزی ها آن را کشف کردند، و در عرض 49 دقیقه به 90٪ بازگشت، تنها در مورد پاسخ های پس از تغییر آموزش دیدند، بدون اینکه کسی چیزی را لمس کند." توافق با Jev به این معنی نیست که پاسخ صحیح است، اما تیم Jevstiller آن را پذیرفته است. آنها خاطرنشان می کنند: "توافق، دقت نیست". به عبارت دیگر، چه برای کاهش بیشتر صورت‌حساب هوش مصنوعی خود به این مسیر بروید یا روش دیگری را انتخاب کنید، Jev همچنان یک مدل هوش مصنوعی دیگر است که می‌تواند اشتباه کند، مهم نیست چقدر ادعا می‌کند که خوب است.

کسانی که می خواهند Jevstiller را امتحان کنند، می توانند در اینجا درباره شروع کار بیشتر بیاموزند.®