Jev به سرعت در حال افزایش است تا LLM را برای برتری هوش مصنوعی سازمانی به چالش بکشد

همانطور که هوش مصنوعی در حال تغییر شکل دنیای فناوری است، بنابراین به نوبه خود منتظر چیزی بزرگتر می‌ماند تا آن را تغییر دهد و این نیروی غیرقابل توقف ممکن است مدل جدید TypeSafe AI، Jev باشد. می‌توانید آخرین قسمت The Kettle را در این صفحه، Spotify، Apple Podcasts یا YouTube گوش دهید. همچنین می‌توانید در آن پلتفرم‌ها مشترک شوید تا از پخش مستقیم قسمت جدید مطلع شوید.

Jev اهل گفتگو نیست، نمی‌خواهد داستانی را برای شما تعریف کند، و واقعا به جز پاسخ دادن به سؤالات چند گزینه‌ای، رتبه‌بندی و دودویی بله/خیر، کار زیادی انجام نمی‌دهد، اما در بسیاری از موارد احتمالا این تنها چیزی است که از یک هوش مصنوعی نیاز دارید. Jev همچنین برای دویدن خاک ارزان و بسیار سریع است و ثابت کرده است که موارد استفاده زیادی را تنها در یک هفته در صحنه دارد. این هفته در The Kettle، به مجری براندون ویگلیارولو، خبرنگار ارشد تام کلابرن و همکاری جواب جکسون بپیوندید تا در مورد اینکه Jev چگونه چشم انداز هوش مصنوعی را تغییر می دهد و چه کاری ممکن است برای آینده صنعت هوش مصنوعی انجام دهد صحبت کنید.

متنی با ویرایش کمی در زیر آمده است: براندون (00:01) سلام دوستان، براندون ویگلیارولو با آخرین قسمت پادکست کتری The Register. این هفته، چیزی شبیه به یک انقلاب هوش مصنوعی در دست داریم. و نه، شما در زمان به سال 2022 سرگردان نبوده‌اید. ما در مورد Jev's TypeSafe AI صحبت می‌کنیم که با وعده انجام کارهای واقعی با قیمتی بسیار ارزان‌تر از پسرعموهای مدل زبان بزرگ خود، در دنیای هوش مصنوعی ویروسی شده است. و با من برای بحث در مورد این پارادایم به ظاهر جدید در هوش مصنوعی، گزارشگر ارشد ما تام کلابرن. و همکار جواب جکسون. ممنون از هر دوی شما که به من پیوستید.

تام (00:33) بله، متشکرم. Joab (00:34) متشکرم. براندون (00:35) بنابراین تام، شما اولین قطعه را در اکران Jev در هفته گذشته نوشتید، و هنوز هم به نوعی محبوبیت خود را افزایش می دهد و مدام در مورد آن بیشتر و بیشتر صحبت می شود. بنابراین فکر کردم این موضوع خوبی برای قسمت این هفته است. بنابراین توضیح دهید که Jev دقیقا چیست، برای کسانی که کاملا با کارهایی که انجام می دهد و تفاوت آن با یک مدل زبان بزرگ آشنا نیستند. تام (00:52) بله، بنابراین Jev چیزی است که یک مدل سیستم یک نامیده می شود. این از شرکتی به نام TypeSafe AI است.

و من فکر می‌کنم دلیل این که خیلی مورد توجه قرار گرفته این است که افراد فنی بسیار معتبری پشت آن هستند. فکر می‌کنم یکی از افراد درگیر با OpenAI بود. و ایده اصلی این است که این مدل برای انجام انتخاب های ایمن نوع بسیار بهینه شده است. و بنابراین به جای اینکه نوعی چیزی باشد که تماما زبان طبیعی است و شما باید تمام ابهامات و همه اینها را کنترل کنید، برای انجام کارهایی مانند تصمیم گیری بین تعدادی مجموعه گزینه یا گزاره های درست/نادرست ساخته شده است. و از رویکرد متفاوتی برای یادگیری ماشین استفاده می کند.

در مقابل یادگیری تقویتی برای بازخورد انسانی، که یکی از روش‌هایی است که برای هوش مصنوعی مولد استفاده می‌شود، یادگیری تقویتی برای تصمیمات کالیبره شده نامیده می‌شود. و ایده این است که من فکر می‌کنم این فقط هیجان زیادی ایجاد کرده است، تا حدی به این دلیل که نوع زیادی از تحقیقات جدید و برجسته وجود نداشته است.

افراد زیادی هستند که دائما در این زمینه کار می کنند و راه های مختلفی برای انجام کارهایی ارائه می کنند که آزمایشگاه های چینی نوآوری های جالب زیادی انجام می دهند، اما به دلیل افرادی که درگیر هستند، کاملا مشخصات یکسانی ندارند، و من فکر می کنم برای مطبوعات ایالات متحده این رویکرد جالبی بود. و این خارش را ایجاد می کند که فکر می کنم بسیاری از شرکت ها دارند، که راهی برای اجرای چیزهایی است که به نتایج قطعی نیاز دارند.

و، چون نمی‌توانید یک مدل زبان بزرگ مانند سیستم صورت‌حساب را روی آن قرار دهید و آن را با پاسخ‌های توهم‌آمیز عجیب و غریب برگردانید. باید بدانید که آیا این فاکتور باید پرداخت شود یا خیر؟ براندون (02:44) بله. و همانطور که می دانم شما به توهمات اشاره کردید، درست است؟ شما در داستان خود اشاره کردید که TypeSafe این مدل را به عنوان یک مدل بدون توهم معرفی می کند. فکر می‌کنم شما این را به‌عنوان روشی منصفانه برای توصیف آن توصیف نکردید، اما ایده این است که نباید چیزهایی را بسازد، درست است؟ تام (03:02) درست است. منظورم این است که هنوز هم می تواند خطا ایجاد کند.

اگر مثلا فهرستی از سه گزینه به آن بدهید، A، B یا C را برای شما برمی‌گرداند، اما مطلقا یکی را انتخاب نمی‌کند. این به شما احتمالاتی را برای آن انتخاب ها می دهد. براندون (03:16) درست است. درسته تام (03:17) و بنابراین هنوز ممکن است اشتباه باشد. از آنجا که شما آن را به سه انتخاب محدود کرده اید، با داستان عجیب و غریبی که برای هر زمینه ای که باشد نامناسب است، باز نخواهد گشت. براندون (03:30) درست است، چون اصلا بازخورد متنی زیادی به شما نمی دهد، درست است؟ فقط، من فکر می کنم که اساسا فقط سه کار وجود دارد که می توانید با آن انجام دهید، درست است؟ سه نوع پرس و جو می توانید در آن قرار دهید.

درست است؟ تام (03:40) درست است. بله، بله، یک انتخاب وجود دارد، که مانند سوالات چند گزینه ای است. امتیاز دادن به آنها وجود دارد، یعنی شما به آن یک دسته بندی امتیاز می دهید و چیزها را رتبه بندی می کند، و سپس Nool، که مانند یک چیز درست یا نادرست است. اما اگر بخواهید، مثلا، یک سؤال در مورد یک صورتحساب یا چیزی و یا مانند اینکه یک ایمیل خاص کجا باید ارسال شود، بپرسید. می توانید بگویید، خوب، 80 درصد احتمال دارد که به بخش فنی بروید، 70 درصد یا 10 درصد احتمال دارد که به بخش فروش یا هر چیز دیگری بروید. و آن را برای شما از بین می برد.

و سپس آن را به آن سمت هدایت می کردید. اما دلیل جذاب بودن آن این است که در مقایسه با گزینه های دیگر بسیار بسیار ارزان است. اگر فقط به کلود اجازه دهید این تصمیمات را بگیرد، زمان زیادی صرف می‌شود و پاسخی به شما می‌دهد که احتمالا سیستم شما می‌تواند از آن استفاده کند، اما هزینه آن 50 برابر بیشتر است. براندون (04:40): و بنابراین خیلی سریعتر هم هست، درست است؟ زیرا روش‌های متفاوتی برای پردازش پاسخ‌ها به جای تولید توکن به توکن وجود دارد. اساسا همه را به یکباره بیرون می اندازد، درست است؟ تام (04:48) درست است، درست است. همه را به صورت موازی مدیریت می کند.

بنابراین شما یک پرس و جو می فرستید و همه پاسخ ها را به یکباره به شما می دهد، نه با یک مدل زبان سنتی که در آن نشانه به نشانه به نشانه پیش بینی می شود، و چون یک عملیات سریالی است، فقط زمان زیادی می برد. بنابراین بله، امکانات زیادی برای بهینه سازی مواردی که نیاز به پاسخ سریع دارید دارد. براندون (05:13) و می‌دانم که شما برای خروجی‌هایتان هم پولی نمی‌پردازید، درست است؟ آیا این درست است؟ شما برای توکن‌هایی که وارد می‌شوند پول می‌دهید اما هیچ هزینه‌ای برای بیرون آمدن ندارد، آیا این درست است؟ تام (05:21) بله، این درک من نیز هست.

به این دلیل که چند تا توکن پس می گیرید؟ درست یا نادرست می‌شوید یا می‌دانید، واقعا... براندون (05:30) بله. درست یا نادرست، برخی رتبه بندی های آماری و برخی احتمالات درست بودن آن از طرق مختلف. آره بنابراین بسیار ارزان‌تر، بسیار سریع‌تر، و من، با توجه به چیزی که به آن نگاه می‌کردم، هنوز هم می‌توانید این مورد را با استفاده از زبان طبیعی جستجو کنید، درست است؟ شما هنوز سوالات خود را به زبان طبیعی می پرسید.

اینطور نیست که باید یک پاسخ را به این موضوع برنامه ریزی کنید، درست است؟ منظورم این است که شما باید به آن محدودیت هایی بدهید به گونه ای که به مدل های زبان بزرگ ندهید، اما همچنان به زبان طبیعی از آن سؤال می کنید. تام (05:56) درست است. درسته آره، براندون (05:57) ... و سپس بازگرداندن برخی احتمالات در پاسخ اساسا. تام (06:00) یکی از چیزهایی که در داستان گنجانده ام، یعنی سرگرم کننده است، اما به نوعی توضیح می دهد که چگونه می توان از آن استفاده کرد، این است که آنها آن را برای بازی Doom تنظیم کرده اند.

و اگر تمام حالت های بازیکن را به مدل بدهید، مانند وضعیت سلامتی و موقعیت روی تخته و مواردی از این قبیل، می تواند به شما پاسخ دهد که به اندازه کافی سریع برای انجام بازی پاسخ می دهد. پس این یک چیز جالب است. و شما می توانید فکر کنید، برون یابی از آن، بسیاری از عملیات، احتمالا مفید برای این نوع چیزها وجود دارد.

و من فکر می‌کنم که ما احتمالا شاهد تلاش‌های موازی زیادی خواهیم بود که در آن افراد سعی می‌کنند نسخه خود را از این رویکرد توسعه دهند، زیرا نگاه کردن به مکان‌هایی که اگر سیستمی با پردازش زبان طبیعی می‌سازید، احتمالا مکان‌های زیادی وجود دارد که با انتخاب‌های ABC مبتنی بر درخت قطعی قدیمی و قدیمی کاملا خوب خواهید بود، بسیار منطقی است. براندون (06:52) Mm-Hmm. تام (06:52) من فکر می کنم بسیاری از افرادی که سیستم های زبان طبیعی خود را مهندسی کرده اند به گزینه های بهینه سازی نگاه نکرده اند.

مثل این است که چگونه می‌توانیم آن را کارآمدتر کنیم؟ و بنابراین چسبیدن Jev این کار را انجام می دهد. براندون (07:00) بله، بله. بله، پس شاید این شاید نوعی تکامل بالقوه آینده این نوع مدل باشد، زیرا این نوع ساختار به عنوان راهی برای سرعت بخشیدن و ارزان‌تر کردن پاسخ‌ها به مدل‌های زبانی بزرگ راه پیدا می‌کند. اما در واقع در مورد موارد استفاده صحبت می‌کنید، Joab، شما این هفته داستانی نوشتید که در مورد برخی از روش‌هایی که توسعه‌دهندگان از آن استفاده می‌کنند صحبت کردید. چون حدس می‌زنم شخصی یک وب‌سایت را برای فهرست‌بندی همه راه‌های مختلف استفاده از این چیز ایجاد کرده است.

پس چه چیزی دیده اید؟ چند نوع از روش های رایج استفاده از آن چیست؟ Joab (07:34) بیشتر مواردی که ما می‌بینیم دموهایی هستند که می‌توان به راحتی به‌راحتی با قطعیت تکرار کرد. اما دیدن موجی از توسعه دهندگان که متوجه می شوند چه کاری می توانند با آن انجام دهند جالب است. نمی تواند به شما پاسخی بدهد که از قبل نمی دانید. اگر چهار گزینه ممکن برای انتخاب به آن بدهید، انتخاب پنجمی به دست نخواهد آمد، بنابراین باید یک نوع نقشه راه برای ورود به آن داشته باشید.

اما موارد استفاده برای این موارد است که کاملا قطعی نیستند اما هنوز هم می‌توانند به مجموعه محدودی از خروجی‌ها نگاشت شوند. به همین دلیل است که سرعت در بازی ها یک نوع دمو محبوب برای این چیزها بود. در حالی که، می دانید، هنگامی که در حال بازی Doom یا Tetris یا بازی دیگری هستید - به اندازه کافی محدودیت انتخاب خواهید داشت، اما پس زمینه خوبی دارید: "من باید به پایان برسم. من باید تا حد امکان امتیاز کسب کنم." براندون (08:38) Mm-Hmm. Joab (08:39) بنابراین برای آن دسته از پروژه‌هایی که نتایج قابل پیش‌بینی دارند، بهترین کار را انجام می‌دهد و شما فقط می‌خواهید به سرعت از آن عبور کنید.

LLM ها می توانند این کار را انجام دهند، اما زمان زیادی را صرف می کنند زیرا در حال فرموله کردن پاسخ و نحوه تعامل با کاربر هستند. براندون (09:02) و ممکن است همانطور که شما گفتید بچسبند، ممکن است پاسخ پنجم را در آنجا بچسبانند، درست است؟ و این می‌تواند یک پاسخ کامل به هیچ وجه باشد که برای این سناریو منطقی نیست، زیرا LLMها هر چقدر هم که خوب شوند، باز هم این کار را گاهی انجام می‌دهند. Joab (09:15) بنابراین بله، منظورم این است که شما تعداد زیادی از برنامه های کاربردی طبقه بندی و مسیریابی دارید.

من فقط چیزی در مورد کسی خواندم که از آن به عنوان یک بررسی ایمنی برای عوامل همه عوامل استفاده می کند، تمام دستورات یونیکس که یک عامل می تواند انجام دهد. در اینجا شما نمی خواهید دایرکتوری را حذف کنید یا نمی خواهید این فایل را حذف کنید، می دانید. بنابراین شما یک نوع نرده محافظ برای ماموران تنظیم می کنید. واقعا در این جور چیزها خوب است. و از آنجایی که بسیار سریع است، سرعت سیستم را به میزان قابل توجهی کاهش نمی دهد. و بنابراین، بر خلاف LLM ها، مقدار زیادی از نوع تفکر دقیق وجود دارد که توسعه دهنده باید قبل از کار با Jev به آن بپردازد. شما باید تا حد امکان سوالات بیشتری داشته باشید و آنها باید دقیق باشند.

تقریبا برعکس سؤالات روزنامه نگاری است که می دانید می خواهید سؤالات "بله-نه" بپرسید و نمی خواهید سؤالات باز بپرسید. بنابراین جالب است که ببینیم توسعه دهندگان چگونه از آن استفاده می کنند. من حدس می‌زنم یکی از جالب‌ترین نمونه‌ها همین استارت‌آپ است که می‌تواند از لباسی که شما در فکر خرید آن هستید عکس بگیرید. شما در مغازه صرفه جویی هستید، شما در یک مغازه کفش فروشی هستید، می دانید که آیا این می تواند با "تناسب اندام" من مطابقت داشته باشد. و می تواند با یک تصویر و همچنین احتمال اینکه چقدر برای شما کار می کند، بیاید.

بنابراین باید کمی جابه‌جایی از آنچه Jev به دنبال آن است و آنچه می‌خواهید انجام دهید را انجام دهید. اما سریع‌تر و ارزان‌تر از انجام این کار توسط LLM است. و احتمال کمتری دارد یا کمتر منجر به توهم می شود. براندون (11:06) بله، بله، که فوق العاده است. منظورم این است که من تعجب می کنم، همانطور که شما به نوع کاربرد ایمنی عامل اشاره کردید. منظورم این است که نمی‌دانم آیا چیزی شبیه به این می‌تواند به‌عنوان نوعی سازنده نرده محافظ عمومی یا دستگاه نرده محافظ برای LLM استفاده شود.

آیا هیچ کدام از شما فکری در این زمینه دارید؟ آیا این می تواند برای LLM ها اعمال شود تا آنها را ایمن تر کند؟ یوآب (11:30) کاملا. من مدام به اظهار نظر بیل گیتس در مورد نت اسکیپ فکر می کنم، زمانی که اولین بار ظاهر شد و او، نسبتا فرصت طلبانه، گفت که نت اسکیپ یک برنامه کاربردی نیست، یک ویژگی است. و بنابراین می‌توانم نقطه‌ای را ببینم که در آن LLM‌ها این نوع طبقه‌بندی‌کننده را به عنوان یک ویژگی شامل می‌شوند. مثلا حالت گسترده می‌خواهید یا مجموعه‌ای از پاسخ‌ها را می‌خواهید؟ و شما احتمالا می‌توانید این کار را اکنون انجام دهید، اما LLM برای انجام آن زمان زیادی طول می‌کشد، و توکن‌ها را می‌جوید.

بنابراین شاید این یک ویژگی در آینده باشد، ChatGPT یا چیزی شبیه به آن. تام (12:11) بله، و منظورم این است که اگر می‌دانید که Jev به خودی خود قادر به sandboxing است، تشخیص از قبل دشوار است. یعنی مشکوکم نه منظورم این است که گمان می‌کنم بسته به نحوه راه‌اندازی آن، احتمالا راه‌هایی وجود دارد که یک LLM راه‌اندازی کند، زیرا LLM‌ها آنقدر دانش گسترده‌ای از چیزها دارند که، مگر اینکه به همه چیزهایی که فکر می‌کنند فکر کرده باشید، اتفاقا من این دستور وجود دارد و می‌توانم از این سوکت برای اتصال به این سیستم استفاده کنم که من نمی‌توانم به آن متصل شوم.

براندون (12:40) بله. آره اگر جیو به من اجازه این کار را ندهد، پس راه دیگری برای انجام آن پیدا خواهم کرد، بله. تام (12:44) درست است. اما در ترکیب با چیزی مانند یک میکرو VM یا هر چیز دیگری، احتمالا یک راه بسیار مؤثر برای ساختار امنیتی در اطراف LLM خواهد بود، بنابراین، می‌دانید، نفوذهای سبک Hugging Face را انجام ندهد. براندون (12:57) بله.

حالا یک چیز دیگر، صحبت از افزایش محبوبیت Jev و اینکه همه با آن به عنوان یک چیز جدید، جدید و بزرگ برخورد می کنند، منظورم این است که چند نفر آنلاین بوده اند که من دیده ام که این سوال را می پرسند، اساسا "آیا این جدید است؟" و تقریبا خودشان به نوعی به آن پاسخ می دهند، درست است؟ آنها مثل این هستند که همین چیزهاست. این جدید نیست، درست است؟ طبقه‌بندی‌کننده‌های استنتاج زبان طبیعی صفر شات، مدل‌های تعبیه‌شده، رمزگذارهای متقاطع، همه این موارد برای مدتی وجود داشته‌اند و بسیاری از کارهای مشابهی را انجام می‌دهند که Jev انجام می‌دهد.

منظورم این است که چه چیزی این را در چیزی که شما دیده اید منحصر به فرد می کند؟ این تفاوت یا جدید بودن با برخی دیگر از انواع ساختارهای درخت تصمیم که قبلا وجود داشته است چگونه است؟ یوآب (13:38) مدتی است که این ایده وجود داشته است. خندقی که TypeSafe دارد، در واقع، از درک من بر روی یک LLM ساخته شده است. بنابراین همانطور که چند نفر اشاره کردند، چقدر این LLM هوشمند است، هنوز جای سوال دارد. منظورم این است که شما می توانید آن را به اندازه کافی به راحتی خودتان بسازید، اما همچنان باید تنظیمات دقیق LLM را تا حد امکان برای سوالات هوشمندانه انجام دهید. این یک رویکرد LLM کامل نیست.

واضح است که شما یک سوال برای آن ارسال می کنید، با یک پاسخ یکباره برمی گردد، اما در مورد آن نشخوار نمی کند. بنابراین مقرون به صرفه بودن و سرعت از آنجا ناشی می شود. اما شیطان به طور کامل در اجرای مدل عقب مانده است. تام (14:35) بله. براندون (14:35) که ما در حال حاضر چیزی در مورد آن نمی دانیم، فکر می کنم، درست است؟ زیرا این یک محصول اختصاصی است. Joab (14:38) این اختصاصی است، بله. تام (14:39) درست است. براندون (14:39) بله. تام (14:40) همانطور که اغلب در نرم افزار لزوما در مورد قابلیت های فنی نیست، بلکه در مورد بازاریابی است.

و آنها یک API و آهنگ بسیار منسجم را کنار هم قرار دادند، فقط سهولت استفاده از نظر پذیرش اهمیت زیادی دارد. براندون (14:55) و پنج دلار اعتبار رایگان، که از آن می توانم بگویم، راه زیادی با این چیز دارد. تام (15:00) دقیقا. بنابراین، اگر اساسا بتوانند آن را به خوبی بفروشند، دلیلی وجود ندارد که شاهد پذیرش گسترده نباشد، فقط به این دلیل که همه احساس می کنند باید روی آن شرط بندی کنند. منظورم این است که به نوعی شبیه OpenClaw و Pi است. OpenClaw بر اساس عامل Pi است و OpenClaw لحظه خود را در خورشید سپری کرد و به پرواز درآمد. اما این فناوری به نوعی از سایر عوامل در دسترس بود.

بنابراین برای مدتی فقط تصور عمومی است. و سپس هیاهو فروکش خواهد کرد و مردم متوجه خواهند شد که این واقعا برای چه برنامه هایی مفید است و شاید برای چه مواردی چندان خوب نباشد. اما بله، منظورم این است که مردم برای مدتی این کار را با طبقه‌بندی‌کننده‌ها انجام می‌دهند، اما احتمالا دلیلی وجود دارد که یک طبقه‌بندی کننده، شاید منابع بیشتری مصرف کند یا هر چیز دیگری. من نمی دانم هزینه اجرای یک کلاسیفایر چقدر است. براندون (15:44) بله.

من یک مناظره در Reddit دیدم که در آن چند نفر در حال صحبت کردن بودند و یکی از افراد می‌گفت، خوب، این واقعا یک طبقه‌بندی با هدف کلی است، به گونه‌ای که دیگران چنین نبوده‌اند و آن مرد پاسخ داد و گفت: نه، اینطور نیست. کمی بحث رفت و برگشت در جریان بود. بنابراین من فکر می‌کنم استدلال‌هایی وجود دارد که نشان می‌دهد این قابلیت از یک طبقه‌بندی‌کننده بیشتر است، همانطور که Joab گفت، بر روی خود یک LLM ساخته شده است، بنابراین برخی از آن قابلیت‌ها را به گونه‌ای دارد که شاید یک طبقه‌بندی کننده نداشته باشد. بنابراین من می دانم که ما چیز زیادی در مورد انتهای این چیز نمی دانیم.

اگر شما مجبور بودید از آنچه که ما می دانیم در مورد ارزان بودن کار کردن به نوعی استنباط کنید. آیا می توانیم فرض کنیم که روی سیستم هایی با سربار کمتر کار می کند؟ منظورم این است که آیا این چیزی است که می تواند روی سخت افزار ارزان تر و کارآمدتر از LLM اجرا شود؟ یا آیا آن پشتیبان LLM است که ما فرض می‌کنیم احتمالا هنوز هم آن را فشار می‌دهد تا برای کارکرد هنوز به عملیات مرکز داده بزرگ نیاز داشته باشد؟ Joab (16:37) یکی از سازندگان Jev، امیدوارم نامش را درست تلفظ کرده باشم، Diogo Almeida، او در ماه ژوئیه، درست قبل از آزادی Jev، در مورد نوع تفاوت هایی که او در مورد Jev صحبت نمی کرد صحبتی داشت.

درست است، اما او گفته بود که تا این زمان همه LLM ها به نوعی برای تعامل انسانی تنظیم شده بودند، در نهایت از آنجا توهم می گیرید، من سعی می کنم به جای ارائه بهترین پاسخ، کاربر را راضی کنم. براندون (17:12) مممم. Joab (17:12) و فناوری او که هنوز منتشر نشده است یک LLM است اما به سمت طبقه بندی تنظیم شده است. بنابراین من فرض می کنم که هنوز کارهای اولیه زیادی برای LLM تعریف شده است. براندون (17:30) Mm-Hmm. Joab (17:30) حتی اگر ممکن است اتفاقات زیادی در زمان اجرا رخ ندهد، که دلیل آن کمبود هزینه توکن خروجی است.

از آنجا که آن سنتز را انجام نمی دهد، بلکه فقط از پشته یا هر چیزی که شما آن را می نامید عبور می کند و به محتمل ترین پاسخ می رسد. تام (17:51) از سطح متا نیز جالب است، مانند کاری که علم اقتصاد مبتنی بر توکن با معماری نرم افزار انجام می دهد، جایی که شما شاهد این همه فشار برای نوآوری برای کاهش هزینه ها هستید. و سناریویی که Anthropic و OpenAI به نوعی رویای آن را در سر می پرورانند این است که همه برای بهترین مدل های خود هزینه زیادی خواهند پرداخت.

اما چیزی که اتفاق می‌افتد این است که همه به دنبال راهی هستند، زمانی که شما ممکن است زمانی که به آن کاملا نیاز داریم یک مدل پیشرفته را اجرا کنیم، اما همه چیز دیگر به یک سیستم محلی یا چیزی که مقرون به صرفه‌تر است شکست می‌خورد. و تقریبا همه فرآیندها در حال حاضر تحت نظارت است. ما فکر می کنیم، هی، ما مجبور نیستیم برای آن هزینه بپردازیم. در اینجا یک راه کارآمدتر برای انجام آن وجود دارد. بنابراین شما با تغییرات زیادی در مؤلفه‌هایی که برای ساختن نرم‌افزار به کار می‌روند برای کاهش هزینه‌ها مواجه خواهید شد، زیرا هیچ‌کس نمی‌خواهد این قبض‌های بسیار بالا را بپردازد و سپس محدودیت‌ها و مواردی از این قبیل را اعمال کند.

این افراد را مجبور به نوآوری برای اجزای مختلف مانند Jev می‌کند، جایی که می‌توانید عملیات خاصی را انجام دهید و بگویید "ما این را روی این سیستم ارزان‌تر قرار می‌دهیم." براندون (18:58) احساس می‌کنم در یکی از دو قطعه‌ای که شما بچه‌ها نوشته‌اید خواندم که می‌توان از آن برای یک مسیریاب ترافیک استفاده کرد، مشخص کنید که این نوع سؤالات باید به کجا بروند. آیا جیو خودش میتونه جواب بده؟ آیا باید به مدل محلی برود؟ آیا باید آن را به کلود فرستاد یا هر چیز دیگری؟ بنابراین می‌توانید Jev را به‌عنوان نوعی جلوی هوش مصنوعی برای اهداف تجاری ببینید. که راهی برای کاهش هزینه هاست.

جون، من فرض می کنم، از آنجایی که خیلی سریع محبوب شده است، نمی توانم تصور کنم که TypeSafe تنها شرکتی با این نوع مدل باشد. مثل اینکه تصور می‌کنم زمان زیادی است که سایر شرکت‌ها یا توسعه‌دهندگان مدل باز سعی کنند نسخه‌های متن‌باز با وزن بازتری را از مکان‌هایی مانند Hugging Face که می‌توانید به صورت محلی اجرا کنید، عرضه کنند. منظورم این است که من حدس می‌زنم که احتمالا این کار زیاد طول نمی‌کشد