Jev که می‌تواند از Opus کمک بخواهد، دقت Opus را با هزینه کمتر 4 برابر می‌کند

ما می‌خواستیم آزمایش کنیم که آیا LLMها و مدل‌های تصمیم‌گیری، به‌ویژه Jev و Luna، می‌توانند مشکل سختی را که مرتبا با آن مواجه می‌شویم حل کنند (رده‌بندی نتایج حل هویت). ما متوجه شدیم که در حالی که هر دو مدل در خارج از جعبه عملکرد خوبی داشتند (دقت 88.8-97.3%)، اجرای یک مدل ترکیبی که ترکیبی از Jev + Opus است، دقت مرزی را با هزینه‌های 4 برابر کمتر به دست می‌آورد.

تفکیک هویت فرآیند نگاشت داده ها به افراد واقعی مربوطه است. به طور دقیق تر، بگوییم که مجموعه ای از رکوردهای داده D دارید. مجموعه‌ای از هویت‌های I را تعیین کنید و m(D)->I را به گونه‌ای ترسیم کنید که هر رکورد d ∈ D با هویت i ∈ I نگاشت شود، هر i دقیقا با یک شخص واقعی در دنیای واقعی مطابقت دارد، و هیچ دو i مربوط به یک شخص مشابه در دنیای واقعی نیست.

این برای هر شرکتی که مایل به ایجاد ارتباط، شخصی سازی یا تجزیه و تحلیل بر روی مشتریان است، اساسی است. برای مثال، نمی‌توانید ارزش مادام‌العمر یک مشتری را بدون اینکه بتوانید تمام خریدهایش را به یک هویت مشخص کنید، بدانید.

به عنوان مثال، داده های ورودی ممکن است حاوی رکوردهای زیر باشد. IDR در حالت ایده آل یک هویت ایجاد می کند، آلیس، و همه این رکوردها را با آلیس مرتبط می کند.

در عمل، IDR بسیار دشوار است. افراد ایمیل‌ها را به اشتراک می‌گذارند، آدرس‌ها را جابه‌جا می‌کنند، و غیره. همچنین ممکن است خطاهایی در داده‌ها وجود داشته باشد. چند نمونه را اینجا ببینید:

رایج ترین و مشکل سازترین مشکل IDR ادغام بیش از حد است. این زمانی است که یک هویت i به اشتباه با چند نفر در دنیای واقعی مطابقت دارد.

در مورد داده‌های واقعی، هیچ کلید پاسخی وجود ندارد که بتوانیم پس از ادغام رکوردها در هویت‌ها، از آن استفاده کنیم. اگر وجود داشت، ما فقط از آن برای تطبیق داده ها استفاده می کردیم و نیازی به انجام IDR نداشتیم. این امر ارزیابی دقت هر الگوریتم IDR را بسیار دشوار می کند. در عمل، تیم ها ماه ها تلاش می کنند تا مشخص کنند که آیا IDR آنها کار می کند یا خیر.

می‌توانید از روش‌های اکتشافی برای جستجوی نشانه‌های آماری نمایه‌های بیش از حد ادغام شده (شمارش تعداد ایمیل‌ها در هر هویت و غیره) استفاده کنید، اما در نهایت باید از هویت‌های خروجی نمونه برداری کنید و آنها را با دست بررسی کنید تا بدانید الگوریتم IDR شما چقدر خوب عمل می‌کند.

برای انجام این کار، رکوردهای Dᵢ را به عنوان مجموعه d تعریف می کنیم به طوری که m(d) -> i برای هر i داده شده. اگر موتور IDR موفق باشد، ما فقط باید شواهدی از یک شخص واقعی در هر Dᵢ پیدا کنیم.

نمونه گیری انسانی کند است (50 هویت در ساعت)، و نمونه برداری از تعداد کمی از هویت ها تخمین ضعیفی از ادغام بیش از حد ارائه می دهد. ادغام بیش از حد در یک نمودار سالم نادر است، و تخمین نرخ نادر دقیقا نمونه‌های بیشتری از آنچه مردم انتظار دارند می‌گیرد (بیش از 1000 نمونه برای کاهش خطا به زیر 1-% در نرخ ادغام بیش از حد).

یک LLM باید به طور شهودی بتواند کاری را که یک انسان هنگام بررسی هویت انجام می دهد تکرار کند. اگر یک مدل بتواند هویت‌ها را با دقت انسانی قضاوت کند، آن‌گاه می‌توانیم به تعداد LLM‌هایی که می‌خواهیم هویت‌ها را به صورت موازی درجه‌بندی کنیم، بچرخانیم. نمونه ای از 100000 هویت را می توان در چند ثانیه ارزیابی کرد. این چرخه‌های تکرار سریع‌تر را هنگام تنظیم IDR فعال می‌کند و تعمیر و نگهداری را بسیار آسان‌تر می‌کند.

Jev و GPT-6 Luna مورد توجه خاص هستند. اینها اعضای کلاس جدیدی از مدل‌های زبانی هستند که نمره اطمینان 0-1 را نشان می‌دهند که یک شرط خاص درست است. آنها بسیار سریعتر و ارزان تر از مدل های مرزی فعلی هستند.

ما یک معیار با افراد کاذب ایجاد کردیم، ابزاری از موسسه سنجش و ارزیابی سلامت در دانشگاه واشنگتن. این یک شهر خیالی ایالات متحده را شبیه سازی می کند و سوابق ساکنان آن را از منابع مختلف ایجاد می کند. ما همچنین یک دسته از خطاهای داده واقعی را اضافه کردیم.

از آن سوابق، ما 1000 هویت ساختیم. نیمی از آنها یک نفر با سوابق پر سر و صدا هستند و نیمی دیگر بیش از حد ادغام شده اند. سپس چند مدل را چرخاندیم و نحوه عملکرد آنها را اندازه گیری کردیم.

سپس انواع نویز در داده ها را شرح دادیم تا اشتباه تایپی با شخص جدید اشتباه گرفته نشود:

سپس توضیح دادیم که سوابق از کجا آمده است:

هر مدل بیشترین سود را از نمونه های خطا به دست آورد. سپس بافت داده حداکثر یک نقطه برای مدل‌های مرزی اضافه کرد و برای مدل‌های تصمیم‌گیری مفید نبود. حدس ما این است که مدل‌های تصمیم‌گیری واقعا استدلال نمی‌کنند، بنابراین ارائه زمینه‌های اساسی به آنها کمک نمی‌کند. ما دستور کامل را برای همه مدل‌ها انجام دادیم تا همه چیز را ثابت نگه دارند. با درخواست نهایی، نتایج به شرح زیر بود:

در ابتدا از آستانه اطمینان 50 درصد استفاده کردیم، اما این خودسرانه بود. می‌توانیم آن را طوری تنظیم کنیم که یک نوع خطا را با خطای دیگری عوض کنیم.

برش برای Jev بسیار مهم است و برای Luna بسیار کم. ما روی 60 درصد برای Jev و 70 درصد برای Luna قرار گرفتیم که در هر مورد دقت را به حداکثر می‌رسانند. در اینجا نحوه عملکرد هر دو مدل با آستانه کالیبره شده بهتر است.

تا اینجای کار لونا خیلی خوب به نظر می رسد. در واقع، به طرز شگفت انگیزی به مدل های مرزی با کسری کمی از هزینه آنها نزدیک است. ما تصمیم گرفتیم که سختی تست خود را افزایش دهیم تا ببینیم آیا مدل های مرزی می توانند جلو بیایند یا خیر.

ما از همان شهر و همان نوع سر و صدا استفاده کردیم، اما فقط موارد پیچیده. ما سعی کردیم با ساخت مواردی از جمله:

عالی است، اکنون یک شکاف واضح بین مدل های مرزی و لونا وجود دارد. جالب اینجاست که لونا با وجود اینکه قبلا جلوتر بود، اکنون با Jev هم سطح شده است. ما شروع به بررسی مواردی کردیم که لونا و جیو اشتباه کردند تا ببینیم آیا می‌توانیم دقت را بدون پرداخت هزینه برای مدل مرزی بهبود ببخشیم.

در بررسی مواردی که Jev و Luna از دست دادند در حالی که مدل‌های بزرگ‌تر آن را درست انجام دادند، متوجه الگوی بسیار جالبی شدیم. بیایید با مجموعه داده ساده‌تر شروع کنیم تا آن را به وضوح ببینیم.

اکثر اشتباهات Jev نزدیک به 50% اطمینان هستند، که از یک مدل خوب کالیبره شده انتظار دارید. از سوی دیگر، لونا با وجود اشتباهات بسیار کمتر، در سطل 90 تا 100 درصد کاملا مطمئن به نظر می رسد.

بیایید ببینیم وقتی دوباره روی موارد پیچیده تر اجرا می کنیم چه اتفاقی می افتد.

در حالی که اطمینان Jev به اشتباه بالاتر می رود، کالیبراسیون آن بسیار بهتر از Luna باقی می ماند. لونا در اینجا به طور چشمگیری بیش از حد اعتماد به نفس دارد که ادغام بیش از حد را شناسایی کرده است.

تنها چیزی که مهم است این است که ما به طور متوسط ​​می توانیم به طور ارزان قضاوت کنیم که آیا یک هویت بیش از حد ادغام شده است یا خیر. ما مجبور نیستیم فقط به یک مدل تکیه کنیم. اگر مدل ارزان به خوبی کالیبره شده باشد، می‌توانیم بخش کوچکی از هویت خود را برای نظر دوم به یک مدل گران قیمت ارسال کنیم.

با توجه به اعتماد بیش از حد لونا، می توانیم حدس بزنیم که به لونا کمک چندانی نخواهد کرد، اما Jev واقعا باید بتواند از این مزیت استفاده کند.

این رویکرد نه تنها از نظر دقت، Jev را از لونا عبور می‌دهد، بلکه تقریبا دقت Opus را به تنهایی برآورده می‌کند. مسلما، برای عملکرد تقریبا مشابه، گران‌تر از لونای هیبریدی است.

حالا این شکاف کاملا مشخص است. کالیبراسیون اطمینان بهتر Hybrid Jev به این معنی است که موارد بیشتری را بدون هیچ گونه مهار یا تغییری بر روی داده‌های سخت‌تر به Opus ارسال می‌کند. ما بیشتر پرداخت می‌کنیم، اما این سیستمی است که به‌طور خودکار هزینه‌ها را در صورت نیاز مقیاس می‌دهد تا دقت را حفظ کند، چیزی که ما می‌خواهیم. همچنین هنوز بسیار ارزانتر از Opus به تنهایی است. در حالی که به نظر می رسد لونا در خارج از جعبه بهتر عمل می کند، اعتماد بیش از حد آن آن را به عملکرد متوسط ​​در مدل هیبریدی محکوم می کند.

بیایید به اعداد نهایی در تمام آزمایشات خود نگاه کنیم.

کالیبراسیون مهم است! در حالی که Luna خارج از جعبه بهتر کار می کند، اعتماد بیش از حد آن مانع از موفقیت در مجموعه داده های سخت تر می شود. رویکرد ترکیبی به وضوح مفید است، و ما گمان می کنیم که فقط در این حوزه مفید نیست.

توانایی Hybrid Jev برای رسیدگی به دشواری مشکل دلخواه بسیار ارزشمند است. شما هرگز نمی‌دانید که هویت‌ها در عمل چقدر پیچیده خواهند بود، بنابراین سیستمی که به صورت پویا خم می‌شود تا در صورت نیاز بیشتر خرج کند، بسیار عالی است.

اگر ما نسبت به هزینه حساس‌تر بودیم یا می‌دانستیم پرونده‌های داوری آسان‌تر هستند، ممکن است لونا هیبریدی را انتخاب کنیم، اما فکر می‌کنیم مزایای Jev هیبریدی ارزش هزینه‌های اضافی را دارد. ما می‌توانیم آستانه‌های خود را طوری تنظیم کنیم که موارد کمتری برای نظر دوم ارسال کنیم تا هزینه‌ها به قیمت کمی دقت در رویکرد ترکیبی Jev کاهش یابد.

در پست‌های آینده درباره نحوه ادغام کم بحث خواهیم کرد و بررسی خواهیم کرد که اگر به سراغ مدل‌های تصمیم‌گیری وزن باز در مقابل تکیه بر APIهای اختصاصی برویم، عملکرد چگونه کاهش می‌یابد.

اگر این برای شما جالب است، با ما چت کنید:

داده های آزمایشی تولید شده با افراد شبه؛ هیچ فرد واقعی در هیچ نمونه ای ظاهر نمی شود. هزینه‌ها و تاخیرهای مدل همان چیزی است که ما در تنظیمات خود مشاهده کردیم و متفاوت خواهد بود.