مدل‌های باز می‌توانند 90 درصد کار نمایندگی را با بیستم هزینه یک LLM مرزی انجام دهند: گارتنر

به گفته شرکت تحلیلی گارتنر، مدل سازان انتفاعی که بسیاری از آنها میلیاردها دلار برای زیرساخت های هوش مصنوعی هزینه می کنند، تنها از ده درصد مراحل مربوط به جریان کاری هوش مصنوعی عاملی درآمد خواهند داشت.

مارک پتی، مدیر ارشد شرکت و ریموند پاکت، معاون رئیس گروه، هفته گذشته در سند جدیدی با عنوان «مدل‌های وزن باز 90 درصد از گام‌های سازمانی A را اجرا می‌کنند»، نوشتند: «9 مرحله از 10 مرحله گردش کار نماینده معمول است، و مدل‌های با وزن باز با یک چهارم قیمت ارزان‌ترین مدل بسته‌شده، آنها را با یک چهارم قیمت انجام می‌دهند».

این زوج پیش از پیشنهاد مدل‌های وزن باز، مشاهده کردند: «جریان‌های کاری معمولی شامل صدها اجرای معمولی، مانند طبقه‌بندی، فراخوانی ابزار، ارسال، اعتبارسنجی و تطبیق داده‌ها می‌شود.»

این جفت اضافه می‌کنند: «در برابر ارزان‌ترین مدل بسته با همان امتیاز، مدل باز یک چهارم قیمت دارد. در مقابل مدل مرزی که در هر مرحله اجرا می‌شود، قیمت آن به اندازه یک بیستم است».

اینها بهترین اعداد هستند، زیرا تحلیلگران اذعان می‌کنند که «مدل‌های باز کنونی می‌توانند پرمخاطب‌تر باشند و بیشتر تکرار شوند، بنابراین صرفه‌جویی در هر کار در برابر یک مدل مرزی به پنج یا شش برابر نزدیک‌تر است».

این هنوز یک پس انداز دوست داشتنی است، اما تحلیلگران آن را به عنوان محصول جانبی خوشایند حرکت به سمت مدل های باز ارزیابی می کنند و نه یک هدف.

این زوج نوشت: «سال‌ها سابقه گردش کار بخش بزرگی از هزینه‌ای است که یک خریدار در یک شرکت SaaS برای آن پرداخت می‌کند و هر مرحله معمولی که به یک API مرزی ارسال می‌شود، بخشی از آن را به خارج از محیط شما منتقل می‌کند. "وزن باز کنترل شما را حفظ می کند. صرفه جویی در هزینه یک امتیاز است."

بنابراین این دو تحلیلگر فرضیه برنامه ریزی استراتژیک زیر را ارائه می دهند: "تا سال 2030، 90 درصد از مراحل گردش کار عامل عملیاتی سازمانی بر روی مدل های وزن باز اجرا می شود."

آنها استدلال می کنند که شرکت ها عمدتا مدل های وزن باز مخصوص دامنه را اتخاذ می کنند، زیرا آنها "در سناریوهایی که تعداد کمی از مراحل بسیار پایدار میلیون ها بار در ماه اجرا می شوند" خوب عمل می کنند.

با این حال، اکثر مدل ها در حال حاضر کالا هستند. هارنس ها، ابزارهایی که عامل ها را اجرا می کنند و نمایندگان را مدیریت می کنند، منبع ارزش محصولات هوش مصنوعی هستند، زیرا یکی از نقش های آنها هدایت کار به مناسب ترین مدل برای یک کار است، بدون اینکه کاربران متوجه هیچ تاثیری شوند. یک مهار خوب باعث صرفه جویی در هزینه ها، تحمیل نرده های محافظ قوی و مدیریت ناوگان عامل می شود. مهارهای کمتر قدرتمند، کار بیشتری را در اختیار کاربران قرار می دهد.

این مقاله نشان می‌دهد که مدل‌های مرزی همچنان به عنوان موتور تحقیق و توسعه نقش دارند و عملا هزینه سرمایه هستند. مدل‌های وزن باز پس از اینکه مدل‌های مرزی کارهای سنگین را انجام می‌دهند، تبدیل به یک هزینه عملیاتی می‌شوند. ®