متخصص متن باز یورو دروازه LLM را برای تسهیل صورتحساب های توکن پیشنهاد می کند

ارائه‌دهنده خدمات پایگاه داده منبع باز اروپایی Aiven می‌گوید ۸۰ درصد از هزینه‌های توکن هوش مصنوعی خود را با انتقال به مدل‌های وزن باز صرفه‌جویی کرده است و در حال ساخت دروازه‌ای برای کمک به برنامه‌نویسان است که مدل‌ها را در صورت نیاز مبادله کنند.

این شرکت مستقر در فنلاند، کسب و کار خود را بر روی میزبانی و ارائه پایگاه های داده منبع باز به عنوان یک سرویس ایجاد کرد و در چند سال گذشته به سمت یادگیری ماشینی رفت.

Ville Lehto، معاون استراتژی Aiven، در صحبت با The Register، گفت که وقتی با زیرساخت‌های AI منبع باز سروکار داریم، ساختن چیزی که بتواند در ابرهای مختلف اجرا شود، پیش پا افتاده نیست. با این حال، با دادن دسترسی توسعه دهندگان خود به LLM، این شرکت می خواست هزینه های رمز خود را مدیریت کند و "سرنوشت خود را در مورد استفاده از هوش مصنوعی" کنترل کند.

پس از موجی از بحث در مورد به اصطلاح حداکثر کردن توکن، توسعه‌دهندگان عموما علاقه‌مندتر به کاهش هزینه‌های خود با استفاده از ترکیبی از مدل‌ها، از جمله جایگزین‌های ارزان‌تر چینی برای مدل‌های مرزی غربی، و مدل‌های وزن باز که هزینه کمتری دارند، شده‌اند.

مدل‌های وزن باز، پارامترهای آموخته‌شده، عمدتا وزن‌ها و سوگیری‌هایشان را به‌طور عمومی منتشر کرده‌اند، و می‌توانند به صورت محلی یا با هزینه کمتری نسبت به مدل‌های مرزی OpenAI و Anthropic اجرا شوند. به عنوان مثال می توان به خانواده Llama از Meta، Qwen Family از Alibaba Cloud، DeepSeek چین، Mistral AI’s Medium 3.5 و Devstral و Gemma گوگل اشاره کرد.

Lehto گفت: «هنگامی که صحبت از این استفاده از رمز به میان می آید، همانطور که در اوایل امسال شاهد بودیم، کسری از کاربران وجود دارند که کاربران کاملا سنگینی هستند و وقتی صحبت از هزینه آنها می شود، با استفاده از مدل های وزن باز می توان مقدار زیادی از آن را صرفه جویی کرد.

او گفت که Aiven با انتخابی روبرو بود که یا بودجه‌های توکن سختی داشته باشد یا سعی کند راه کارآمدتری برای استفاده از توکن‌ها پیدا کند.

Lehto گفت که با انتخاب دومی، یک دروازه داخلی برای کمک به توسعه دهندگان برای کار راحت تر با مدل های وزن باز اجرا کرد.

ما می‌خواستیم آن را تا حد امکان بدون اصطکاک بسازیم. ما می‌توانیم مدل‌های مختلف وزن باز را به کارمندان خود ارائه دهیم، چه مدل‌های غربی یا آسیایی، و مدل‌های مرزی را انتخاب کنیم. ما بر روی کاربران سنگین تمرکز کرده‌ایم و با آنها شاهد کاهش تقریبا ۸۰ درصدی هزینه‌ها هستیم.»

او گفت، با این حال، از آنجایی که عملکرد مدل‌های وزن باز و مرزی متفاوت است، استفاده از معیارهای دیگر مانند هزینه هر کار نیز مهم بود.

Aiven دروازه خود را حول چارچوب منبع باز به نام LiteLLM ایجاد کرد که میزبان آن بود. ویژگی های جدیدی مانند بودجه بندی، مدیریت دسترسی و سایر اجزای منبع باز اضافه کرد. این مدل‌ها را بر روی پردازنده‌های گرافیکی اجاره‌ای اجرا می‌کند و مدل‌ها را نیز خود میزبانی می‌کند.

Lehto گفت Aiven به استفاده از مدل‌های مرزی ادامه داد، اما فقط برای کمک به برنامه‌ریزی کار. وقتی نوبت به انجام واقعی کارها می‌رسد، ما از مدل‌های وزن باز زیادی استفاده می‌کنیم. اکثر کارها در واقع با وزن باز انجام می‌شوند، اما حیاتی‌ترین بخش‌های کار با مدل‌های مرزی برنامه‌ریزی می‌شوند. این چیزی است که ما بیشترین موفقیت را در حال حاضر می‌بینیم.»

Aiven قصد دارد این دروازه را به عنوان یک سرویس به مشتریان ارائه دهد تا به آنها در مدیریت هزینه‌های توکن کمک کند و با آسان‌تر کردن تعویض مدل‌های وزن باز در داخل و خارج از جریان کاری، به آنها کمک کند.

"از آنجایی که میراث ما به صورت متن باز است، این چیزی است که ما احساس می کنیم بسیار طبیعی است... ارائه به عنوان خدماتی برای مردم به این معنا که متناسب با نیازهای شرکت است."

مشتریان Aiven عبارتند از شرکت تجارت الکترونیک آلمانی Conrad، شرکت پردازش پرداخت انگلستان Dojo، فروشنده امنیت سایبری Sophos و شرکت ارتباطات Avaya. قرار است این تنها یکی از فروشندگانی باشد که در تلاش برای کمک به سازمان‌ها در کاهش هزینه‌ها هنگام استفاده از هوش مصنوعی است. ®