فین‌تک بریتانیایی Revolut با حذف کلود و میزبانی شخصی هزینه‌های کدنویسی هوش مصنوعی را 10 برابر کاهش می‌دهد.

Revolut می‌گوید که در کمتر از یک سال توانسته است هزینه‌های استنتاج کدنویسی هوش مصنوعی خود را با پیش‌فرض کردن مدل‌های خود میزبان به جای تکیه بر خدمات تجاری مانند Claude، تقریبا ۹۰ درصد کاهش دهد.

دیوید ابیتبول، مدیر عملیات و زیرساخت در فین‌تک بریتانیایی، ماه گذشته در کنفرانس مهندس هوش مصنوعی در نیویورک، توضیح داد که چگونه پس از عرضه ابزارهای کدنویسی هوش مصنوعی به حدود 2000 مهندس، شاهد بهبود 60 درصدی در زمان کدنویسی و 70 درصد بهبودی در زمان ارائه شده است. Revolut در ابتدا از GLM-5.1 استفاده کرد و سپس به GLM-5.3 رفت که اکنون با استفاده از 56 پردازنده گرافیکی Nvidia B200 ارائه می شود.

قبل از تغییر به GLM، Revolut با هوش مصنوعی آزمایش می کرد، Gemini را در اوایل سال 2025 و کلود کد را در اوایل سال 2026 به کار می برد. "ما در مورد هزینه هوش مصنوعی به شدت شک داشتیم. می دیدیم که مهندسان 1000 دلار در ماه، 10،000 دلار در ماه هزینه می کنند و با بودجه نه چندان زیاد Abbol آن را راه اندازی کردیم."

به همین دلیل، مهندسان فقط به تعداد محدودی توکن دسترسی داشتند، بنابراین شرکت شروع به بررسی مدل‌های خود میزبانی iyd کرد. با 0.30 دلار به ازای هر میلیون توکن ورودی/خروجی، میزبانی خود GLM 5.1 تقریبا یک دهم هزینه استفاده از Codex OpenAI یا Claude Code Anthropic است. و همانطور که مشخص شد، زمانی که توکن ها ارزان هستند، دیگر نگران این نیستید که چه تعداد از آنها استفاده می کنند یا برای چه استفاده می کنند.

در حالی که Revolut شاهد پیشرفت هایی در سرعت کدنویسی بود، Abitbol خاطرنشان کرد که بزرگترین گلوگاه در واقع کد نیست. در عوض، او می‌گوید که بزرگترین دستاوردها از اجازه دادن به مدل‌های هوش مصنوعی با مواردی مانند اشکال‌زدایی و بلیط‌های Jira و Confluence حاصل شده است. او گفت: «وقتی توکن‌های نامحدودی دارید، در انجام این کار آزاد هستید. "دیگر لازم نیست توکن های خود را برای پایان سه ماهه یا سخت ترین کار ذخیره کنید."

GLM 5.1 که توسط مدل وزن باز چینی dev Z.ai توسعه یافته است، دقیقا یک مدل کوچک نیست. با حدود 754 میلیارد پارامتر کل (40 میلیارد فعال برای هر توکن تولید شده)، این مدل به تقریبا 380 گیگابایت حافظه GPU فقط برای نگه داشتن وزنه ها و 6-26 گیگابایت دیگر برای هر کاربر برای حفظ متن بسته به دقت نیاز دارد.

برای ارائه به GLM-5.3 در مقیاس، Revolut از 56 پردازنده گرافیکی Nvidia B200 استفاده کرد که از نظر تعداد پردازنده گرافیکی معادل هفت سیستم هشت کارت گرافیک DGX B200 است. اما همانطور که Abitbol اشاره کرد، بیشترین دستاوردهای عملکرد از افزودن پردازنده‌های گرافیکی به دست نمی‌آید، بلکه تنظیم فراپارامترهای مدل همراه با تغییر به کمیت‌سازی NVFP4، اجرای پیش‌پر کردن و رمزگشایی تفکیک‌شده، و تنظیم طول‌های زمینه است.

یکی از نکات کلیدی این بود که پشتیبانی از یک پنجره زمینه یک میلیون توکن لزوما چنین پنجره بزرگی را مفید یا کارآمد نمی کند. Abitbol گفت: "زمینه طولانی یک کلاهبرداری است. شما واقعا باید به آن توجه داشته باشید." اگرچه شما می توانید یک میلیون توکن را ارائه دهید، 256 [هزار] واقعا همان چیزی است که شما نیاز دارید."

با این بهینه‌سازی‌ها، ابیتبول می‌گوید که این شرکت توانسته است به زمان زیر 3 ثانیه به توکن اول در پنجره‌های زمینه حدود 256000 توکن و سرعت تولید حدود 200 توکن در ثانیه دست یابد، که هر دو نقطه شیرینی برای مهندسان نرم‌افزار شرکت است.

Abitbol گفت: "چیزی که می‌خواهید برای آن هدف قرار دهید، یک نشانه زمانی زیر 3 است. این شواهد تجربی است. به محض اینکه از 5 ثانیه فراتر رفتید، صندوق ورودی Slack من شروع به انفجار می‌کند." "از نظر توان عملیاتی، واقعا اهمیتی ندارد. ما از نظر تعاملی، 200 توکن در ثانیه ارائه می‌کنیم. مردم [با آن] خوب هستند. نیازی نیست که بالاتر بروید. روش کار افراد تغییر کرده است. ما دیگر به جریان توکن‌های فکری نگاه نمی‌کنیم. افراد وظایف را به صورت موازی اجرا می‌کنند و زمانی که کار انجام شد بررسی می‌کنند."

و اگر توان عملیاتی نگران کننده باشد، او خاطرنشان می کند مهندسانی که بعد از ساعت 5 بعد از ظهر وارد سیستم می شوند به 800 توکن در ثانیه نزدیک می شوند.

با این حال، شایان ذکر است که GLM به طور کامل جایگزین GPT یا Claude نشده است. مدل چینی فقط متنی است، بنابراین برای مواردی مانند کار با رابط کاربری ایده‌آل نیست. بنابراین، در عوض، Revolut از یک روتر مدل برای هدایت پرس و جوهای بینایی به مدل هایی مانند Gemini یا GPT Luna استفاده کرد و در عین حال تولید کد را در GLM در حال اجرا نگه داشت.

ابیتبول گفت: "منبع باز اکنون در اولویت Revolut قرار دارد و اقتصاد ما مطلوب است. صورتحساب ثابت است، ما در پایان ماه هیچ شوکی قبض نداریم و مرز استثنا است."

با این اوصاف، Abitbol اذعان می‌کند که مدل‌های وزن باز چینی ممکن است به دلایل حفظ حریم خصوصی و امنیتی نگران کننده باشند، اما تأکید می‌کند که نگرانی اصلی دسترسی به آنها از طریق APIهایی است که از چین خارج می‌شوند. وقتی به صورت on-prem یا بر روی منابع ابری منطقه ای اجرا می شود، واقعا چیزی برای نگرانی وجود ندارد. ®