"ما در مورد هزینه هوش مصنوعی بسیار شک داشتیم": Revolut فاش کرد که هزینه های کدگذاری هوش مصنوعی را با حذف کامل کلود کاهش داده است.

Revolut کلود را برای مدل‌های خود میزبان Z.ai کاهش داد و هزینه‌های استنباط را تا 90 درصد کاهش داد.

70٪ بهبود در بهره وری زمان سرب، 60٪ افزایش برای بهره وری زمان کدگذاری

طبق گزارش ها، این مدل بر روی 56 پردازنده گرافیکی Nvidia B200 با حافظه 380 گیگابایتی کار می کند. Revolut به یکی از لیست رو به رشد شرکت‌هایی تبدیل شده است که به دنبال کاهش اتکای خود به کلود هستند و طبق گزارش‌ها، با انجام این کار، هزینه‌های استنباط را در کمتر از یک سال تا 90 درصد کاهش داده است.

اما بانک دیجیتالی که مقر آن در لندن است، هوش مصنوعی را به طور کامل قطع نکرده است، در عوض آن حجم کاری پرهزینه را با مدل‌های خود میزبانی و وزن باز از Z.ai چین جایگزین کرده است.

این شرکت با محدود کردن خود، اکنون می‌گوید توسعه‌دهندگانش می‌توانند بدون نگرانی در مورد محدودیت‌های توکن، آزادانه‌تر از هوش مصنوعی استفاده کنند، که به نوبه خود بهره‌وری را نیز بهبود بخشیده است.

Revolut کلود را برای مدل‌های چینی خود میزبان و وزن باز کاهش می‌دهد

به نظر می‌رسد که Revolut کاملا با دنیای هوش مصنوعی مطابقت دارد، زیرا قبلا قبل از استفاده از Anthropic's Claude با Gemini گوگل آزمایش کرده بود، اما گفته می‌شود که برخی از کاربران سنگین هزاران دلار در ماه برای توکن‌ها هزینه می‌کنند بدون اینکه ROI معادل ایجاد کنند.

دیوید ابیتبول، رهبر Revolut Infrastructure ماه گذشته در کنفرانسی (از طریق The Register) گفت: "ما در مورد هزینه هوش مصنوعی بسیار شک داشتیم." زمانی که ما آن را راه اندازی کردیم، آن را با محدودیت های شدید بودجه راه اندازی کردیم."

در صحبت جداگانه در GTC برلین، ابیتول همچنین خاطرنشان کرد که گزینه خود میزبانی Revolut منجر به بهبود 70 درصدی در بهره‌وری زمان و 60 درصد بهبود در بهره‌وری زمان کدنویسی شده است. او همچنین مدل‌های GLM Z.ai را به دلیل حفظ حریم خصوصی داده‌ها و قابلیت ممیزی آن‌ها تحسین کرد.

آیا اجرای مدل های خود میزبان ارزان تر است؟

به نظر می‌رسد که GLM-5.1 هزینه‌های استنتاج را به حدود 0.30 دلار به ازای هر میلیون توکن ورودی/خروجی یا حدود یک دهم هزینه‌های تجاری مشابه کاهش داده است. اکنون، Revolut می تواند زیرساخت استنتاج خود را برای مدیریت ظرفیت خود راه اندازی کند.

با این حال، با انعطاف پذیری زیاد، هزینه زیادی نیز به همراه دارد. در حالی که هزینه های مرتبط با استفاده از مدل مستقیم کاهش یافته است، میزبانی خود نیاز به هزینه قابل توجهی از نظر سخت افزار و زیرساخت دارد. پردازنده‌های گرافیکی، تعمیر و نگهداری، برق و تعمیر و نگهداری و برخی از حوزه‌های کلیدی که احتمالا افزایش عمده‌ای در هزینه‌ها داشته‌اند.

طبق گزارش‌ها، این بانک در حال حاضر دارای 56 پردازنده گرافیکی Nvidia B200 است، به‌علاوه این مدل به تنهایی به حدود 380 گیگابایت حافظه گرافیکی نیاز دارد و از 6 تا 26 گیگابایت حافظه برای هر کاربر برای حفظ زمینه استفاده نمی‌کند.

در نهایت، این مدرکی است که نشان می‌دهد هوش مصنوعی جانوری پرهزینه است و به کارگیری آن بی‌هدف به امید صرفه‌جویی در زمان، استراتژی ضعیفی است. اما با توجه به اینکه شرکت‌های بیشتری هوش مصنوعی تجاری مانند کلود را کنار می‌گذارند و به نفع خود میزبانی می‌کنند، این سوال مطرح می‌شود که آیا استفاده از مدل‌های کمتر پیشرفته برای کارهای روزمره و حتی میزبانی شخصی به جای اجاره می‌تواند اقتصاد را در سال‌های آینده بهبود بخشد.

البته همه اینها در پس زمینه غیرقابل پیش بینی هزینه ها، که به نظر می رسد بیشتر از هزینه های بالا به شرکت ها ضربه می زند.

ابیتول گفت: «اکنون منبع باز یک اولویت در Revolut است و اقتصاد ما مطلوب است. صورتحساب ثابت است، ما هیچ شوک قبض در پایان ماه نداریم و مرز استثنا است.