شمارش توکن ها را متوقف کنید، شروع به شمارش کنید چه کشتی هایی

هنگامی که یک توسعه دهنده به یک عامل هوش مصنوعی وظیفه کدنویسی می دهد، عامل بیش از یک بار پاسخ می دهد. برنامه‌ریزی می‌کند، کد تولید می‌کند، آزمایش‌ها را اجرا می‌کند و فرآیند را برای تصحیح خطاها تکرار می‌کند. یک کار می تواند 10 تا 50 برابر بیشتر از یک اعلان چت اولیه از توکن استفاده کند. هر چه عامل مفیدتر باشد، تماس های بیشتری برقرار می کند. با قیمت گذاری هر توکن، گردش کاری که بیشترین ارزش را ایجاد می کند نیز می تواند گران ترین باشد.

فشار مالی از قبل قابل مشاهده است. بنا بر گزارش ها، اوبر پس از گسترش استفاده از کلود کد، کل بودجه هوش مصنوعی سال 2026 خود را تا آوریل به پایان رساند. GitHub Copilot از قیمت گذاری با نرخ ثابت به اعتبارات اندازه گیری شده حرکت کرد. گارتنر پیش‌بینی می‌کند که تا سال 2028 هزینه‌های رمزگذاری AI از میانگین حقوق توسعه‌دهندگان پیشی خواهد گرفت.

پاسخ طبیعی این است که سقف‌های استفاده، محدودیت‌های صندلی و تأییدیه‌ها را قبل از راه‌اندازی عوامل توسعه‌دهندگان، جیره‌بندی می‌کند. اما محدودیت‌های کلی می‌تواند گردش‌های کاری را که ارزش ارائه می‌کنند محدود کند. آنها همچنین تعداد اشتباه را بهینه می کنند. هزینه هر توکن مصرف را اندازه گیری می کند نه نتایج. برخی از مخارج منعکس کننده اتلاف هستند، از جمله تلاش های مجدد و حلقه های فرار. برخی نشان دهنده کار نرم افزار حمل و نقل است. یک متر نمی تواند آنها را تشخیص دهد، و نه سقف هزینه.

نرم افزار ارسالی را اندازه گیری کنید

معیار بهتر، هزینه به ازای هر درخواست کشش ادغام شده است: کل هزینه توسعه با کمک هوش مصنوعی تقسیم بر تعداد تغییراتی که بررسی می شوند و ادغام می شوند. دوباره کارها و عیوب را در کنار آن دنبال کنید تا تغییرات ارزان‌تر کیفیت پایین‌تر را پنهان نکند.

اگر با افزایش استفاده از هوش مصنوعی، این هزینه کاهش یابد، بدون کاهش کیفیت، توسعه‌دهندگان مصرف بیشتری را به نرم‌افزار مفید تبدیل می‌کنند. سوال این نیست که آنها از چه تعداد توکن استفاده می کنند، بلکه این است که سرمایه گذاری چقدر کار تمام شده تولید می کند.

بهبود این معادله مستلزم دو تغییر است: ذخیره استنتاج گران قیمت برای کارهایی که به آن نیاز دارند، و کاهش هزینه کار معمولی.

مدل را با کار مطابقت دهید

کدنویسی عاملی در هر مرحله به قدرتمندترین مدل نیاز ندارد. برای برنامه ریزی دشوار و استدلال جدید، از یک مدل مرزی یا یک پرچمدار داخلی در مواقعی که سیاست ایجاب می کند، استفاده کنید. مسیریابی کار مناسب، از جمله تولید کد، ایجاد آزمایش، و بازآفرینی مکرر، به مدل‌های وزن باز که خودتان کار می‌کنید.

یک دروازه می‌تواند درخواست‌ها را بر اساس پیچیدگی کار، حساسیت داده‌ها، هزینه و تأخیر مسیریابی کند. این استنتاج حق بیمه را برای لحظاتی که آن را توجیه می کند به جای اعمال قیمت گذاری حق بیمه برای کل گردش کار، ذخیره می کند. استثنا را اندازه گیری کنید، نه حجم کار.

مدل های وزن باز این تقسیم را به طور فزاینده ای کاربردی می کنند. معیارهای مهندسی نرم افزار نشان می دهد که مدل های وزن باز پیشرو می توانند به عملکرد مرزی در برخی از وظایف نزدیک شوند. این معادل سازی در هر مخزن یا گردش کار ایجاد نمی کند. قبل از واگذاری کار تولیدی، داوطلبان را بر اساس کد، آزمون ها و معیارهای پذیرش خود ارزیابی کنید.

اقتصاد استفاده مکرر را تغییر دهید

بعد، تصمیم بگیرید که چه کسی صاحب ظرفیت است. با استنباط اجاره ای، هر تماسی به صورت حساب اضافه می کند. با ظرفیت اختصاصی، بیشتر هزینه ها از قبل متعهد می شود، بنابراین هر تماس اضافی با افزایش استفاده ارزان تر می شود.

اقتصاد ساده است: قیمت گذاری هر توکن استفاده سنگین را گران تر می کند، در حالی که ظرفیت مالکیت با استفاده بیشتر تیم ها کارآمدتر می شود. با این حال، مالکیت رایگان نیست. نیرو، عملیات، نگهداری و استهلاک همه باید در نظر گرفته شود. عددی که اهمیت دارد هزینه تمام شده بارگیری شده در هر درخواست کشش ادغام شده است.

ظرفیت متعلقه نیز نوعی ارزش را ارائه می دهد که هرگز در فاکتور ظاهر نمی شود: کنترل روی کد حساس. هنگامی که تولید و آزمایش کد در محل اجرا می شود، کد اختصاصی در داخل شرکت باقی می ماند. فقط درخواست‌های برنامه‌ریزی تایید شده و استثناهای کنترل شده از طریق دروازه‌ای که سازمان کنترل می‌کند به مدل‌های خارجی می‌رود. این امر مخازن حساسی را باز می کند که در آن امنیت معمولا پذیرش را متوقف می کند و بزرگترین دستاوردها در انتظار آنهاست.

مدل عملیاتی را تست کنید

در HPE، یک پلتفرم هوش مصنوعی ترکیبی، بارهای کاری معمول را از بیش از 150 برنامه داخلی به مدل‌های با وزن باز که در محل اجرا می‌شوند، از جمله در HPE Private Cloud AI هدایت می‌کند. نتیجه: هزینه توکن 30 تا 50 درصد کاهش می یابد.

این نکته ترکیبی است. با HPE Private Cloud AI، داشتن استنباط شما به معنای کنار گذاشتن مدل های مرزی نیست. حجم را با ظرفیتی که دارید اجرا کنید و اجازه دهید یک دروازه سخت ترین کار را ارسال کند.

داده‌ها همچنین نشان می‌دهند که مصرف، نه تعداد افراد دارای مجوز، هزینه‌های درایوها را خرج می‌کند. 5 درصد از کاربران اصلی بیشترین مصرف را داشتند و سنگین ترین آنها تقریبا 450 برابر بیشتر از سبک ترین آنها در یک مجوز استفاده می کردند. اگر کاربران قدرتمند از یک اقلیت کوچک به نیمی از نیروی کار افزایش پیدا کنند، هزینه های ماهانه می تواند حدود 4.4 برابر با تعداد کار ثابت افزایش یابد. ترکیب شما متفاوت خواهد بود، دقیقا به همین دلیل است که باید آن را اندازه گیری کنید.

HPE دو معیار را دنبال می کند و به مشتریان توصیه می کند همین کار را انجام دهند. اولا، هزینه هر توسعه‌دهنده فعال را ردیابی می‌کند، زیرا میانگین‌گیری در همه مجوزها، قدرت مصرفی کاربران را پنهان می‌کند. دوم، هزینه هر درخواست کشش ادغام شده را ردیابی می کند، زیرا هزینه های هوش مصنوعی را به نرم افزار ارسالی متصل می کند.

قبل از تغییر زیرساخت، هر دو هزینه را پایه گذاری کنید. سپس یک چرخه توسعه کامل را بر روی ظرفیت متعلق به خود اجرا کنید. اگر هر دو معیار با افزایش استفاده بهبود نیافتند، مدل فعلی شما ممکن است انتخاب بهتری باشد.

ساخت برای پذیرش، نه جیره بندی

ظرفیت اختصاصی برای همه نیست. استفاده کم یا غیرقابل پیش‌بینی به نفع APIها است، بدون سرمایه‌گذاری در زیرساخت‌های بیکار. مالکیت زمانی نتیجه می دهد که تقاضای پایدار آن را مشغول نگه دارد. اکثر شرکت‌ها ترکیبی را اجرا می‌کنند: APIهای مرزی برای کارهای سخت یا متناوب، ظرفیت مالکیت برای حجم قابل تکرار. یک دروازه تحت کنترل تصمیم می‌گیرد چه چیزی از ساختمان خارج شود، بنابراین بدون اینکه از حاکمیت بر کد خود صرف نظر کنید، مدل‌های مرزی دریافت می‌کنید.

همانطور که توسعه دهندگان بیشتر به عوامل کدنویسی تکیه می کنند، استفاده همچنان افزایش می یابد. انتخاب واقعی این است که آیا این رشد به‌عنوان صورت‌حساب هزینه متغیر بزرگ‌تر نشان داده می‌شود یا به عنوان نرم‌افزار بیشتری که با ظرفیتی که دارید ارسال می‌شود. شرکت هایی که توسعه به کمک هوش مصنوعی را رهبری می کنند، پذیرش را برای کنترل هزینه ها سهمیه بندی نمی کنند. آنها یک مدل عملیاتی خواهند ساخت که در آن استفاده بیشتر از هوش مصنوعی به جای تضعیف آنها، اقتصاد را بهبود می بخشد.

برای کسب اطلاعات بیشتر در مورد HPE Private Cloud AI، لطفا از HPE دیدن کنید.

این محتوا توسط HPE تولید شده است. این توسط هیات تحریریه MIT Technology Review نوشته نشده است.