موفقیت هوش مصنوعی به نتایج کسب و کار بستگی دارد، نه به معیارهای بیهودگی استفاده
اندازه گیری پذیرش و استفاده از نشانه های هوش مصنوعی را متوقف کنید. شروع به اندازه گیری اینکه آیا هوش مصنوعی واقعا نتایج کسب و کار را بهبود می بخشد یا خیر.
تیم NASCAR را تصور کنید که در آن رهبری تصمیم میگیرد برنده خودرویی باشد که بیشترین سوخت را میسوزاند. رئیس خدمه هر موتوری را به گونه ای تنظیم می کند که ثروتمند و بیهوده کار کند. رانندگان یکباره سوار گاز و ترمز می شوند. تله متری رکورد مصرف سوخت را نشان می دهد. ماشین آخرش مرده تمام می شود.
امسال برای مدت طولانی، معیارهای مصرف بیهوده برنامه های اندازه گیری هوش مصنوعی را هدایت کردند. شرکتها در جدول امتیازات داخلی و رتبهبندی کارمندان بر اساس تعداد توکنهایی که سوزاندهاند، ایستادند. یکی از کارمندان متا یکی را ساخت، تاج "افسانه های نمادین" را به خود اختصاص داد، سپس پس از افشای اعداد خارجی، بی سر و صدا آن را گرفت. تا بهار این روند نامی داشت: tokenmaxxing.
با شروع تابستان، واکنشهای اجتنابناپذیری از راه رسید، و شرکتهایی مانند اوبر اذعان کردند که تمام بودجه هوش مصنوعی سال خود را در عرض چند ماه خرج کردهاند.
اخیرا، چرخش اجتناب ناپذیر به سمت استفاده از حداقل تعداد توکن های هوش مصنوعی (tokenminning) به همین مشکل منجر می شود. اگر رهبری برنده شدن را با استفاده از کمترین سوخت تعریف کند، ماشین برنده هرگز خط شروع را ترک نخواهد کرد.
سوزاندن یا ذخیره توکن ها هرگز نباید هدف نهایی باشد. هدف، ارسال محصولات بیشتر، با کیفیت بالاتر، با افراد مشابه یا کمتر است. وظیفه یک رهبر این است که استراتژیک ترین مسیر را به سمت خط پایان تعریف کند و بر اساس آن تعریف، معیارهایی بسازد که از آن پشتیبانی می کند.
چرا تابلوهای امتیازات امتیاز را از دست می دهند
متریک غرور به هر عددی گفته می شود که در اسلاید، تابلوی امتیازات یا داشبورد عالی به نظر می رسد اما نحوه اداره کسب و کار شما را تغییر نمی دهد. در فضای هوش مصنوعی، حتی معیارهای بسیار فنی و پیچیده نیز می توانند به معیارهای غرور تبدیل شوند.
اینها چند موردی هستند که اخیرا دیدهام، هر کدام روش متفاوتی برای نشان دادن نرخهای استفاده از پردازندههای گرافیکی شلوغ به نظر میرسند که در مورد اینکه چقدر محاسبات خام احتکار کردهاید، بدون توجه به حل مشکلات واقعی، به خود میبالند. ویژگیهای هوش مصنوعی در هر سه ماهه ارسال میشوند، جایی که رهبری یک خلاصهنویس متنی با شکلکهای درخشان را روی هر محصول قدیمی میزند تا یادداشتهای انتشار را تکمیل کند.
معیارهایی مانند این ممکن است سخت به نظر برسند، اما از خود کار نهایی جدا هستند. زمانی که رهبران معیارها را با اهداف نهایی مرتبط نمیکنند، مهندسان ممکن است به سمت نزدیکترین مورد قابل شمارش بجنگند.
نقشه مسابقه گم شده
کار تکمیل شده تنها در صورتی مهم است که کار درستی باشد. هنگامی که رهبری از "پذیرش 95%" GitHub Copilot به دلیل استقرار مجوزها جشن می گیرند، می توانند دسترسی سطحی را با تعامل عمیق اشتباه بگیرند. آنها تصور می کنند بهره وری سر به فلک کشیده است. آنها اندازه گیری می کنند که چه کسی این ابزار را پذیرفته است، نه اینکه چه کسی به طور موثر از آن برای بهبود نتایج استفاده می کند.
توسعهدهندگان ممکن است کد بیشتری را سریعتر تولید کنند، اما اگر ابزار عمیقا در یک فرآیند تصفیهشده ادغام نشود، اندازههای روابط عمومی افزایش مییابد و گلوگاه به سادگی به بررسی کدهای انسانی تغییر میکند. زمان چرخه راکد می ماند، یا بدتر از آن، نرخ حشرات افزایش می یابد زیرا انسان ها توهمات هوش مصنوعی را نشان می دهند.
قطع ارتباط را ببندید: عمق استفاده را مستقیما با نتایج و اهداف تجاری مرتبط کنید. اگر 95% "پذیرش" دارید اما زمان چرخه شما 30٪ کاهش نیافته یا دوباره کاری شما کاهش نیافته است، استفاده زیادی ندارید. شما فقط یک توزیع نرم افزار جدید گران قیمت دارید.
نحوه تنظیم خط پایان
یک عدد به ندرت داستانی را بیان می کند. اگر بتوانم دو برابر کد تولید کنم اما ارسال آن دو برابر بیشتر طول می کشد، کارایی به دست نیاورده ام. من کارهای بیشتری خلق کرده ام. سوال درست این نیست که چقدر از هوش مصنوعی استفاده می کنید - این سوال این است که آیا کار واقعا بهتر می شود یا خیر.
برای تیمهای مهندسی با جریانهای کاری تثبیتشدهتر، با نتیجهای که میخواهید حرکت کنید، شروع کنید، سپس از چارچوبی مانند DORA یا SPACE استفاده کنید تا بررسی کنید که آیا به آنجا رسیدهاید یا خیر. چارچوب ابزار است نه هدف. DORA سلامت خط لوله تحویل شما را ردیابی میکند - چند وقت یکبار استقرار میکنید، تغییرات چقدر طول میکشد، چقدر سریع از خرابیها بهبود مییابید، تغییرات چقدر باعث بروز حوادث میشوند.
SPACE تصویر کامل بهرهوری توسعهدهنده را در پنج بعد، از جمله نتایج و رضایت، ردیابی میکند. هیچکدام برای هوش مصنوعی طراحی نشدهاند، دقیقا به همین دلیل است که مفید هستند: آنها به شما کمک میکنند اندازهگیری کنید که آیا هوش مصنوعی کار را بهتر کرده است، نه اینکه آیا هوش مصنوعی استفاده شده است یا خیر.
یکی از این چارچوبها را با استفاده از ابزار هوش مصنوعی و نتایج کسبوکارتان مانند زمان چرخه، نرخ کار مجدد، هزینه هر تغییر جفت کنید. افزایش 25 درصدی در پذیرش هوش مصنوعی که با کاهش ثبات تحویل مرتبط است، یک برد نیست. گزارش DORA در سال 2025 نشان داد که این دقیقا همان چیزی است که بسیاری از تیمها هنگام استقرار هوش مصنوعی در سیستمهای آماده نشده به آن دست یافتند. ابزارها چیزی را که از قبل وجود داشت تقویت کردند. پایه های مهندسی خوب بهتر شدند، پایه های شکننده شکننده تر شدند.
برای نقش های خارج از مهندسی - بازاریابی، مالی، عملیات - بر اساس اصول اولیه. با یک نتیجه شروع کنید که در حال حاضر سعی در حرکت آن دارید: زمان پاسخ، تبدیل خط لوله، دقت پیشبینی. قبل از ورود هوش مصنوعی به جریان کار، خط پایان را ایجاد کنید. پس از آن همان نتیجه را اندازه گیری کنید. اگر حرکت کرد، متوجه شوید که آیا هوش مصنوعی باعث آن شده و آیا می توانید آن را تکرار کنید. اگر اینطور نبود، شما هم چیزی یاد گرفته اید. تیم پشتیبانی را تصور کنید که می خواهد زمان اولین پاسخ را کاهش دهد.
آنها آن را در 9 ساعت پایه گذاری می کنند، سپس به نمایندگان اجازه می دهند تا با دستیار هوش مصنوعی پاسخ ها را تهیه کنند. دو ماه بعد، زمان پاسخگویی به سه ساعت کاهش مییابد، و نرخ بازگشایی کاهش نیافته است - بنابراین سرعت برای کیفیت آنها هزینه ندارد. این نتیجه ای است که آنها می توانند نام ببرند، اندازه گیری کنند و تکرار کنند. هرگز به تابلوی امتیازات نیاز نداشت.
حفظ خط پایان در چشم
هدف یک متریک مدیریت به سمت یک نتیجه است. اگر بیشتر روی متریک کار می کنید تا روی نتیجه، وارونه هستید. شما به مخزن بنزین نگاه می کنید، نه خط پایان. بنابراین قبل از اینکه معیار بعدی هوش مصنوعی خود را مطرح کنید، یک سوال بپرسید: اگر این عدد انجام شود، چه نتیجه ای تغییر می کند؟ اگر نمیتوانید آن را نام ببرید، پیشرفت را اندازهگیری نمیکنید - شما در حال تماشای نشانگر سوخت هستید. ابتدا خط پایان را تعریف کنید. همه چیز دیگر فقط تله متری است.
ما بهترین سازنده وب سایت هوش مصنوعی را معرفی کرده ایم.
این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.
نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit
متن اصلی (انگلیسی)
AI success depends on business outcomes, not usage vanity metrics
Stop measuring AI adoption and token usage; start measuring whether AI actually improves business outcomes.