داشتن جدیدترین مدل هوش مصنوعی در واقع می تواند یک تصمیم تجاری بد باشد. در اینجا نحوه تشخیص اینکه چه زمانی ارتقاء ارزش آن را دارد آورده شده است.

Entrepreneur Media LLC و Yahoo Finance LLC ممکن است از طریق پیوندهای زیر در مورد برخی محصولات و خدمات کمیسیون یا درآمد کسب کنند.

پیاده‌سازی یک ابزار هوش مصنوعی جدید هر بار که یک به‌روزرسانی جزئی انجام می‌دهید، در واقع می‌تواند نتیجه بدتری داشته باشد، زیرا پس از تمام کارهایی که روی مدل جدید انجام می‌شود، ممکن است مشتری حتی بهبودی در قسمت خود مشاهده نکند.

یک مدل از نظر فنی بهتر به طور خودکار آن را به یک تصمیم تجاری بهتر تبدیل نمی کند.

بنیانگذاران اغلب تصور می کنند که هر بهبودی در دقت مدل هوش مصنوعی مستحق انتشار تولید است. اما زمانی که آزمایش، استقرار، نظارت و نیروی کار مهندسی در نظر گرفته می شود، استقرار یک مدل کمی بهتر در واقع می تواند نتیجه کسب و کار بدتری داشته باشد.

تصور کنید تیم هوش مصنوعی شما مدل جدیدی را آموزش داده است که 0.2 درصد بهتر از نسخه ای که در حال حاضر به مشتریان خدمات ارائه می دهد، عمل می کند. طبیعتا دانشمندان داده خشنود هستند و خط لوله خودکار نامزد را به عنوان برتر نشان می دهد و همه را به این تصور می رساند که باید فورا جایگزین مدل موجود شود. اما این زمانی است که کار تولید واقعی آغاز می شود.

قبل از اینکه مهندسان بتوانند آن را بسته بندی کنند، آن را در یک محیط آزمایشی مستقر کنند و رفتار آن را تأیید کنند، داوطلب باید تست های امنیتی و یکپارچه سازی دقیقی را پشت سر بگذارد. علاوه بر این، تیم ممکن است نیاز به اجرای یک رهاسازی سایه یا قناری، به روز رسانی قوانین نظارت، مستندسازی تغییرات و تهیه یک طرح بازگشت جامع داشته باشد. تا زمانی که این مدل جدید در نهایت به تولید برسد، شرکت به میزان قابل توجهی بیشتر از هزینه آموزش اولیه هزینه کرده است، با این حال مشتریان ممکن است هرگز متوجه بهبود آن نشوند.

این یکی از گران‌ترین سوء تفاهم‌ها در هوش مصنوعی کاربردی را برجسته می‌کند: یک مدل از نظر فنی بهتر به‌طور خودکار تصمیم کسب‌وکار بهتری نیست.

دقت عملکرد فنی را اندازه‌گیری می‌کند، در حالی که ارزش تجاری نشان می‌دهد که آیا این عملکرد واقعا نتیجه‌ای را که شرکت شما به آن اهمیت می‌دهد را بهبود می‌بخشد یا خیر.

دو سیستم هوش مصنوعی متفاوت را در نظر بگیرید. اولین مورد، تراکنش‌های مالی بالقوه جعلی را شناسایی می‌کند، جایی که افزایش اندک در فراخوان می‌تواند به شناسایی کلاهبرداری اضافی، جلوگیری از ضرر و محافظت از مشتریان کمک کند. در این سناریوی پرمخاطره، حتی کسری از یک درصد می تواند ارزش قابل توجهی ایجاد کند، زمانی که سیستم میلیون ها تراکنش را پردازش می کند.

برعکس، سیستم دومی را تصور کنید که بلیط های میز کمک داخلی را خلاصه می کند. یک پیشرفت مشابه در یک متریک آفلاین در اینجا ممکن است از نظر آماری معتبر باشد، اما عملا در عملیات روزانه نامرئی باقی می‌ماند. کارمندان احتمالا کار خود را سریعتر به پایان نخواهند برد، به این معنی که شرکت شاهد کاهش هزینه های پشتیبانی نخواهد بود. اگرچه پیشرفت های فنی در هر دو سناریو مشابه است، اما ارزش اقتصادی بسیار متفاوت است.

قبل از تأیید یک مدل جدید، باید مشخص کنید که یک واحد بهبود واقعا ارزش دارد. این مقدار ممکن است به صورت زیر بیان شود:

اگر تیم شما نتواند دقت بهبود یافته مدل را به یکی از این نتایج ملموس مرتبط کند، شرکت هنوز اطلاعات کافی برای توجیه انتشار ندارد.

بسیاری از شرکت‌ها هزینه به‌روزرسانی هوش مصنوعی را صرفا با نگاه کردن به محاسبات آموزشی اشتباه محاسبه می‌کنند، که مانند تخمین هزینه افتتاح یک رستوران با شمارش فقط قیمت فر است. آموزش تنها بخش کوچکی از یک سیستم بسیار بزرگتر است.

همانطور که در تحقیق گوگل در مورد بدهی فنی پنهان در سیستم های یادگیری ماشین مشخص شد، کد مدل تنها کسری از یک سیستم هوش مصنوعی تولیدی است. وابستگی داده ها، آزمایش، نظارت و زیرساخت های پشتیبانی، پیچیدگی درازمدت قابل توجهی ایجاد می کند. علاوه بر این، چارچوب امتیاز تست ML گوگل نشان می‌دهد که آمادگی تولید به مراتب بیشتر از امتیاز کیفیت آفلاین مدل بستگی دارد.

این تمایز بسیار مهم است زیرا یک خط لوله آموزشی خودکار می تواند آزمایش را به طور مصنوعی ارزان به نظر برساند. کار واقعا پرهزینه اغلب فقط پس از آموزش آغاز می شود، درست زمانی که یک نامزد وارد فرآیند تولید-انتشار می شود.

در تحقیق بررسی شده IEEE Access در مورد امتیاز کارایی بازآموزی، یک سوال بسیار مرتبط را مطالعه کردم: چه زمانی یک سازمان باید به جای حفظ مدل موجود خود، یک مدل پیش بینی تازه آموزش دیده را ترویج کند؟

پس از ارزیابی 2320 اجرای کنترل شده در چهار مجموعه داده سری زمانی عمومی و چهار معماری پیش‌بینی، نتایج واضح بود: سازمان‌ها مجبور نیستند بین انتشار مداوم مدل‌های جدید و دست نخورده ماندن مدل قدیمی برای مدت نامحدود یکی را انتخاب کنند. درعوض، یک خط مشی ارتقای انتخابی به شما این امکان را می دهد که مدل فعلی را زمانی که بهبود مورد انتظار خیلی کم است حفظ کنید و تنها زمانی که مزایا هزینه های عملیاتی را توجیه می کند، مدل جدید را تأیید کنید.

بنیان‌گذاران می‌توانند این اصل را بدون پیاده‌سازی یک چارچوب ریاضی پیچیده، با الزام تیم خود به پاسخ دادن به چهار سؤال مهم قبل از انتشار هر مدلی، اعمال کنند:

1. آیا این مدل یک نتیجه مرتبط با کسب و کار را بهبود بخشید؟ "نمره افزایش یافته" را به عنوان پاسخ کامل قبول نکنید. بخواهید بدانید کدام معیار بهبود یافته است، چرا این معیار اهمیت دارد و آیا مستقیما با یک مشتری یا نتیجه عملیاتی مرتبط است یا خیر. بهبود در معیار آزمایشگاهی اغلب به یک مزیت تولید در دنیای واقعی تبدیل نمی شود.

2. آیا مشتریان یا عملیات متوجه تفاوت خواهند شد؟ یک تغییر فنی قابل اندازه گیری هنوز هم می تواند از نظر تجاری بی ربط باشد. تخمین بزنید که این تغییر بر تعداد تصمیمات، کاربران یا تراکنش‌ها تأثیر می‌گذارد و سپس محاسبه کنید که آیا درآمد، ریسک، هزینه، سرعت یا تجربه کلی مشتری را بهبود می‌بخشد یا خیر.

3. هزینه کامل انتشار آن چقدر است؟ این باید شامل آموزش، آزمایش، بررسی امنیتی، استقرار، نظارت و کار مهندسی باشد. مهمتر از همه، شما باید هزینه فرصت را نیز در نظر بگیرید. هر ساعت صرف شده برای انتشار یک مدل بسیار بهتر، ساعتی است که نمی توان از آن برای بهبود محصول اصلی، تعمیر مشکل قابلیت اطمینان یا ساخت یک ویژگی بسیار درخواستی استفاده کرد.

4. آیا بهبود هزینه و ریسک اضافی را توجیه می کند؟ ارزش مورد انتظار بهبود را با هزینه انتشار کامل مقایسه کنید. یک شرکت تنها زمانی باید نامزد را ارتقا دهد که پاسخ مثبت باشد. اگر پرونده تجاری نامشخص باشد، انتخاب منظم حفظ مدل فعلی، جمع آوری شواهد بیشتر و ارزیابی مجدد بعدا است.

از آنجایی که تیم‌های هوش مصنوعی اغلب برای عرضه مدل‌های جدید پاداش دریافت می‌کنند، حفظ مدل موجود می‌تواند به اشتباه به عنوان رکود به نظر برسد. در واقع، حفظ مدلی که قبلا انتظارات مشتری را برآورده می کند، هزینه های قابل پیش بینی دارد و دارای مشخصات ریسک شناخته شده است، اغلب انتخاب مهندسی هوشمندانه تر است.

یک مدل جدید، با وجود امتیاز آفلاین برتر، عدم قطعیت را معرفی می کند. ممکن است در ورودی های غیرمعمول شکست بخورد، سیستم های پایین دستی را مختل کند یا خطاهای جدیدی ایجاد کند. این بدان معناست که توسعه مدل و ارتقای مدل باید به عنوان تصمیمات کاملا جداگانه در نظر گرفته شوند. تیم شما باید به آزمایش و آموزش نامزدها ادامه دهد بدون اینکه احساس کند هر "برنده" را به سمت تولید سوق می دهد.

بنیانگذاران نظم و انضباط مالی سختگیرانه ای را برای استخدام و توسعه محصول اعمال می کنند. انتشارات هوش مصنوعی مستحق همان بررسی دقیق هستند. از آنجایی که هر مدل جدید سرمایه، توجه عملیاتی و پهنای باند مهندسی مصرف می کند، باید بازدهی ملموسی را ارائه دهد.

برای اجرای این امر، به یک رکورد ساده برای هر نسخه پیشنهادی نیاز دارید که جزئیات بهبود فنی، ارزش تجاری مورد انتظار آن، هزینه‌های کامل استقرار و هرگونه خطر جدید را شرح دهد. با گذشت زمان، این مستندات نشان می‌دهد که کدام ارتقاء در مقابل آنهایی که صرفا داشبوردهای داخلی را بهتر جلوه می‌دهند، ارزش واقعی ایجاد می‌کنند.

در نهایت، هدف سرکوب نوآوری نیست، بلکه هدایت آن به سمت نتایجی است که مشتریان و کسب و کار شما واقعا احساس می کنند. دفعه بعد که تیم هوش مصنوعی شما مدل دقیق تری ارائه کرد، به سادگی نپرسید که آیا بهتر است یا خیر. بپرسید که آیا به اندازه کافی بهتر است یا خیر.

اجازه ندهید یک اعلامیه مهم راه اندازی، نقطه عطف یا بودجه در میان سر و صدا مدفون شود. با Entrepreneur Wire آن را در مقابل کارآفرینان، تصمیم گیرندگان تجاری و سرمایه گذاران قرار دهید. امروز بیانیه مطبوعاتی خود را در entrepreneur.com منتشر کنید.