ریسک بعدی هوش مصنوعی خدمات مالی جریان کاری است که کسی نمی تواند توضیح دهد

خدمات مالی از هوش مصنوعی که به پرسش‌ها پاسخ می‌دهد به هوش مصنوعی که اقدام می‌کند در حال حرکت است – و این تغییر معنای مسئولیت‌پذیری را تغییر می‌دهد. برنامه پذیرش خدمات مالی دولت از این بخش می‌خواهد که از پایلوت‌های منزوی فراتر رفته و هوش مصنوعی را در سراسر فرآیندهای اصلی توسعه دهد.

عوامل هوش مصنوعی می توانند نحوه عملکرد خدمات مالی را تغییر دهند، از بررسی هشدارهای تقلب گرفته تا رسیدگی به ادعاها و حمایت از تیم های انطباق. اما همانطور که هوش مصنوعی از تولید پاسخ به اقدامات اجرایی می‌رود، شرکت‌ها نه تنها باید بدانند که چگونه به یک تصمیم رسیده‌اند، بلکه بدانند که بعدا چه اتفاقی می‌افتد.

به قول نیکیل راثی، مدیر اجرایی اداره رفتار مالی (FCA) برای «هماهنگی و انجام معاملات»، توضیح‌پذیری یک سؤال اصلی برای هوش مصنوعی در خدمات مالی است و با شروع هوش مصنوعی پیچیده‌تر می‌شود.

بنابراین، قابلیت توضیح مدل تنها نیمی از تصویر است. شرکت‌ها همچنین به مسئولیت‌پذیری عملیاتی در سراسر گردش کار نیاز دارند، با سازمان‌دهی کسب‌وکار عامل به ارائه دید به سیستم‌هایی که یک نماینده به آنها دسترسی پیدا می‌کند، اقداماتی که انجام می‌دهد، جایی که قضاوت انسانی مداخله می‌کند. این دید همان چیزی است که به عوامل، افراد و سیستم های موجود اجازه می دهد تا تحت قوانین تعریف شده با هم کار کنند.

جعبه سیاه هوش مصنوعی در حال حرکت به جریان کار است

این یک نگرانی زنده است. 48 درصد از مدیران خدمات مالی بریتانیا می گویند که شرکت های آنها از هوش مصنوعی عاملی استفاده می کنند، با این حال، بیش از یک چهارم گزارش می دهند که هیچ کنترلی یا محدودی برای اطمینان از رعایت قوانین و مقررات ندارند.

این شکاف مهم است زیرا کارگزاران چالش حاکمیتی پیچیده‌تری را ایجاد می‌کنند. آنها می توانند بین سیستم ها حرکت کنند، اطلاعات را تفسیر کنند، ابزارها را انتخاب کنند و تعیین کنند که چه اتفاقی می افتد.

نتیجه می‌تواند یک جریان سفر جعبه سیاه باشد که در آن تصمیم‌گیری در بین ابزارها و سیستم‌های متعدد توزیع می‌شود تا قابل ردیابی برای مالکان پاک باشد.

ادعای بیمه بگیرید یک نماینده ممکن است شواهدی را جمع‌آوری کند، آن‌ها را با یک خط‌مشی مقایسه کند و ادعا را برای بررسی دقیق‌تر هدایت کند. دیگری می‌تواند با مشتری تماس بگیرد یا کسر پرداخت را توصیه کند.

اما تصمیم نهایی کجا گرفته شد؟ اگر سازمان به چالش کشیده شود، سازمان برای بازسازی سفر به دید نیاز دارد.

یک خطای کوچک توسط یک عامل هوش مصنوعی می تواند تکرار و تقویت شود. خطر واقعی خود توهم نیست، بلکه چیزی است که آن را به حرکت در می آورد. یک جزییات نادرست می‌تواند باعث ایجاد محدودیت حساب، ارتباط با مشتری یا گزارش نظارتی شود قبل از اینکه کسی متوجه اشتباه شود.

این منطق منعکس کننده قوانین انعطاف پذیری عملیاتی FCA است که از شرکت ها انتظار دارد خدمات مهم تجاری را ترسیم کنند، آسیب پذیری ها را شناسایی کنند و بفهمند که چگونه اختلال می تواند از طریق آنها عبور کند. هوش مصنوعی عاملی نیاز به دید یکسان در نحوه حرکت شکست ها در یک سفر خودکار دارد.

مسئولیت پذیری نمی تواند در مدل هوش مصنوعی متوقف شود

از آنجایی که هوش مصنوعی در سیستم های بیشتری عمل می کند، مسئولیت پذیری باید به جای توقف در مدل، کار را دنبال کند.

در ماه ژانویه، کمیته خزانه داری هشدار داد که رویکرد "انتظار و دید" بریتانیا برای تنظیم هوش مصنوعی در خدمات مالی می تواند مصرف کنندگان و سیستم گسترده تر را در معرض آسیب جدی قرار دهد. همچنین خواستار راهنمایی واضح تر در مورد حمایت از مصرف کننده و مسئولیت های مدیران ارشد شد.

شرکت‌ها به کنترل‌هایی نیاز دارند که در سطح و سرعت فرآیند، با مالکیت واضح و سوابق قابل حسابرسی از تصمیم‌ها و اقدامات انجام‌شده، کار کنند.

چالش این است که هیچ تیمی ممکن است دید کاملی از یک فرآیند نمایندگی داشته باشد. انطباق ممکن است خط‌مشی را درک کند، فناوری مدل را تیم‌بندی کند، سفر مشتری را عملیاتی کند و بخشی از زیرساخت ارائه‌دهنده شخص ثالث را درک کند. یک عامل می تواند در عرض چند ثانیه در هر چهار مورد حرکت کند. این چهره سازمانی چیزی است که به طور فزاینده‌ای به آن گسترش نمایندگی می‌گویند – عواملی که در سیستم‌ها سریع‌تر از هر تیمی تکثیر می‌شوند که آنها را ردیابی کند.

بنابراین یک مدیر ارشد می تواند مسئول یک نتیجه باشد در حالی که فاقد شواهد مورد نیاز برای درک چگونگی وقوع آن است.

حضور انسان در حلقه با نظارت معنادار یکسان نیست

«Human-in-the-Loop» اغلب به‌عنوان خلاصه‌نویسی برای هوش مصنوعی مسئول استفاده می‌شود – قرار دادن یک فرد در مرحله‌ای از فرآیند برای بررسی یا تأیید تصمیم‌های ایجادشده توسط هوش مصنوعی.

اما نظارت معنی‌دار بستگی به این دارد که آن بازبین چه چیزی را ببیند و آیا می‌تواند مداخله کند. کارمندی که توصیه یک نماینده را دریافت می‌کند ممکن است نداند به کدام سیستم‌ها دسترسی داشته است، آیا اطلاعات کامل بوده یا چه اقداماتی قبلا انجام شده است. یک توصیه با ظاهر معتبر می تواند به سرعت به یک مهر لاستیکی تبدیل شود.

کنترل ها باید پیامد عمل را منعکس کنند. کار اداری کم خطر ممکن است فقط نیاز به نظارت داشته باشد. محدود کردن حساب بانکی، رد ادعای بیمه یا تشدید ادعای کلاهبرداری باید آستانه بسیار بالاتری را برای نظارت انسانی طلب کند.

بازبین به شواهد پشت توصیه، سابقه مراحل قبلی و توانایی به چالش کشیدن یا معکوس کردن اقدام نیاز دارد. هدف قرار دادن یک کلیک انسانی در مقابل هر کاری نیست، بلکه هدف قرار دادن قضاوت انسان در جایی است که بیشترین عواقب را دارد. کارگزاران می‌توانند استدلال کنند و روبات‌ها می‌توانند عمل کنند، اما فقط مردم می‌توانند رهبری کنند – و رهبری نیاز به دید دارد، نه فقط وتو.

سفر را حسابرسی کنید، نه فقط نتیجه را

سوابق حسابرسی سنتی اغلب آنچه را که در یک فرآیند انجام می شود و تصمیم نهایی که صادر می شود را نشان می دهد. گردش کار عامل نیاز به ثبت همه چیز در این بین دارد.

شرکت ها باید بدانند که کدام عامل عمل کرده است، چه اطلاعاتی را بازیابی کرده است، از چه سیستم ها و ابزارهایی استفاده کرده است، چه قوانینی اعمال می شود و در کجا یک شخص یک عمل را بررسی کرده یا از آن خارج کرده است. ارکستراسیون می تواند آن تعاملات را به یک رکورد ثابت تبدیل کند، بنابراین اقدامات در سراسر گردش کار را می توان نظارت کرد، محدود کرد و در صورت لزوم متوقف کرد.

این دید باید در سراسر اشخاص ثالث گسترش یابد. در جایی که یک سرویس خارجی از گردش کار پشتیبانی می‌کند، شرکت تحت نظارت هنوز به اطلاعات کافی برای بررسی یک نتیجه و نشان دادن عملکرد کنترل‌هایش طبق برنامه نیاز دارد.

کنترل قبل از خودمختاری

هوش مصنوعی عاملی می تواند کارهای تکراری را حذف کند و به کارمندان کمک کند روی مواردی که نیاز به قضاوت انسانی دارند تمرکز کنند. مقیاس بندی این ارزش بستگی به این دارد که شرکت ها بتوانند آنچه را که نمایندگانشان انجام می دهند ببینند و بر آن نظارت داشته باشند. این تعادل گاهی اوقات به عنوان آژانس کنترل شده توصیف می شود - استقلالی که واقعی است، اما محدود به دید و محدودیت های واضح است.

هر گردش کار نتیجه ای نیاز به مالکیت روشن، مجوزهای تعریف شده و یک مسیر حسابرسی دارد. شرکت ها همچنین به توانایی مداخله در زمانی که رفتار خارج از محدوده های تایید شده حرکت می کند، نیاز دارند.

همانطور که خدمات مالی از هوش مصنوعی که توصیه می کند به هوش مصنوعی عمل می کند، حرکت می کند، قوی ترین سیستم ها آنهایی خواهند بود که اقدامات آنها قابل ردیابی، به چالش کشیدن و توقف هستند. این همان چیزی است که به شرکت‌ها اجازه می‌دهد بدون از دست دادن مسئولیت‌پذیری، استقلال خود را افزایش دهند - و هوش مصنوعی عاملی را با اطمینان مقیاس کنند.

ما بهترین ابزار هوش مصنوعی را معرفی کرده ایم.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit