چه اتفاقی می افتد اگر یک عامل AI سرکش به خرج دادن بپردازد؟ مسترکارت در حال آماده شدن برای این ریسک است
همانطور که عوامل هوش مصنوعی به قدرت خرج می‌رسند، رهبران کسب‌وکار با این سوال پرهزینه مواجه می‌شوند که وقتی سرکش می‌شوند چه کسی پول می‌پردازد.
عوامل هوش مصنوعی در حال حاضر از دستورالعمل ها سرپیچی می کنند و اقداماتی را انجام می دهند که سازندگان آنها هرگز قصد نداشته اند. اکنون که این فناوری توانایی خرج کردن پول را به دست می‌آورد، مستر کارت با یک سوال مبرم روبرو شده است. چگونه نرم افزار مستقل را تحت کنترل نگه دارید؟
خطرات به طور فزاینده ای ملموس هستند. در ماه جولای، یک عامل آزمایشی OpenAI از محیط آزمایشی خود فرار کرد و به سیستم‌های متعلق به پلتفرم هوش مصنوعی Hugging Face دسترسی پیدا کرد. اخیرا، آنتروپیک فاش کرد که مدل‌های کلود آن از آسیب‌پذیری‌های وب‌سایت سوء استفاده کرده و در حین آزمایش، یک نکته قتل نادرست را به پلیس فیلادلفیا ارسال کرده است.
برای رئیس و مدیر ارشد فناوری Mastercard، Ed McLaughlin، این نگرانی‌ها به ویژه مرتبط است زیرا غول پرداخت برای آینده‌ای آماده می‌شود که در آن عوامل هوش مصنوعی می‌توانند به طور مستقل خرید کرده و با ماشین‌های دیگر معامله کنند.
مک لافلین در مصاحبه ای با Fortune Next to Lead گفت: «احتمالا این چیزی است که من بیشتر از همه برای آن هیجان زده هستم.
مصرف کنندگان می توانند به یک دستیار هوش مصنوعی دستور دهند که قیمت بلیط را نظارت کند و به طور خودکار صندلی را در یک بودجه تعیین شده خریداری کند. فناوری Agent Pay Mastercard برای تسهیل این تراکنش ها طراحی شده است، در حالی که Agent Pay for Machines به سیستم های مستقل اجازه می دهد تا با یکدیگر در پارامترهای تعریف شده معامله کنند.
اما دادن اختیار به عوامل هوش مصنوعی برای خرج کردن پول نیز به معنای دادن قدرت به آنها برای انجام اشتباهات پرهزینه است. یک نماینده می تواند در حالی که در بودجه مجاز خود باقی می ماند، یک پرواز غیرقابل استرداد برای تاریخ اشتباه رزرو کند.
این موضوع سوال سخت تری را برای مسترکارت و صنعت مالی گسترده تر ایجاد می کند. وقتی یک عامل هوش مصنوعی از قوانین پیروی می کند اما تصمیم اشتباه می گیرد چه کسی مسئول است؟
این چالش منعکس کننده معضلی است که رهبران کسب و کار امروز با آن روبرو هستند زیرا عوامل هوش مصنوعی از کمک به کارمندان و مصرف کنندگان به تصمیم گیری از طرف آنها می روند.
شرکت‌ها تا چه اندازه باید به این سیستم‌ها استقلال بدهند و قبل از اقدام، چه تدابیری لازم است؟
مک لافلین می‌گوید نکته کلیدی این است که بدانید کدام عامل هوش مصنوعی در حال خرید است، چه کسی اجازه خرید آن را داده است و چه چیزی مجاز به خرید است. او گفت: «بخشی از آن بازگرداندن انسان ها به حلقه است. بنابراین حتی اگر مامور سرکشی کند و سعی کند کاری انجام دهد، می توانید نه بگویید.
اینکه آیا این پادمان ها مصرف کنندگان را متقاعد خواهند کرد تا قدرت خرید خود را واگذار کنند، باید دید. با این حال، مک لافلین انتظار دارد تجارت نمایندگی از مسیر خرید آنلاین و پرداخت‌های موبایلی پیروی کند، که در ابتدا با شک و تردید روبرو شد، زیرا مصرف‌کنندگان راحتی خود را از نزدیک تجربه کردند.
از آنجایی که شرکت‌ها به عوامل هوش مصنوعی اختیارات بیشتری می‌دهند، مدیران با مسئولیت جدیدی روبرو می‌شوند: رهبران باید تصمیم بگیرند که آن سیستم‌ها چه کاری می‌توانند انجام دهند، چه زمانی انسان‌ها باید مداخله کنند، و چه کسی وقتی مشکلی پیش می‌آید پاسخ دهد.
مک لافلین می گوید که در Mastercard، که شبکه آن 3.7 میلیارد حساب در سراسر جهان را در بر می گیرد، این کنترل ها برای حرکت سریع ضروری هستند. فلسفه راهنمای او انحراف مشخصی از شعار دیرینه سیلیکون ولی است: «سریع حرکت کنید و چیزها را نشکنید».
روث اومو ruth.umoh@fortune.com
این داستان در ابتدا در سایت Fortune.com منتشر شد
متن اصلی (انگلیسی)
What happens if a rogue AI agent goes on a spending spree? Mastercard is preparing for that risk
As AI agents gain spending power, business leaders face a costly question of who pays when they go rogue.