مدیر عامل EqualAI: دستیار هوش مصنوعی شما به نام شما عمل می کند. چه کسی امضا کرد؟

به گزارش TechCrunch، تابستان امسال، سرمایه‌گذار کیتی جاکوبز استانتون گفت که دستیار هوش مصنوعی او، Instinct، بدون مشورت با او ایمیلی را از طرف او ارسال کرد. او ایمیل را بی خطر توصیف کرد. نقض امانت نبود.

دفعه بعد، ممکن است ایمیلی باشد که برای کسی هزینه شغل، ازدواج یا دعوای حقوقی دارد.

جذابیت عوامل هوش مصنوعی شخصی قانع کننده است. دستیاری که می تواند ایمیل های اولویت دار و پیش نویس پاسخ ها را شناسایی کند، تولد مادرشوهرتان را به یاد بیاورد و براساس مکاتبات شما هدیه ای بخرد، فریبنده است. برای افرادی که با تقاضای شغل، مراقبت یا معلولیت مواجه هستند، این کمک می تواند تحول آفرین باشد. اما تجربه استانتون سؤال مهمی را مطرح می‌کند: وقتی به دستیار اجازه دسترسی به زندگی خود را می‌دهیم، چگونه کنترل خود را حفظ می‌کنیم؟ دستیارانی مانند Instinct و Meta’s Muse به جای اینکه صرفا به سؤالات پاسخ دهند یا توصیه کنند، برای ما عمل می کنند.

خرید اشتباه ممکن است قابل استرداد باشد. افشای صمیمی را نمی توان پس گرفت.

آسیب ها در حال ظهور هستند. فوربس گزارش داد که وقتی سرمایه‌گذار Jason Yeh از Instinct درخواست کرد تا رزروهای باز برای شام را پیدا کند، در عوض یک میز رزرو کرد و 200 دلار هزینه کنسلی برای او باقی گذاشت که او هرگز تایید نکرد. TechCrunch گزارش داد که یک آزمایش‌کننده نتوانست داده‌هایش را حذف کند و دیگری چند ساعت پس از قطع ارتباط حساب خود خلاصه‌ای از صندوق ورودی دریافت کرد. و در ماه سپتامبر، محقق امنیتی پاتریک واردل، نقصی را در برنامه Mac Muse افشا کرد که می‌توانست به بدافزارهای موجود در رایانه اجازه دهد دستیار را ربودند، که متا به سرعت آن را اصلاح کرد.

مشکل اکنون به حساب های بانکی ما نیز می رسد. هفته گذشته، موسسات مالی بزرگ گزارش دادند که عوامل هوش مصنوعی شخصی در داخل حساب های آنلاین فعالیت می کنند. در یک مورد، یک نماینده بدون مجوز برای طرح شکایت با یک بانک تماس گرفت. جیمی دیمون، مدیر عامل جی‌پی مورگان چیس، گفت که بانک اجازه نمی‌دهد «نمایندگان خارجی» بازرسی نشده وارد شرکت شوند، و مدیرعامل شواب گفت که آنها فعالانه نمایندگان غیرمجاز را مسدود می‌کنند. دیوید ساکس، مشاور کاخ سفید در واکنش به این موضوع گفت که داده‌ها از روی میل به اشتراک گذاشته شده است و این «به هیچ وجه حمله سایبری نیست». هر طرف یک نقطه دارد که دقیقا مشکل است.

ما هنوز به این موضوع نرسیده‌ایم که وقتی طرف اقدام نرم‌افزاری است، مجوز به چه معناست.

مشاهده شکست ها نیز سخت است. یک رکورد عمومی که این هفته توسط شرکت امنیتی منیفولد راه اندازی شد، 59 مورد را از جولای 2025 به ثبت رساند که چهل و دو مورد از آنها تنها در چهار ماه گذشته فاش شده است. فاش شدن میانگین این حادثه 70 روز طول کشید و تنها 11 مورد از 59 مورد توسط یک کنترل امنیتی شناسایی شد.

در EqualAI، مدت‌هاست که گفته‌ایم که حکمرانی خوب هوش مصنوعی تجارت خوبی است، زیرا اعتماد در نهایت تعیین می‌کند که آیا مردم اصلا این ابزارها را به کار می‌گیرند یا خیر. ما اخیرا مدیران ارشدی را دعوت کردیم که عواملی را برای کار در یک بحران شبیه‌سازی شده توسعه و مستقر می‌کنند. این تمرین بارها و بارها همان شکاف ها را آشکار کرد. در شرکت ساختگی ما، بدون نظارت کافی هوش مصنوعی، مسیرهای حسابرسی برای بازسازی کاری که یک نماینده انجام داده بود، بسیار نازک بود. قراردادهای فروشنده در مورد اینکه چه کسی در زمان اشتباه یک نماینده پاسخ می دهد، ساکت بود. مسئولیت نظارت به جای واگذاری به عهده گرفته شد.

این شکاف ها در جاهایی که سرعت از اقدامات احتیاطی پیشی گرفته بود بسیار حاد بود. این شکاف ها نقشه راهی را که از تمرین بیرون آمد شکل داد.

چشم انداز حقوقی نیز در همین راستا حرکت می کند. قانون کالیفرنیا اکنون با این استدلال که هوش مصنوعی مستقل عمل کرده است، از اجتناب از مسئولیت مدنی شرکت ها جلوگیری می کند. سناتور هاولی و مورفی پیشنهاد کردند قانون فدرال ضد هک را به توسعه دهندگان و اپراتورهایی که عوامل آنها بی پروا باعث آسیب می شوند، گسترش دهد.

همان اصول باید در مورد دستیارانی که مردم به خانه هایشان می آورند نیز اعمال شود. برای مصرف کنندگان، آنها به چهار تعهد تبدیل می شوند.

اجازه را مشخص کنید یک دستیار باید فقط دسترسی مورد نیاز یک کار را دریافت کند. اجازه خواندن صندوق ورودی شما نباید به طور خودکار به اجازه ارسال ایمیل به نام شما تبدیل شود. قبل از اینکه یک دستیار پول خرج کند، افرادی که می توانند به یک حساب دسترسی داشته باشند یا داده های حساس را به اشتراک بگذارند، تغییر دهد، باید محافظ هایی وجود داشته باشد که برای کاربران شناخته شده است.

مسئولیت را از قبل تعیین کنید. اگر دستیار به اشتباه پرواز شما را لغو کرد، راه حل باید روشن باشد. شرکت ها باید قبل از استقرار تعیین کنند که چه کسی اقدامات غیرمجاز دستیار را بررسی می کند، چه کسی می تواند آنها را متوقف کند و چگونه کاربران کامل می شوند.

با دیدگاه کاربران تست کنید آزمایش مستقل باید تأیید کند که دستیاران قبل از اقدام سؤال می‌کنند، محدودیت‌های آنها را رعایت می‌کنند و در صورت لغو دسترسی، ارتباط را کاملا قطع می‌کنند. از آنجایی که مدل ها دائما تغییر می کنند، آزمایش باید پیوسته باشد. کشف واردل ارزشمند بود. کار مثل او باید معمول باشد.

گزارش و مطالعه شکست. هوانوردی تا حدی به یکی از ایمن‌ترین شکل‌های سفر تبدیل شد، زیرا خلبان‌ها و خطوط هوایی گزارش‌های نزدیک را از دست داده‌اند و محققان از آنها یاد می‌گیرند. از شرکت‌ها باید انتظار داشت که «حادثه هوش مصنوعی» را شناسایی کنند، سوابق را حفظ کنند، به افراد آسیب‌دیده اطلاع دهند و علت اصلی را اصلاح کنند، در حالی که سیاست‌گذاران می‌توانند الزامات گزارش‌دهی را برای موارد جدی ایجاد کنند.

مصرف کنندگان نیز نقش دارند. آنها باید مجوزهایی را که اعطا کرده اند و نحوه لغو دسترسی آن را درک کنند. اما مسئولیت بیشتر بر عهده شرکت هایی است که ابزارهایی را می فروشند تا محدودیت های خود را مشخص کنند و انتظارات معقول خود را تعیین کنند. برای استفاده ایمن از این ابزارها نباید به پیشینه امنیت سایبری نیاز داشته باشیم.

ما بدون اینکه بفهمیم چگونه پرواز می کنند سوار هواپیما می شویم زیرا صنعت و تنظیم کننده ها برای ایمنی ما پاسخگو هستند. ما به یک چارچوب مشابه برای دستیاران هوش مصنوعی نیاز داریم. اگر شرکت‌ها صندوق‌های ورودی، حساب‌ها و وظایف ما را می‌خواهند، باید اعتماد ما را با روشن کردن مواردی که مجوز می‌دهیم، نحوه بازیابی کنترل و پاسخگویی به اشتباهاتی که دستیارانشان به نام ما انجام می‌دهند، جلب کنند.

نظرات بیان شده در نظرات Fortune.com صرفا نظرات نویسندگان آنها است و لزوما منعکس کننده نظرات و اعتقادات Fortune نیست.

این داستان در ابتدا در سایت Fortune.com منتشر شد