چرا هوش مصنوعی عامل رویکرد جدیدی برای امنیت سازمانی می طلبد؟

هوش مصنوعی فراتر از چت بات حرکت می کند. در سراسر شرکت‌ها، هوش مصنوعی اکنون بیش از خلاصه کردن اسناد، پیش‌نویس ایمیل‌ها یا پاسخ به سؤالات انجام می‌دهد. سازمان ها به طور فزاینده ای از عوامل هوش مصنوعی مستقل استفاده می کنند که ارتباطات را می خوانند، اطلاعات را از سیستم های تجاری بازیابی می کنند، سوابق مشتریان را به روز می کنند، گردش کار را راه اندازی می کنند و اقدامات عملیاتی را با نظارت محدود انسانی انجام می دهند.

این خودمختاری نوع جدیدی از قرار گرفتن را ایجاد می کند. تحقیقات ما نشان می‌دهد که 76 درصد از سازمان‌ها در حال اجرای آزمایشی یا راه‌اندازی عوامل هوش مصنوعی مستقل هستند و 42 درصد قبلا یک رویداد تأیید شده یا مشکوک مرتبط با هوش مصنوعی داشته‌اند. هوش مصنوعی عامل در حال حاضر در داخل محل کار است. آزمون واقعی این است که آیا سازمان‌ها می‌توانند آن را بدون خفه کردن دستاوردهای بهره‌وری اداره کنند.

برخلاف هوش مصنوعی مولد سنتی، که به یک سوال پاسخ می دهد و متوقف می شود، هوش مصنوعی عامل هدفی را دنبال می کند. این درخواست را تفسیر می کند، ابزارها را انتخاب می کند، به داده ها دسترسی پیدا می کند و در محیط های تجاری متصل عمل می کند. یک دستیار معمولی ممکن است یک زنجیره ایمیل را خلاصه کند. یک نماینده مستقل می تواند آن را بخواند، جزئیات را از یک CRM بکشد، یک پاسخ را پیش نویس کند، یک بلیط Zendesk را به روز کند و یک تماس بعدی را برنامه ریزی کند.

هر مرحله ممکن است به خودی خود مشروع به نظر برسد، اما نتیجه نهایی ممکن است اشتباه، بیش از حد یا دستکاری شده باشد. مسدود کردن ابزارهای هوش مصنوعی کاملا عملی نیست. این فقط کارکنان را به سمت خدمات تایید نشده سوق می دهد که در آن فعالیت ها و جریان داده ها به سختی قابل مشاهده است. رهبران باید با عوامل هوش مصنوعی به عنوان دسته جدیدی از کارگران دیجیتال با مرزهای روشن، نظارت و مسئولیت پذیری رفتار کنند.

حرکت فراتر از کنترل دسترسی سنتی

ایمن سازی عوامل هوش مصنوعی مستقل به معنای حرکت از کنترل دسترسی به حاکمیت آگاهانه از رفتار است. اجازه اقدام کمتر از این است که آیا آن اقدام با درخواست اصلی، داده‌هایی که لمس می‌کند و پیامدهایی که می‌تواند ایجاد کند مطابقت داشته باشد یا خیر.

امنیت سازمانی سنتی فرض می کند که یک شخص تصمیم می گیرد و یک سیستم آن را اجرا می کند. هوش مصنوعی عامل این زنجیره را فشرده می کند. یک انسان اعلان را می نویسد، هوش مصنوعی آن را تفسیر می کند، ابزارهای متصل را وارد می کند، و خود عمل را آغاز می کند، اغلب بدون یک نقطه بازرسی بین تصمیم و اجرا.

این برای کارهای کم خطر، تکراری و برگشت پذیر خوب کار می کند. اما هنگامی که یک عامل می تواند ارتباطات خارجی ارسال کند، سوابق حساس را اصلاح کند، تراکنش ها را تأیید کند یا مجوزها را تغییر دهد، یک دستورالعمل اشتباه درک شده یا یک دستور مخرب، به یک پیامد فوری تبدیل می شود.

تیم‌های امنیتی باید ارزیابی کنند که یک عامل چه کاری انجام می‌دهد، چرا آن را انجام می‌دهد، و اینکه آیا اقداماتش با خط‌مشی سازمانی و نیات انسانی همسو می‌ماند یا خیر. حاکمیت باید زنجیره کامل فعالیت، از درخواست اولیه تا نتیجه درون یک سیستم تجاری را پوشش دهد.

خطر تشدید امتیازات معنایی

یکی از نگرانی‌های نوظهور، افزایش امتیاز معنایی است، که در آن یک عامل کاملا در حقوق دسترسی خود باقی می‌ماند، اما آنها را بیشتر از آنچه کاربر در نظر داشت گسترش می‌دهد.

یک کارمند از یک نماینده می خواهد که "ارتباطات مشتری را سازماندهی کند." با دسترسی به یک CRM، یک پلتفرم ایمیل و یک پایگاه داده مشتری، نماینده می‌تواند این دستورالعمل را به‌اندازه کافی گسترده بخواند تا جزئیات قیمت‌گذاری محرمانه را برای مخاطب اشتباه ایمیل کند، یک لیست توزیع کامل را به جای یک گیرنده ارسال کند، یا تغییری را انجام دهد که باید به امضای مدیر نیاز داشت.

نماینده در تمام مدت مجوز خود را حفظ می کند. عدم تطابق بین رفتار آن و نیت انسان است. مجوزهای استاتیک نمی توانند این شکاف را برطرف کنند. سازمان‌ها به کنترل‌هایی نیاز دارند که هدف، زمینه و تأثیر احتمالی یک اقدام را قبل از اتمام آن اندازه‌گیری کنند، نه فقط سطح مجوز آن.

خطرات انسانی و حفاظت از داده ها

عوامل هوش مصنوعی توسط اعلان‌ها هدایت می‌شوند، بر اساس اطلاعاتی که دریافت می‌کنند شکل می‌گیرند و توسط کارمندانی که خروجی را درست فرض می‌کنند مورد اعتماد هستند. سه نقطه شکست از آن ناشی می‌شود: چه داده‌هایی وارد می‌شوند، چگونه عامل آن را تفسیر می‌کند، و چقدر کارکنان به آنچه که تولید می‌کند اعتماد دارند.

کارمندان داده‌های حساس را در اعلان‌ها قرار می‌دهند یا فایل‌های محرمانه را بدون فکر کردن بارگذاری می‌کنند. یک نماینده می‌تواند یک درخواست را اشتباه بخواند یا با دستورالعمل‌های پنهانی که در ایمیل، سند، پیام چت یا صفحه وب مدفون شده است هدایت شود. و کارمندان اغلب توصیه های تولید شده توسط هوش مصنوعی را بدون بررسی دقیق توصیه های همکارشان ارائه می دهند.

تزریق سریع واضح‌ترین مثال است: مهاجمان دستورالعمل‌ها را در محتوایی که می‌دانند یک عامل هوش مصنوعی پردازش می‌کند پنهان می‌کنند. اگر نماینده آن محتوا را قابل اعتماد تلقی کند، می‌تواند خط‌مشی را نادیده بگیرد، داده‌ها را فاش کند، جریان کار را تغییر دهد یا بر اساس دستورالعملی عمل کند که هیچ انسانی تا به حال آن را تأیید نکرده است. در برابر یک ربات چت، که یک پاسخ اشتباه شرم آور ایجاد می کند. در برابر یک عامل با دسترسی مستقیم به ابزارها و سیستم ها، یک عمل اجرا شده را تولید می کند.

نشت داده ها این را ترکیب می کند. نماینده ها معمولا به دسترسی گسترده به داده های سازمانی نیاز دارند، به این معنی که اطلاعات حساس می توانند از طریق درخواست ها، آپلودها، پاسخ های تولید شده، گزارش ها و جریان های کاری بازیابی عبور کنند. پیشگیری از از دست دادن داده‌ها باید در این محیط‌های هوش مصنوعی گسترش یابد، محتوای حساس را قبل از رسیدن به ابزار هوش مصنوعی پرچم‌گذاری کند، و کنترل کند که آن ابزار می‌تواند آن را کجا ارسال کند.

پلتفرم‌های ایمیل و همکاری مستحق توجه ویژه هستند. آنها در تقاطع افراد، داده ها و جریان های کاری مستقل قرار دارند، در حالی که به عنوان مسیرهای رایج برای فیشینگ، لینک های مخرب، فایل های دستکاری شده و تزریق سریع عمل می کنند. در میان سازمان‌هایی که یک حادثه مرتبط با هوش مصنوعی را گزارش می‌کنند، 67 درصد در ایمیل، 57 درصد در SaaS یا برنامه‌های ابری، و 53 درصد در دستیاران یا عوامل هوش مصنوعی مشاهده کردند.

نیاز به تایید انسانی برای هر اقدام خودکار، هدف از استقرار عوامل را در وهله اول شکست خواهد داد. کنترل‌های هدفمند انسان در حلقه بهتر عمل می‌کنند و برای تصمیم‌های پر تاثیر، برگشت‌ناپذیر یا حساس مانند نقل و انتقالات مالی، ارتباطات خارجی، تغییرات مجوزها و اشتراک‌گذاری داده‌های تنظیم‌شده در نظر گرفته می‌شوند.

اقدامات کم خطر می توانند به طور مستقل در محدوده های مشخص اجرا شوند. اقدامات پرخطر باید برای تأیید انسانی متوقف شود، نیاز به احراز هویت سریع داشته باشد یا با بررسی‌های خط‌مشی اضافی مواجه شود.

امنیت هوش مصنوعی عاملی بر چهار ستون استوار است: مشاهده تعاملات انسان و هوش مصنوعی، کنترل بر روی داده های حساس، حاکمیت بر رفتار عامل، و مسیرهای حسابرسی که تحت بررسی قرار می گیرند. این عوامل در حال تبدیل شدن به همکاران دیجیتالی با دسترسی واقعی به سیستم و اختیار واقعی برای عمل هستند. آن‌ها ضمانت می‌کنند همان سازمان‌های نظارتی که قبلا برای کاربران ممتاز، برنامه‌های کاربردی حیاتی و فرآیندهای تجاری پرخطر اعمال می‌کنند.

ما بهترین نرم افزار فایروال را معرفی کرده ایم.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit