مایکروسافت اعتراف می کند که «مدل های مرزی قابل اعتماد نیستند»، از ابزارهای امنیتی جدید برای برخورد با عوامل هوش مصنوعی به عنوان تهدیدهای خودی رونمایی می کند.

مایکروسافت از Guardian Agents برای نظارت، محدود کردن و مدیریت خطرات ناشی از عوامل هوش مصنوعی مستقل رونمایی کرد.

کنترل‌های جدید به‌طور پویا مجوزها، رفتار و دسترسی عامل را بر اساس سطوح ریسک تغییر می‌دهند

این شرکت هشدار می دهد که "خودی های عامل" به نظارت مستمر مبتنی بر هوش مصنوعی فراتر از کنترل های امنیتی سنتی نیاز دارند طرفداران هوش مصنوعی، دایره لغات شما دو عبارت غنی تر می شود: Agentic Insider و Guardian Agent. این دو عبارتی است که مایکروسافت هنگام اعلام مجموعه‌ای از ابزارها و ویژگی‌های جدید برای کمک به کسب‌وکارها برای ایمن کردن عملیات خود با عامل‌های هوش مصنوعی استفاده می‌کند.

یک وبلاگ جدید مایکروسافت که توسط معاون شرکتی مایکروسافت برای هویت و دسترسی به شبکه، ندیم عبدو منتشر شده است، استدلال می‌کند که عوامل، اگرچه ذاتا مخرب نیستند، می‌توانند اشتباه کنند یا دستکاری و در معرض خطر قرار گیرند.

از آنجایی که برای اینکه بتوانند به درستی کار کنند نیاز به مجوزهای نسبتا گسترده ای دارند، خطری ایجاد می کند که اگر به درستی مدیریت نشود، می تواند فاجعه بار باشد.

Overwatch نمایندگی

عبدو همچنین افزود که ماموران هوش مصنوعی که دستور استاد خود را انجام می دهند نمی توان به امنیت خود اعتماد کرد.

عبدو می نویسد: «ساتیا نادلا، رئیس و مدیر اجرایی مایکروسافت، اخیرا معماری اعتمادی را که این دوره جدید نیاز دارد، توصیف کرده است: ما باید تأمین اطلاعات را از اختیارات آن جدا کنیم».

ما نباید از یک مدل بخواهیم که مرجع امنیتی خودش باشد. کنترل‌هایی که تعیین می‌کنند به چه چیزی می‌تواند دسترسی داشته باشد، چه اقداماتی می‌تواند انجام دهد و اینکه آیا باید به کار خود ادامه دهد، باید خارج از مدل باشد، جایی که مدل نتواند آنها را دور بزند یا دستکاری کند.»

بنابراین، نظارت کلمه کلیدی در اینجا است. اما عوامل هوش مصنوعی با سرعت ماشین حرکت می کنند، چیزی که هیچ انسانی نمی تواند با آن برابری کند، و بنابراین انسان ها به درستی برای این کار مجهز نیستند. در عوض، عوامل هوش مصنوعی جداگانه باید معرفی شوند تا فرزندان جوان خود را کنترل کنند. پیش از این، مایکروسافت Project Perception و پشته سایبری مایکروسافت را برای کمک به سازمان‌ها برای دفاع با نمایندگان معرفی کرد.

Project Perception یک سیستم امنیت سایبری مبتنی بر هوش مصنوعی است که برای هماهنگ کردن عوامل تخصصی هوش مصنوعی طراحی شده است که داده‌های امنیتی را تجزیه و تحلیل می‌کنند، آسیب‌پذیری‌ها را شناسایی می‌کنند و تهدیدات مختلف را بررسی می‌کنند. این سیستم از سه نوع عامل استفاده می‌کند: عوامل قرمز که نقاط ضعف را بررسی می‌کنند، عوامل آبی که تهدیدهای بالقوه را بررسی می‌کنند و عامل‌های سبز که اصلاحات و اصلاحات را اجرا می‌کنند.

اکنون، مایکروسافت می‌گوید که پروژه را برای ایمن کردن «خودی‌های عامل» تمدید می‌کند. آنها به آن می گویند - عامل نگهبان.

عبدو توضیح داد: «نمایندگان نگهبان به تیم‌های امنیتی کمک می‌کنند تا به طور مداوم، با سرعت و مقیاس ماشین کار کنند، در حالی که حسگرها، زمینه، و فعال‌کننده‌ها در پشته سایبری به درک خطر تغییر عامل کمک می‌کنند و به طور مداوم حفاظت را در پاسخ تطبیق می‌دهند.» Project Perception و Microsoft Agent 365 سیگنال‌ها، زمینه و یک رجیستری یکپارچه را به اشتراک می‌گذارند که به تیم‌های فناوری اطلاعات و امنیت یک دید ثابت از عوامل و ریسک، با کنترل‌هایی که هر کدام نیاز دارند، می‌دهد.

گروهبان مته

عبدو می‌گوید که مأموران نگهبان بر اساس یک اصل امنیتی بنا می‌کنند که در آن اطلاعات غیر قطعی باید با کنترل‌های قطعی، شواهد مستقل و مرزهای مهار احاطه شود.

این کنترل‌ها به هفت جنبه تقسیم می‌شوند - هویت، مجوزها، داده‌ها، نقاط پایانی، شبکه، ابر و زمان اجرا - و اینها چهار مسئولیت دارند: دانستن اینکه کدام عامل وجود دارد، چه کسی مالک آنهاست و چرا، و چه کاری انجام می‌دهد. شامل آنچه که هر عامل می تواند به آن دسترسی داشته باشد و قبل از اقدام انجام دهد. برای محافظت از داده ها، ابزارها، زمان اجرا، منابع و سیستم هایی که عامل استفاده می کند. و انطباق مداوم حفاظت با تغییر رفتار، زمینه و ریسک.

به عبارت دیگر، هوش مصنوعی باید گروهبان مته پهپادها باشد و با تغییرات در زمان واقعی سازگار شود تا مطمئن شود که آنها کار خوبی انجام می دهند و سرکش نمی کنند.

مایکروسافت همچنین اعلام کرد که در حال گسترش اکتشاف به 35 نوع دیگر از عوامل محلی، از جمله Claude Code، OpenAI Codex و GitHub Copilot است. همچنین اعلام کرد که شناسه عامل Microsoft Entra را با انواع هویت برای الگوهای عامل اضافی، شامل عوامل محلی و ناشناخته قبلی که از طریق حسگرهای امنیتی کشف شده اند، گسترش می دهد.

با «مجوزهای پویا» و «ریسک عامل پویا»، مایکروسافت می‌خواهد به کسب‌وکارها کنترل دقیق‌تری بر آنچه که عوامل هوش مصنوعی می‌توانند به آن دسترسی داشته باشند و انجام دهند، بدهد و در عین حال رفتار و سطوح ریسک آن‌ها را زیر نظر داشته باشد. مجوزهای پویا، عوامل را به دسترسی آنها برای یک کار خاص محدود می کند، در حالی که ریسک عامل پویا تهدیدهای بالقوه را بررسی می کند.

دسترسی مشروط پویا می‌تواند با محدود کردن مجوزها، مسدود کردن برخی عملیات یا درخواست تأیید انسانی به خطرات فزاینده پاسخ دهد. در سناریوهای شدیدتر، یک عامل را می توان متوقف و جدا کرد.