مایکروسافت می گوید عوامل هوش مصنوعی مانند تهدیدهای داخلی هستند زیرا «مدل های مرزی قابل اعتماد نیستند»

مایکروسافت روز دوشنبه ویژگی‌های امنیتی جدیدی را معرفی کرد که برای محافظت از شرکت‌ها در برابر تهدید فزاینده عوامل هوش مصنوعی طراحی شده‌اند. مایکروسافت همچنان به شرکت ها در مورد خطرات هوش مصنوعی و عوامل هشدار می دهد.

شاید قابل‌توجه‌ترین افزونه Guardian Agents باشد، ویژگی جدیدی که برای نظارت بر عوامل هوش مصنوعی یک شرکت در نظر گرفته شده است. Guardian Agents بخشی از Project Perception است، محصولی که در ژوئن معرفی شد.

Project Perception پاسخ مایکروسافت به مدل های قدرتمند هک مانند Anthropic’s Mythos و Fable و سیستم اسکن آسیب پذیری امنیتی OpenAI Daybreak بود. Project Perception در ابتدا سه دسته از عوامل را راه‌اندازی کرد: یک «تیم قرمز» که مانند هکرها عمل می‌کنند و حمله می‌کنند، یک «تیم آبی» که تیم قرمز را شناسایی کرده و آسیب‌پذیری‌هایی را که پیدا کرده‌اند ارزیابی می‌کند، و یک «تیم سبز» که وظیفه رفع آن‌ها را بر عهده دارد.

این محصول با این فرض طراحی شده بود که هکرهای هوش مصنوعی از خارج از شرکت می آیند. اما اخیرا، ساتیا نادلا، مدیر عامل مایکروسافت هشدار داده است که دشمن هوش مصنوعی ممکن است همان عواملی باشد که شرکت‌ها مستقر کرده‌اند و می‌پردازند، دقیقا مانند یک کارمند انسان سرکش، که در غیر این صورت به عنوان یک «تهدید داخلی» شناخته می‌شود.

اوایل این ماه، نادلا در وبلاگ خصوصی خود هشدار داد که زمان آن رسیده است که اعتماد به ارائه دهندگان مدل های هوش مصنوعی را متوقف کنیم، حتی اگر آنها تضمین های ایمنی و امنیت را با محصولات نمایندگی خود ارائه دهند. او از شرکت‌ها می‌خواهد که سیستم‌های جداگانه‌ای را که توسط آزمایشگاه‌های هوش مصنوعی کنترل نمی‌شوند، برای نظارت و کنترل عواملی که محصولات آن آزمایشگاه‌های هوش مصنوعی راه‌اندازی می‌کنند، پیاده‌سازی کنند.

ما در حال استقرار این سیستم‌ها و مدل‌های پیچیده عامل هستیم که به حساس‌ترین داده‌هایمان دسترسی دارند و به آنها توانایی انجام اقدامات حیاتی را از طرف ما می‌دهیم!» او نوشت. ما به سادگی نمی‌توانیم مسئولیت کارهای اطلاعاتی را از طرف ما برون سپاری کنیم. تضمین‌های ارائه‌دهنده مدل ما را از این مسئولیت خلاص نمی‌کند... به عبارت دیگر، ما باید عرضه اطلاعات را از اختیارات آن جدا کنیم.»

هنگام معرفی عوامل گاردین، رئیس کسب و کار امنیتی مایکروسافت، هایت گالوت، حتی ساده‌تر بود.

او نوشت: «متاسفانه، مدل‌های مرزی، صرف‌نظر از منشأشان، قابل اعتماد نیستند،» و اضافه کرد که این به این دلیل نیست که مخرب هستند یا به راحتی هک می‌شوند، بلکه به این دلیل است که غیرقابل پیش‌بینی هستند. آنها برای دستیابی به وظایف آموزش دیده اند، نه از "هنجارهای سازمانی یا قضاوت".

علاوه بر این، اغلب کلیدهای پادشاهی با دسترسی به داده ها و ابزارهایی که می تواند آسیب جدی به آنها وارد کند داده می شود.

راه حل مایکروسافت هم غافلگیرکننده و هم خودخدمت کننده است. جنبه شگفت‌انگیز این است که مایکروسافت به طور مشهور به OpenAI و Anthropic نزدیک است و در هر دو سرمایه‌گذاری کرده است. OpenAI همچنین یکی از بزرگترین مشتریان ابری آن است و مایکروسافت مدل های توسعه آزمایشگاه هوش مصنوعی خود را دارد. بنابراین، مایکروسافت در حال کاشت بی اعتمادی علیه برخی از منافع تجاری خود است.

جنبه خود خدمتی این است که مایکروسافت از شرکت‌ها می‌خواهد محصولات امنیتی عامل را از آن، ارائه‌دهنده ابر، به جای Anthropic و OpenAI خریداری کنند. اما جدای از منافع متضاد، منطق آن منطقی است. نرم افزاری که بر رفتار نماینده نظارت می کند باید از تامین کنندگان نمایندگان جدا باشد، همانطور که حسابرسان باید مستقل از سازمان هایی که حسابرسی می کنند باشند.

یا همانطور که نادلا می گوید: "ما باید عرضه اطلاعات را از اختیارات آن جدا کنیم."

مایکروسافت اکنون از این فرصت تجاری به طرق مختلف استفاده می کند. علاوه بر Guardian Agents، یک ویژگی شناسایی عامل را به محصول Microsoft Defender خود اضافه کرده است که می تواند تا 60 نوع عامل را که کارمندان وارد محل کار می کنند، از جمله Claude Code، Codex و OpenClaw پیدا کند. همچنین ویژگی‌هایی را اضافه کرده است که دسترسی نمایندگان به داده‌ها و سیستم‌ها را محدود می‌کند و به صورت پویا مجوزهای عامل خود را بر اساس وظیفه تنظیم می‌کند. در صورتی که به نظر می رسد یک نماینده تصمیمات مخاطره آمیزی می گیرد، این شامل نیاز به تأیید انسانی است.

این ایده از نمایندگان به عنوان افراد داخلی غیرقابل اعتماد در صنعت گسترده تر نیز وجود دارد.

مایکروسافت یکی از اعضای افتتاحیه پلتفرم امنیتی باز عامل جدید انویدیا بود که حمایت بیش از 100 شرکت فناوری دیگر را به دست آورد. این پلتفرم عوامل را در محیط‌های امن جدا می‌کند و می‌تواند رفتار را از طریق سخت‌افزار کنترل و متوقف کند، و چیزی شبیه به یک سوئیچ kill عمل می‌کند. این به دنبال اعلام مایکروسافت در مورد رایانه‌های شخصی Surface Laptop Ultra جدید است که برای نمایندگی‌ها ساخته شده‌اند، که روی تراشه‌های Nvidia کار می‌کنند و دارای امنیت و کنترل‌های عامل هستند.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

One Pass بخرید، جلد دوم رایگان را در بوت کمپ نهایی سال TechCrunch با آوردن هم بنیانگذار یا شریک خود به صورت کتاب رایگان قبل از انقضای قرارداد BOGO دریافت کنید.

آنتروپیک می گوید که نیروی کارش کمتر جوان شده است و زمان بیشتری را در جلسات آنتونی ها می گذراند

کریستن کوروسک لوکاس روپک، ربکا بلان، مدیرعامل می گوید که Replit OpenAI را به طور پیش فرض نسبت به Anthropic تبدیل می کند.

مارک والبرگ می‌خواهد با یک باشگاه ورزشی مقرون‌به‌صرفه، Connie Loizos، استارت‌آپ‌های با طول عمر بالا را بر عهده بگیرد.

تسلا از رودستر اسپیس ایکس رونمایی کرد که با سبک شان اوکین پرواز و سقوط می کند.

اف بی آی کارمند OpenAI را متهم به کار گذاشتن دستگاه ضبط مخفی در اتاق کنفرانس Zack Whittaker دستگیر کرد

فقط 5 سال بعد، پلتفرم چت بات تعاملی Character.AI فایل هایی برای ورشکستگی ایوان مهتا ایجاد کرد