موج سوم هوش مصنوعی: همکاران مدل امنیتی که برای ماموران کار می کرد را شکستند

یک عامل هوش مصنوعی اعتبار شما را قرض می گیرد. یک همکار هوش مصنوعی هرگز آنها را پس نمی دهد.

توسط Itamar Apelblat، یکی از بنیانگذاران و مدیر عامل، Token Security

ما دیگر این تجمل را نداریم که در طول چندین سال با تغییرات سازگار شویم. تغییر اساسی در کار مبتنی بر هوش مصنوعی ماه به ماه شکل می‌گیرد، به طوری که در عرض تنها سه سال، ما امواج متمایز هوش مصنوعی مرتبط با کار را تجربه کرده‌ایم، و دیگری دیگر در افق نیست، بلکه در گوشه و کنار است.

ابتدا چت های مربوط به جلسه مطرح شد، جایی که ریسک همان چیزی بود که مدل می گوید. سپس عواملی با محدوده کار آمدند، جایی که ریسک در آن چیزی است که مدل انجام می دهد. به طور کلی، ما اکنون در اینجا هستیم، اما تیرک دروازه ها در جای دیگری هستند. همکاران واقعا مستمر هوش مصنوعی تقریبا به اینجا رسیده اند، و با آنها، مدل های دسترسی فعلی منحل شده اند.

مانند بسیاری از موارد در این فضا، می‌توانید ببینید که شرکت‌های هوش مصنوعی می‌خواهند با واژگان خود به اینجا برسند. مایکروسافت در مورد نمایندگان به عنوان "همکاران دیجیتالی" صحبت می کند و سم آلتمن، از OpenAI، طرحی را برای همکاران مجازی که به نظر می رسد یک عمر قبل، در فوریه 2025 است، تشریح کرد.

این چشم انداز اکنون در حال تبدیل شدن به واقعیت است و ما باید مدل های امنیتی خود را برای رسیدگی به تفاوت های اساسی در نحوه کار همکاران هوش مصنوعی تطبیق دهیم.

شما باید زودتر برای این کار برنامه ریزی کنید. برای چند سال، ما می‌توانستیم هوش مصنوعی را در مدل‌های دسترسی موجود قرار دهیم، اما یک همکار «واقعی» که به طور مستقل کار می‌کند، به طرز فکر متفاوتی نیاز دارد.

همکاران نمایندگی نیاز به دسترسی از جلو یا روشی سازگارتر با ماشین (و در عین حال ایمن) برای تهیه آن خواهند داشت، زیرا تأیید اقدامات مورد به مورد تنها در صورتی کار می کند که انسانی برای بررسی در دسترس باشد. همکاران دیجیتال واقعی نمی‌توانند برای همه چیز به تأییدیه‌های معمولی اعتماد کنند، اما باید بتوانند در صورت نیاز برای کارهایشان، درخواست دسترسی اضافی کنند.

در حال حاضر، ارائه هویت‌هایی که برای عوامل هوش مصنوعی ساخته شده‌اند، هنوز از معمول بودن فاصله دارند. استاندارد استفاده از کمک های مالی OAuth، تحویل در جلسه و حساب های خدماتی است. دو گزینه اول معمولا انسان را به عنوان موجودیت اصلی قرار می دهند. مورد سوم به ندرت به طور خاص برای عوامل ایجاد می شود.

تداوم منجر به یک نمایه ریسک متفاوت برای اعتبار همکار دیجیتالی از جنبه دیگری می شود. آنها اساسا در حال تبدیل شدن به یک امتیاز ثابت هستند، مانند مردم. برای اطمینان از امنیت، باید به چرخه عمر آنها بپردازیم، از جمله مرحله بسیار مهم حذف تجهیزات.

و خزش دسترسی را در نظر بگیرید. اگر یک همکار دیجیتالی پایدار باشد، مطمئنا دسترسی از پروژه های مختلف را جمع می کند. برای انسان ها، خزش دسترسی قدیمی ترین مشکل حل نشده در حاکمیت هویت است. برای ماشین‌ها، هم به دلیل سرعت انباشته شدن دسترسی و هم به دلیل تمایل نمایندگی به استفاده از همه دسترسی‌هایی که به آنها داده می‌شود، قطعا بسیار بدتر خواهد بود. نمایندگان می توانند چندین کمک مالی معقول را در یک دسترسی کلی ترکیب کنند که هیچ کس قصد ندارد به آنها بدهد.

گزارش SOC 2 شما می‌گوید که کنترل‌ها کار کرده‌اند، اما هرگز نمی‌گوید چه چیزی را از دست داده‌اند. نمایندگان با اعتبارنامه های قرض گرفته شده، بدون مالک و بدون کلید خاموش کار می کنند.

Token Security هر عاملی را پیدا می‌کند، به آن هویت اختصاص می‌دهد و دسترسی آن را به کاری که قرار بود انجام دهد، اصلاح می‌کند.

کسب‌وکارها تنها کسانی نیستند که باید خود را با موج سوم جریان‌های کاری نمایندگی تطبیق دهند. در حال حاضر، دو پلتفرم عامل که به طور گسترده مستقر شده اند، اعتبارنامه خود را برای نمایندگان صادر نمی کنند. نه Anthropic و نه OpenAI اعطای اعتبار مشتری OAuth را در محصولات چت میزبانی شده خود اجرا نمی کنند، در حالی که رابط های ChatGPT حساب های خدمات و اظهارات JWT را کاملا رد می کنند.

هر دو به یک توسعه‌دهنده اجازه می‌دهند تا از طریق API‌های خود یک توکن حامل ثابت را به یک عامل تحویل دهد، اما این از یک هویت مناسب دور است.

در نتیجه، نه تنها سیستم‌های هوش مصنوعی دارای امتیازات کاملی هستند که برای انسان‌ها اندازه مناسبی داشتند، بلکه سیاهه‌ها نیز آلوده هستند. وقتی هوش مصنوعی تحت امتیازات اعطا شده توسط کاربر عمل می کند، انسان معمولا به عنوان بازیگر در هر مسیر حسابرسی ثبت می شود.

تمایل به نگه داشتن یک انسان در این حلقه فقط بر هوش مصنوعی تأثیر نمی گذارد. همچنین باری را برای مردم ایجاد می کند. OAuth فرض می‌کند که یک انسان صفحه رضایت را می‌خواند و فهرست ثابتی از محدوده‌ها را تأیید می‌کند. نمایندگان به ندرت از دسترسی اولیه خود راضی هستند. آنها ابزارها را در زمان اجرا کشف می کنند و سعی می کنند از آنها استفاده کنند.

تأیید اقدامات حساس هر چند دقیقه یک بار آزاردهنده و یک خطر امنیتی است، زیرا توجه زیادی وجود دارد.

هوش مدل تنها بخشی از آن است. بقیه به آنچه که او به عنوان کار تاکتیکی گوشت و سیب زمینی توصیف کرد برمی گردد: دسترسی به داده ها، زیرساخت های ابری و قابلیت اطمینان.

تشبیه او این بود: شما یک همکار را استخدام می کنید و سپس آنها را در اتاقی بدون دسترسی به Google Docs، Slack یا پایگاه داده شرکت قفل می کنید. آن همکار قرار نیست موثر واقع شود. او استدلال کرد که یک عامل ابری مجزا به همین دلیل بی فایده است.

او در مورد نیاز درست می گوید. مسیر رسیدن به یک همکار مفید از طریق همان سیستم هایی می گذرد که یک کارمند انسانی لمس می کند.

سشان همچنین توضیح داد که عاملش عوامل فرعی را برای موازی کردن کار و آینده ای نزدیک که در آن عوامل او و عوامل همکارانش در وظایف مشترک همکاری می کنند، توصیف کرد. هر دو جهت معقولی هستند که مدل هویتی را فرض می کنند که وجود ندارد.

وقتی عامل یک نفر به نماینده شخص دیگر کار می کند، اعتباری که اجرا می کند متعلق به هر انسانی است که زنجیره را شروع کرده است.

در I/O در ماه مه 2024، گوگل یک عامل Workspace به نام Chip را به نمایش گذاشت. تراشه دارای حساب Workspace، نقش تعیین شده، مجوزهای پیکربندی شده و مجموعه ای از اهداف مشخص شده خود بود. به اتاق‌های گفتگو پیوست و از تاریخچه‌ای که می‌توانست ببیند، پاسخ داد.

آپارنا پاپو معاون Workspace در آن زمان گفت که گوگل قبل از اینکه تجربیات "عاملی" مانند هم تیمی های مجازی به محصول برسند، کارهای زیادی برای انجام دادن دارد. تراشه نسخه ی نمایشی باقی ماند.

آنچه Google (و همه رقبای آن) به جای آن ارسال کرد، عواملی هستند که در آن همکار اقتدار یک انسان را به ارث می برد.

فروشندگان پلت فرم شروع به تطبیق کرده اند. مایکروسافت Entra Agent ID را با هویت عامل درجه یک و یک حامی انسانی نامگذاری شده ارسال کرد. Okta شناسه‌های عامل را با توکن‌های کوتاه‌مدت و محدوده‌ای و یک مسیر ابطال به فهرست جهانی اضافه کرد. SailPoint و CyberArk پیشنهادات مشابهی دارند. نقطه ضعف این است که هر یک از نمایندگان در داخل دارایی خود محافظت می کند.

اگر می‌خواهید پلتفرم‌گرا باشید، کنترل‌های هویت تنها نقطه بازرسی بالفعل هستند که می‌توانید در آن خط‌مشی‌ها را اجرا کنید، زیرا هویت بر دسترسی به هر اقدامی حاکم است. در اینجا پنج کاری وجود دارد که باید انجام دهید:

برای موج اول، جایی که ریسک ناشی از خروجی مدل بود، فیلتر کردن سریع، نرده‌های محافظ و طبقه‌بندی خروجی داشتیم. برای موج دو، با ریسک مبتنی بر اقدام و فرآیند انسان در حلقه، تمرکز بر کنترل‌های دسترسی و تأییدیه‌ها بود. موج سه انسان را می برد و دسترسی را در جای خود رها می کند.

فشار در حال افزایش است. حساب Seshan دارای عواملی است که عوامل فرعی ایجاد می کنند و در بین تیم ها همکاری می کنند. همکار یک نفر ممکن است به زودی کار را به همکار شخص دیگری واگذار کند. این واگذاری‌ها فقط در صورتی قابل کنترل هستند که همکار هویت خود را داشته باشد. به عبارت دیگر، قبل از دادن کار به آن نشان بدهید.

برای ما در Token، ما در حال حاضر عوامل هوش مصنوعی و سرورهای MCP را که در محیط شما اجرا می‌شوند، از جمله آن‌هایی که هیچ‌کس ثبت نام نکرده‌اند، براساس کمک‌های OAuth، کلیدهای API و ترافیک ورود به سیستم شناسایی می‌کنیم. ما به هر عاملی هویت خود و یک مالک انسانی را می‌دهیم، اعتبارنامه‌هایش را محدوده‌بندی می‌کنیم و می‌چرخانیم، و وقتی مالک آن را ترک می‌کند یا بیکار می‌نشیند، آن را بازنشسته می‌کنیم.

Token Security سیستم های ابری و SaaS شما را به طور کلی پوشش می دهد، نه فقط یک فروشنده.

یک نسخه نمایشی Token رزرو کنید تا ببینید چه تعداد از نمایندگان شما با اعتبارنامه های انسانی قرض گرفته شده در حال اجرا هستند.