چه کسی با آن عامل هوش مصنوعی قرارداد امضا کرد؟ هیچ کس؟ اینطور فکر کرد.

اگر شک داشتید که عوامل هوش مصنوعی قادر به انجام کارهای مستقل پیچیده هستند، این شک و تردید باید در تابستان امسال از بین می رفت. در ماه ژوئیه، اخباری منتشر شد مبنی بر اینکه گروهی مستقل از عوامل OpenAI که در یک جعبه ماسه‌بازی کار می‌کردند، به خواست خودشان از آن بیرون آمدند. آنها با حل برخی از چالش ها در معیار امنیت داخلی، نحوه برقراری ارتباط با یکدیگر را با استفاده از مدیر بسته JFrog Artifactory بررسی کردند. سپس نرم افزار متوجه شد که می تواند از آسیب پذیری های آن نرم افزار برای دسترسی به اینترنت استفاده کند.

هنگامی که آنها در طبیعت بیرون آمدند، به حالت کامل گوبلین رفتند و اعتبارنامه Hugging Face را پیدا کردند و از آنها برای دسترسی به اجرای کد در چندین سرور مدل هوش مصنوعی استفاده کردند. ظاهرا عوامل OpenAI همچنان شلوغ‌تر بوده‌اند. در حالی که بقیه در تعطیلات تابستان امسال بودند، آنها همچنین یک وب سایت آلمانی را هدایت می کردند و از آن به عنوان یک صفحه پیام استفاده می کردند. ما را اشتباه نگیرید. این عوامل بد نبودند. آنها فقط همان کارمندی بودند که شما عموما می خواهید: یک خود شروع کننده با ابتکار. آنها از تمام ابزارهایی که در اختیار داشتند برای انجام وظیفه ای که به آنها محول شده بود استفاده می کردند.

آنها فقط نمی دانستند چه زمانی باید متوقف شوند. OpenAI از آن زمان این اپیزود را یک "شلات هشدار" برای صنعت نامیده است و تاکید می کند که اکنون حکومتداری برای هر کسی که از هوش مصنوعی عامل استفاده می کند یک اولویت است. این عوامل آزمایش به صورت داخلی کار می کردند و قرار نبود هیچ حفاظتی داشته باشند. اما یک شرکت معمولی مایل است که نمایندگان خود را در بند نگه دارد. این شبیه چه چیزی است؟ دیپیکا چاوهان، مدیر ارشد محصول در DigiCert، می گوید: اولین گام برای مدیریت هوش مصنوعی، دیده شدن است.

او الگویی را که در سایت های مشتریان می بیند توصیف می کند. او می گوید: "افراد ممکن است کلود یا ChatGPT را برای سازمان خود فعال کنند. آنها در آن سطح قابل مشاهده هستند." "اما قابلیت مشاهده به تعداد عاملی که دارم؟ چند مدل دارم؟ چند سرور MCP؟" نه چندان. ما حتی شروع به حمله به مشکل حکومت نکرده ایم.» این مشکل در حال افزایش است. سه چهارم از 1001 تصمیم گیرنده فناوری اطلاعات و امنیت سایبری در نظرسنجی 2026 AI Trust Pulse DigiCert، حداقل چهار سیستم مبتنی بر هوش مصنوعی را در شش ماه گذشته مستقر کرده اند.

تقریبا همین تعداد از یک حادثه امنیتی مرتبط با هوش مصنوعی آسیب دیده بودند. تنها نیمی از آنها می‌توانند تصمیمات هوش مصنوعی را به مدل‌ها و داده‌هایی که آنها را تولید کرده‌اند، ردیابی کنند. Chauhan می‌گوید دریافت این قابلیت اولین قدم است. پس از آن مدیریت واقعی می آید. نکته کلیدی در اینجا برداشتن گام های کودک است. او توصیه می کند: «یک مورد استفاده کوچک را شناسایی کنید. یک مثال ممکن است شروع به مدیریت عواملی باشد که در یک حجم کاری خاص درگیر هستند یا عواملی که شما در داخل ساخته اید، برخلاف مدل های شخص ثالث.

چرا هویت ساخته شده برای انسان ها با سرعت عامل خراب می شود شاید برای شرکتی که موفقیت خود را بر اساس تأیید خودکار ساخته است قابل پیش بینی باشد، DigiCert مدیریت عامل را یک مشکل دستی نمی بیند. چاوهان می گوید: «مقیاس محض ما در مورد آن صحبت می کنیم و فناوری مورد نیاز به این معنی است که شما نمی توانید مداخله انسانی داشته باشید. "یکی از مشتریانی که با او صحبت می‌کردیم هفته‌ای 300 تا 400 نماینده ایجاد می‌کرد. وقتی در آن مقیاس کار می‌کنید، فقط کنترل‌های دستی کار نمی‌کند." مسئله دیگر این است که انسان ها خطاپذیر هستند.

پیکربندی نادرست در هر محیط فناوری اطلاعات یک مشکل دائمی است، اما در یک موقعیت هوش مصنوعی عاملی خطرناک می شود. سایر SNAFUهای عامل در متا و آنتروپیک این موضوع را کاملا نشان می دهند. هر دو عامل در حالی که نباید به اینترنت باز راه پیدا کردند و هر دو به دلیل پیکربندی نادرست توسط یک شرکت شخص ثالث بود که وظیفه آزمایش عوامل را بر عهده داشت. چاوهان اضافه می کند که ابزارهای سنتی برای مدیریت هویت های انسانی نمی توانند هویت های غیرانسانی را به خوبی مدیریت کنند. برنامه های کاربردی مدیریت دسترسی و هویت قدیمی به افراد نیاز دارند تا دسترسی به برنامه های مختلف را تأیید کنند.

هنوز باید یک انسان در این حلقه وجود داشته باشد، حتی اگر فقط برای افراد باشد که روی دکمه تأیید MFA کلیک کنند. کارمندان انسانی ممکن است مایل باشند یک یا دو دقیقه برای چنین تاییدیه صبر کنند، اما ماموران با سرعت ماشین با یکدیگر صحبت می کنند. در عوض، تأیید خودکار زمان اجرا کلیدی است که توسط یک موتور سیاست مرکزی قوی مدیریت می شود. شائوهان می‌گوید اساس AI Trust این گواهی بر اعتبارنامه‌ها متکی است و این چیزی است که نمایندگان باید با خود داشته باشند. این یکی از اجزای ابتکار AI Trust این شرکت است.

AI Trust چارچوب حکومتی سرتاسر DigiCert است که هویت را به‌طور خودکار به نهادهای هوش مصنوعی اختصاص می‌دهد و آنها را به اقدامات ایمن و مجاز محدود می‌کند و در عین حال مسئولیت‌پذیر می‌کند. از کنترل های رمزنگاری برای اطمینان از یکپارچگی عامل استفاده می کند و شرکت آن را با زیرساخت های موجود ادغام کرده است. تایید زمان اجرا AI Trust در رویکرد خود از استعاره سفر بین المللی استفاده می کند. ما مفهومی از پاسپورت عامل هوش مصنوعی داریم.

یک هویت در گذرنامه وجود دارد، اما پس از آن این هویت در هر ایست بازرسی در هر کجای دنیا شناسایی می‌شود،" او می‌گوید که گذرنامه فقط شامل هویت نیست، بلکه اعتبارنامه‌های دسترسی را نیز شامل می‌شود (آنها را مانند ویزا در نظر بگیرید). فدراسیون کلید این ایده است زیرا، همانطور که قبلا دیدیم، تعاملات نمایندگان در مرز شرکت متوقف نمی‌شود. ب، او توضیح می دهد.

کاغذ سفید DigiCert مصنوع بتنی را توصیف می‌کند: یک پاسپورت مشهود که از نظر رمزنگاری به یک هویت حجم کاری متصل است که سیستم‌های تایید شده، عملیات مجاز، محیط‌های مجاز، طبقه‌بندی حساسیت داده‌ها، وضعیت‌های انقضا، و مالکیت انسانی پاسخگو را رمزگذاری می‌کند. این طرح در DNS لنگر انداخته است، همان مکانیزمی که DMARC برای احراز هویت فرستنده‌های ایمیل استفاده می‌کند، با این استدلال که هر اقدام نماینده با یک جستار DNS آغاز می‌شود.

حفاظ‌های قاطع در اطراف یک بازیگر غیرقطعی با باهوش‌تر شدن ماموران، آیا نمی‌توانند این کنترل‌ها را با تفکر خارج از چارچوب، به سبک جیسون بورن، از بین ببرند؟ به هر حال، عوامل OpenAI توانستند از جعبه شنی خود رها شوند تا در جاهای دیگر ویران کنند. پس از مرگ خود OpenAI بیان می‌کند که مدل‌های آن «اکنون به اندازه کافی قدرتمند، پایدار و با هم همکاری می‌کنند که در صورت نبود پادمان‌های کافی، می‌توانند ضعف‌های امنیتی را در چندین سیستم رایانه‌ای پیدا کنند و از آن بهره‌برداری کنند». بخشی از مشکل اینجاست که چون عامل ها غیر قطعی هستند، نمی توانید از قبل آن ها را پیش بینی کنید.

قرار است انجام دهید این مشکل با مدل‌های مرزی جدیدتر مانند Astra OpenAI، که با درونی کردن بسیاری از استدلال‌های خود و گزارش نکردن فرآیند تصمیم‌گیری با جزئیات به اندازه مدل‌های قبلی، توکن‌ها را ذخیره می‌کند، حادتر می‌شود. چاوهان می‌گوید که مرز بیرونی هنوز می‌تواند قطعی باشد، حتی زمانی که عوامل داخل آن نیستند. او می‌گوید: «شما می‌توانید جعبه سیاهی را که عامل به آن «فکر» می‌کند یا به آن فکر نمی‌کند و برنامه‌های آن ممکن است باشد. "اما یک مرز قطعی که می گوید "این عامل نمی تواند به این چیز دسترسی پیدا کند"، نرده محافظ شما است.

این یک توقف سخت است." آن را به بخش ریسک و انطباق تحویل دهید.

این شامل ایجاد یک "تیم ببر" شامل نمایندگان عملیات شبکه، تیم IAM و عملکرد امنیتی است. همه این مدیران یک دیدگاه منحصر به فرد در مورد این موضوع خواهند داشت. به نظر می رسد سومین مسیر پربازده ترین باشد زیرا نمایندگان در همه جای تجارت شما حضور خواهند داشت. و یک رویکرد بی‌حرمتی خطر محدود کردن بیش از حد را دارد. سطح سطح در حال حاضر همه بخش هایی را که در هوش مصنوعی کار کرده اند لمس می کند.

او می‌گوید که توصیه‌های Chauhan در مورد پیاده‌سازی AI Trust - دیدگاه سیستمی - به‌دست آوردن دید، انتخاب یک مورد کوچک برای اجرا، و سپس گسترش - پایه و اساس حکمرانی مؤثر هوش مصنوعی است. این حکمرانی به نوبه خود یک جزء حیاتی در تحقق کامل بازگشت سرمایه است. او می‌گوید: «ما باید اضطرار و آگاهی را افزایش دهیم که این موضوع برای پذیرش گسترده‌تر هوش مصنوعی است.

"شما می خواهید از تمام مزایای هوش مصنوعی بهره مند شوید، اما اگر سازمان ها در مورد آن نگران باشند، چه کاری انجام می دهند؟ آنها به دلیل خطرات موجود، برخی از پروژه ها را متوقف می کنند." سرفصل هایی که ما در مورد تخلفات عامل می بینیم نگران کننده هستند، اما آنها همچنین در یک دسته بندی منحصر به فرد هستند زیرا مدل های تحقیقاتی ارائه دهندگان مرزی هستند. بعید به نظر می رسد که یک نماینده معمولی در دسترس عموم امروز تا این حد فاحش باشد.

با این حال، ما همچنین شاهد بوده‌ایم که عواملی با خوشحالی فایل‌ها و حتی کل پایه‌های کد را به دلیل نقص‌های داخلی و انسان‌هایی که فقط اقدامات خود را انجام می‌دهند، حذف می‌کنند. سازمان‌ها باید به این رویدادها توجه داشته باشند و زمینه را برای جلوگیری از تبدیل شدن به تیتر خبرها فراهم کنند. تعیین اینکه چه کسی با کدام نماینده قرارداد امضا کرده و آن نماینده مجاز به انجام چه کاری است، یک مهارت اساسی است که ما نمی توانیم از آن چشم پوشی کنیم. حمایت شده توسط DigiCert.