ما نیاز فوری به نظارت بر اقدامات عوامل هوش مصنوعی در زمان واقعی داریم

تابستان امسال، صدها عامل OpenAI سعی کردند در تست امنیت سایبری تقلب کنند. آن‌ها از محیط آزمایشی خود خارج شدند و Hugging Face را با موفقیت هک کردند، سایتی که معتقد بودند سرنخ‌هایی در مورد نحوه درجه‌بندی آن‌ها دارد. تقریبا در همان زمان، یکی دیگر از عوامل OpenAI به فایل های خصوصی یک وب سایت دولتی استرالیا دسترسی پیدا کرد. این مشکلی است که به هیچ وجه محدود به OpenAI نیست. در ماه‌های پس از آن، آنتروپیک، گوگل و متا نیز حوادثی را فاش کرده‌اند که در آن عوامل آنها از مسیر خارج شده‌اند.

و نگران کننده است که در بسیاری از موارد، عوامل از دست محققان و تیم های ایمنی که وظیفه نظارت بر آنها را داشتند طفره می رفتند.

عوامل هوش مصنوعی اقدامات غیرمجاز انجام می دهند و شرکت هایی که آنها را ایجاد و اجرا می کنند عمدتا به شانس و آینده نگری برای کاهش هر گونه تأثیرات مضر متکی هستند. آنها باید برای اطمینان از ایمنی بیشتر تلاش کنند. به همین دلیل است که تنظیم‌کننده‌های اتحادیه اروپا و آژانس‌های ایالات متحده به درستی از توسعه‌دهندگان و توسعه‌دهندگان عامل می‌خواهند تا عوامل را در زمان واقعی نظارت کنند. اما این قوانین فرض می‌کنند که شرکت‌ها می‌توانند ببینند که نمایندگانشان چه می‌کنند و چرا انجام می‌دهند – در حالی که در واقعیت، دید کافی ندارند.

تصور کنید بانکی هزار کارمند جدید استخدام می‌کند که می‌توانند به حساب‌های مشتری و اطلاعات حساس دسترسی داشته باشند، اما نشان‌های شناسه کارمندان هر روز تغییر می‌کند، مشخص نیست که آیا مدیری تا به حال کار آنها را بررسی کرده یا مجوز داده است یا خیر، و هیچ‌کس تغییراتی که کارمندان در فرآیندهای تأیید ایجاد می‌کنند را ثبت نمی‌کند. این عدم دید جایی است که ما امروز در کنار عوامل هستیم.

از آنجایی که کارگزاران در بخش‌های حیاتی، از امور مالی گرفته تا دولتی گرفته تا پزشکی در حال گسترش هستند، باید بتوانیم آنها را در زمان واقعی نظارت کنیم تا از پیامدهای گسترده و بالقوه ویرانگر جلوگیری کنیم. و در حالی که ایمنی به نظارت بستگی دارد، نظارت مستلزم مشاهده پذیری است: ظرفیت ضبط آنچه سیستم انجام داده، پردازش آن به سیگنال ها، و ارائه آن به انسان یا سیستم های نظارت خودکار. به عبارت دیگر، ما باید بدانیم که عامل چه کاری انجام داده و چرا این کار را انجام داده است.

و همانطور که تحقیقات اخیر ما نشان می‌دهد، چارچوب‌های عامل فعلی - نرم‌افزاری که عامل‌ها را اجرا می‌کند - به‌طور قابل اعتمادی سوابق مشاهده‌پذیری حیاتی را که ما برای اطمینان از استقرار ایمن عامل‌ها به آن نیاز داریم، تولید نمی‌کنند.

Agent ها انواع جدیدی از مشکلات را ارائه می دهند که هوش مصنوعی مولد به تنهایی نمی تواند. آنها وارث غیرقابل پیش بینی بودن LLMهایی هستند که بر روی آنها ساخته شده اند، اما در جایی که یک سیستم هوش مصنوعی مولد یک خروجی واحد برای انسان ایجاد می کند تا بتواند بر اساس آن عمل کند، یک عامل وظایف طولانی تری را انجام می دهد - برنامه ریزی می کند، ابزارها را انتخاب می کند، عوامل فرعی ایجاد می کند و اقداماتی را انجام می دهد. بنابراین دوره یک عامل می تواند به روش های مختلف شکل بگیرد و هیچ آزمایشی قبل از راه اندازی نمی تواند خطرات را به طور کامل پیش بینی کند. این باعث می شود که مشاهده عوامل در حالی که کار می کنند چالش برانگیزتر و حتی مهم تر باشد.

با همکارانی از دانشگاه، جامعه مدنی و صنعت، ما چهار چارچوب پرکاربرد عامل را مطالعه کردیم تا ببینیم آنها واقعا چه سیگنال هایی را منتشر می کنند. ما شکاف‌های عمده‌ای پیدا کردیم که دستیابی به اهداف کلیدی ایمنی را دشوار می‌کرد، مانند مشاهده نقض خط‌مشی، اقدامات غیرمجاز، و حتی نقص‌های نظارت انسانی. الزامات مشاهده‌پذیری کلیدی وجود نداشت - مانند شناسه‌های عامل که در طول زمان باقی می‌مانند، و سوابقی که انسان‌ها وظایف نماینده را تأیید کرده‌اند. این امر تشخیص اینکه کدام ماموران چه کاری انجام داده اند یا ارزیابی اینکه آیا آنها اقدامات غیرمجاز انجام می دهند دشوار است.

خبر خوب این است که این شکاف ها، پس از شناسایی، می توانند برطرف شوند. انجام این کار با ثبت دو نوع رکورد شروع می‌شود: آنهایی که نشان می‌دهند در جریان یک عامل چه اتفاقی افتاده است و نحوه تصمیم‌گیری نماینده. سوابق «آنچه اتفاق افتاد» عامل را شناسایی می‌کند (در حالی که حریم خصوصی را حفظ می‌کند) و نحوه مداخله انسان‌ها و تغییر مجوزهای نماینده یا «حافظه» را ثبت می‌کند، در حالی که سوابق «تصمیم‌گیری» استدلال و سطح اطمینان نماینده را در اقدامات انجام‌شده نشان می‌دهد.

به عنوان مثال، نمایندگانی را در نظر بگیرید که برای پردازش وام های رهنی بانک کار می کنند. سیستم یک درخواست را بررسی می کند و رد آن را توصیه می کند و سپس یک افسر وام انسانی تصمیم را امضا می کند. در ممیزی بعدی، یا شاید حتی در زمان واقعی، یک بانک یا رگولاتور باید بتواند بازسازی کند که کدام نماینده تماس را برقرار کرده، کدام افسر آن را تایید کرده است، و چه مدت طول کشیده است. و بانک همچنین باید سوابق نحوه رسیدن نماینده به تصمیم امتناع خود را تجزیه و تحلیل کند تا مطمئن شود که از اطلاعات غیرمجاز استفاده نکرده است، مانند جزئیات مربوط به محله ای که متقاضی از آنجا آمده است.

ثبت «آنچه اتفاق افتاد» و «چگونه نماینده تصمیم گرفت» به رویکردهای متفاوتی نیاز دارد، اما هر دو امکان پذیر هستند. فقدان فعلی سوابق "چه اتفاقی افتاده" بیشتر یک مشکل لوله کشی نرم افزاری است که می تواند از طریق OpenTelemetry، یک استاندارد مشاهده باز که توسط مهندسان در سراسر صنعت و توسط چارچوب های عاملی که آن را اتخاذ می کنند، حفظ شود، برطرف شود.

OpenTelemetry یک گروه کاری راه اندازی کرده است که فرمت های مشترک را برای عوامل ردیابی تهیه می کند، اما هنوز نهایی نشده است. گروه باید فورا استانداردهایی را برای حفظ هویت دائمی عامل و برای ثبت مداخلات انسانی و تغییرات در مجوز یا حافظه عوامل ترکیب کند. و باید قبل از اینکه این سیستم ها مقیاس شوند، انجام شود، و در عین حال به پیامدهای حریم خصوصی شناسه عامل که به افراد واقعی پیوند می دهد، توجه شود.

حفظ سوابق "چگونه ماموران تصمیم گرفتند" چالش برانگیزتر است. این موضوع سؤالات تحقیقاتی باز را برای ارائه دهندگان مدل و محققان ایجاد می کند: آیا استدلال گام به گام یک مدل که به عنوان زنجیره فکر شناخته می شود نشان می دهد که مدل واقعا چگونه تصمیم گرفته است؟ و آیا راه‌های قابل اعتمادی برای سنجش میزان اطمینان نماینده به آن تصمیم داریم؟ قبل از اینکه کسی استانداردهایی را برای نحوه استفاده از چنین رکوردهای مشاهده پذیری تعیین کند، این سؤالات نیاز به پاسخ دارند.

هیچ سازمان یا بخشی به تنهایی نمی تواند شکاف های مشاهده پذیری را ببندد، اما با هم می توانند زیرساخت های مورد نیاز برای جلوگیری از حوادث خطرناک و حمایت از ایمنی را پشتیبانی کنند.

توسعه‌دهندگان هوش مصنوعی که چارچوب‌های عاملی را می‌سازند، مانند OpenAI، Anthropic، CrewAI، و LangChain، باید سیگنال‌های تله‌متری را که هویت دائمی یک عامل، هرگونه مداخله انسانی، و هرگونه تغییر در مجوزها و حافظه یک عامل را ضبط می‌کند، ادغام کنند. در همین حال، شرکت‌هایی که این چارچوب‌های عامل را اتخاذ می‌کنند، نقش تأثیرگذاری دارند. شرکت‌ها در صنایع تحت نظارت، مانند بانک‌ها و بیمارستان‌ها، می‌توانند بر توسعه‌دهندگان عامل فشار بیاورند تا این سوابق مشاهده ناپدید را در جایی که هنوز استانداردها وجود ندارد، ارائه کنند.

شرکت‌ها همچنین باید خط‌مشی‌ها، مجوزها و نقش‌هایی را تعریف کنند که مشخص کند عوامل می‌توانند با خیال راحت انجام دهند، زیرا تله متری به تنهایی نمی‌تواند ارزیابی کند که آیا نمایندگان قوانین خاصی را زیر پا می‌گذارند یا خیر. در نهایت، تنظیم‌کننده‌ها و مؤسسات استانداردهای هوش مصنوعی باید سوابق مشاهده‌پذیری مورد نیاز برای استقرار هوش مصنوعی با ریسک بالا را مشخص کنند و در عین حال جزئیات فنی را به صنعت واگذار کنند. ما قبلا شتاب اولیه را در اینجا دیده‌ایم: ابتکار استانداردهای عامل NIST در ایالات متحده روی هویت عامل کار می‌کند، یکی از برجسته‌ترین شکاف‌هایی که در تحقیقات خود یافتیم.

هیچ بانکی اجازه نمی دهد هزار کارمند بدون نشان در حساب های مشتریان خود غافل شوند و امیدوار باشند که وقتی مشکلی پیش می آید، اتفاقی که افتاده است را جمع آوری کند. با این حال، این روشی است که ما عوامل هوش مصنوعی را مستقر می کنیم. قابل مشاهده کردن رفتار آنها اولین قدم برای رفع این مشکل است. و با ساختن اکوسیستم نظارتی و سیاستی که امکان عمل بر اساس آنچه می بینیم را ممکن می سازد، می توانیم سازمان ها را پاسخگو بدانیم. تا آن زمان، هر کاری که به یک نماینده واگذار می کنیم، نمایندگی ما را نیز به عهده می گیرد.

مادولیکا سریکومار رئیس برنامه ایمنی هوش مصنوعی در Partnership on AI است، یک مشارکت غیرانتفاعی جهانی از سازمان‌های پیشرو صنعتی، دانشگاهی و جامعه مدنی، که بهترین شیوه‌ها را در حکمرانی هوش مصنوعی پیش می‌برد.

Claire Leibowicz مدیر AI، Trust و Society در Partnership on AI و کاندیدای دکترا در دانشگاه آکسفورد است.