ماموران سرکش هوش مصنوعی یک اتفاق نیستند، آنها الگو هستند

در بازه زمانی کمی بیش از دو هفته در تابستان امسال، سه تن از توسعه‌دهندگان هوش مصنوعی جهان به همین موضوع ناراحت‌کننده اعتراف کردند. مدل های خود آنها از جعبه شنی بیرون آمدند و سیستم هایی را که هرگز قرار نبود با آنها تعامل داشته باشند، لمس کردند.

OpenAI در 21 ژوئیه فاش کرد که مدل‌هایی که ارزیابی می‌کند از یک آسیب‌پذیری و زیرساخت‌های تولید در Hugging Face بهره‌برداری می‌کنند، حادثه‌ای که این شرکت می‌گوید توسط یک عامل خودمختار و بدون هیچ انسانی هدایت‌کننده آن سرتاسر به وجود آمده است.

چند روز بعد، آنتروپیک گفت که سه مدل کلودش، از جمله Opus 4.7 و جدیدترین Mythos 5، به سیستم‌های سه سازمان خارجی در طول تمرین‌های تست امنیت سایبری دسترسی پیدا کرده و آنها را به خطر انداخته‌اند، پس از پیکربندی نادرست که باعث شد مدل‌ها به اینترنت باز متصل شوند، در حالی که به آنها گفته شده بود که به اینترنت متصل نیستند.

و در 5 آگوست، متا تایید کرد که مدل Muse Spark 1.1 سیستم‌های یک شرکت ناشناس را تحت شرایط کاملا مشابه نقض کرده است.

یک الگو، نه یک ناهنجاری

با سرعت فعلی، این رویداد نادری نیست که تیم های امنیتی بتوانند سالی یک بار برنامه ریزی کنند. در حال تبدیل شدن به یک آیتم خط تکراری است. قابل‌توجه، حوادث Anthropic و Meta به یک شریک ارزیابی شخص ثالث بازمی‌گردد، و در مورد متا، ریسک سایبری مدل قبل از فرآیند آزمایش به معنای تأیید این بود که ارزیابی منجر به نقض یک شرکت واقعی شده است، قبلا به‌عنوان بالاتر از متوسط ​​ارزیابی نشده بود.

این جزئیات مهم است زیرا نشان می دهد که نقطه شکست فقط مدل نیست. این داربست‌های اطراف ارزیابی‌ها، مجوزها و مسیرهای شبکه است که سازمان‌ها تصور می‌کنند تا زمانی که وجود نداشته باشد، وجود دارد.

این باید به عنوان یک هشدار اولیه برای سازمان ها در مورد حرکت سیستم های مستقل از تولید محتوا به اجرای عمل تلقی شود. درس عملی که اکنون سه بار تکرار شده است، این است که سیستم‌های هوش مصنوعی پیشرفته می‌توانند به روش‌های مضر یا غیرمنتظره رفتار کنند، حتی زمانی که هدف اصلی مخرب نباشد، به‌ویژه زمانی که ابزارها، مسیرهای شبکه، اعتبارنامه‌ها و مشوق‌هایی برای تکمیل یک کار به هر قیمتی به آنها داده می‌شود.

برای شرکت‌ها، مهم این است که پذیرش هوش مصنوعی را متوقف نکنند. این است که هوش مصنوعی عاملی را به عنوان یک کلاس جدید از بار کاری ممتاز در نظر بگیریم که به مهار، قابلیت مشاهده و کنترل‌های زمان اجرا قابل اجرا نیاز دارد.

عوامل حکومتی مانند کارگران دیجیتال پرخطر

این با مدیریت هویت عامل هوش مصنوعی شروع می شود. شرکت ها باید این رشته را دوچندان کنند و در مورد آنچه که نمایندگان مجاز به دسترسی و انجام چه کارهایی هستند، بسیار آگاه باشند. هر نماینده باید یک هویت منحصر به فرد، مجوزهای محدوده، اعتبار کوتاه مدت و مالکیت روشن داشته باشد، بنابراین سازمان ها می توانند اقدامات را به یک سیستم خاص، مورد استفاده و صاحب کسب و کار پاسخگو ردیابی کنند.

دسترسی باید به‌طور پیش‌فرض، با گیت‌های تأیید صریح برای فعالیت‌های پرخطر مانند دسترسی به اینترنت، اجرای کد، بازیابی اعتبار، انتقال داده‌ها یا تغییرات در سیستم‌های تولید محدود شود.

از نظر عملی، سازمان‌ها باید بر عوامل هوش مصنوعی مانند کارکنان دیجیتال پرخطر نظارت داشته باشند: حداقل امتیاز به‌طور پیش‌فرض، جدایی بین محیط‌های آزمایش و تولید، گزارش دقیق استفاده از ابزار و تعاملات سیستم، و یک سوئیچ کشتن که تیم‌های امنیتی می‌توانند در لحظه انحراف رفتار از خط‌مشی ایجاد کنند.

پیشگیری، نظارت و راه پیش رو

پیشگیری همچنین مستلزم حرکت فراتر از تست امنیتی برنامه های کاربردی سنتی است. سازمان‌ها باید در برابر مسیرهای سوءاستفاده واقع‌بینانه، از جمله تزریق سریع، سوء استفاده از ابزار، حرکت جانبی، برداشت اعتبار، استخراج داده‌ها و تلاش برای دور زدن محدودیت‌های جعبه شنی، عوامل تیم قرمز را به کار گیرند. آنها همچنین باید به طور مداوم عوامل را برای تأثیرات مضر، نه فقط نقص فنی، نظارت کنند.

این بدان معناست که مراقب تلاش‌های دسترسی غیرمجاز، رفتار غیرمعمول زنجیره‌ای ابزار، جابجایی غیرمنتظره داده‌ها، نقض خط‌مشی‌ها و اقداماتی باشید که می‌تواند آسیب‌های عملیاتی، امنیتی، حریم خصوصی یا اعتبار ایجاد کند. ممیزی‌های دوره‌ای باید مجوزها، هویت‌ها، گزارش‌ها، توجیه تجاری و رفتار واقعی را بررسی کنند تا تأیید شود که هر نماینده همچنان در چارچوب هدف مورد نظر و تحمل ریسک خود عمل می‌کند.

آیا این تبدیل به یک روند خواهد شد؟ با افشای سه مورد در هفده روز، این سوال تقریبا حل شده است. عوامل خودمختار به طور فزاینده ای قادر خواهند بود نقاط ضعف را سریعتر از فرآیندهای امنیتی سنتی کشف، ترکیب و بهره برداری کنند.

خطر فقط «هک کردن هوش مصنوعی توسط هوش مصنوعی» نیست. این یک تصمیم گیری مستقل است که در داخل اکوسیستم های دیجیتال پیچیده عمل می کند که در آن یک مدل، افزونه، مجموعه داده، API یا مسیر هویت می تواند به پل ارتباطی با محیطی دیگر تبدیل شود، دقیقا همان چیزی که در Hugging Face، داخل محیط آزمایش Anthropic و اکنون در Meta انجام می شود.

شرکت‌هایی که بهترین موقعیت را خواهند داشت، آن‌هایی هستند که نوآوری هوش مصنوعی را با مدیریت هویت منضبط، محدودیت دسترسی، نظارت مستمر، و شیوه‌های حسابرسی معمولی جفت می‌کنند، نه اینکه هر افشای جدید را به‌عنوان یک رویداد مجزا در نظر بگیرند تا بعد از این واقعیت به آن واکنش نشان دهند.

پیام عملگرایانه برای مدیران، به ویژه با افزایش روزافزون این فهرست از شرکت‌ها، این است که هوش مصنوعی عاملی می‌تواند ارزش تجاری قابل توجهی ایجاد کند، اما تنها در صورتی که استقلال با مسئولیت‌پذیری، مهار و نرده‌های حفاظتی عملیاتی مطابقت داشته باشد.

ما بهترین نرم افزار حفاظت نقطه پایانی را معرفی کرده ایم.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit