عوامل هوش مصنوعی خطر جدیدی ایجاد نمی کنند. آن را به ارث می برند

در ماه ژوئیه، دو مدل تحقیقاتی OpenAI برای آزمایش نشستند. یک معیار امنیت سایبری داخلی، و قرار بود مجموعه ای از چالش های بهره برداری را حل کنند. در عوض، آنها متوجه شدند که کلید پاسخ احتمالا روی Hugging Face، جایی که فایل‌های بنچمارک میزبانی می‌شد، قرار داشت و برای دریافت آن رفتند.

به دست آوردن آن یک روز صفر در یک مدیر بسته، تعدادی اعتبار به سرقت رفته و افزایش امتیاز در شبکه خود OpenAI طول کشید. مدل‌ها از جعبه شنی ارزیابی خارج شدند، به زیرساخت تولید Hugging Face رسیدند و به اجرای کد از راه دور دست یافتند. Hugging Face بعدا حدود 17600 اکشن را در چهار و نیم روز از این زمان بازسازی کرد.

هیچ کس به آنها نگفت که به چیزی حمله کنند. در یک امتحان تقلب می کردند.

دو حادثه دیگر در آنتروپیک و متا دنبال شد و آن‌ها به نحوی متفاوت بودند که اهمیت دارد. آن مدل‌ها مسیری برای خروج ایجاد نکردند. آنها یکی را پیدا کردند که قبلا آنجا بود، زیرا محیط ارزیابی اشتباه تنظیم شده بود.

بنابراین، از سه حادثه‌ای که در ماه اوت به راهنمایی مرکز امنیت سایبری ملی بریتانیا (NCSC) منجر شد، یکی مأموری بود که کاری واقعا بدیع انجام می‌داد و دو مورد نیز مأموری بودند که از دری عبور می‌کردند که شخصی را باز گذاشته بود.

حدس بزنید که در محیط خود کدام نوع را بیشتر خواهید داشت.

غریزه ساختن یک مقوله جدید، غریزه اشتباهی است

رفلکس در حال حاضر این است که همه اینها را به عنوان یک مقوله امنیتی جدید در نظر بگیریم. استراتژی جدید مهار، انجمن جدید حکمرانی، ردیف جدید در بودجه، احتمالا نام اختصاری جدید قبل از پایان سال. من جذابیت را درک می کنم. تامین مالی یک چیز جدید بسیار ساده تر از این است که بپذیریم چیز قدیمی هرگز تمام نشده است.

اما نگاه کنید که یک عامل در واقع در سازمان شما چیست. در حال اجرا بر روی برخی از حقوق دسترسی کارمندان است. تحت هویت آنها یا یک حساب خدماتی که آنها ایجاد کرده اند کار می کند. دامنه آن هر چیزی است که آنها فکر می کردند وقتی آن را در یک بعدازظهر سه شنبه پیکربندی می کنند محدود کند، که معمولا کمتر از چیزی است که شما انتظار دارید. یک نماینده را به دو نفر مختلف تحویل دهید و دو پروفایل ریسک متفاوت دریافت می کنید، زیرا عامل تغییر نکرده است. انسان انجام داد.

این جدید نیست. این همان چیزی است که ما پانزده سال است که آن را ریسک داخلی می نامیم، با حذف تاخیر.

برخی از مواردی که قبلا مالک آن هستید، به طور خالص نقل و انتقالات می کنند، که این خبر خوب است و همچنین دلیل اینکه من هرکسی را که به شما یک گرین فیلد بفروشد، عقب نشینی می کنم. پایه گذاری رفتاری کار می کند. زمانی که فعالیت کاربر از الگوی او خارج می‌شود، قبلا پرچم‌گذاری می‌کنید، و یک عامل ربوده شده مانند همان کلاس انحراف به نظر می‌رسد. حاکمیت هویت نیز کار می کند.

بررسی‌های دسترسی و دفترچه راهنمای خارج‌شده‌ای که برای ترک‌کنندگان استفاده می‌کنید، برای اعتبارنامه‌های نماینده اعمال می‌شوند، و اگر از آن صرفنظر کنید، در نهایت با عواملی مواجه می‌شوید که با خوشحالی دسترسی شخصی را که در ماه مارس ترک کرده است، انجام می‌دهند.

چیزی که منتقل نمی شود، ابزار است.

مدل گسترش می یابد. ابزار این کار را نمی کند.

DLP حول محور انتقال یک فایل توسط انسان ساخته شده است. سرعت و شکلی از انتقال داده را در نظر می گیرد که عاملان آن را ندارند. کنترل‌های دسترسی و کانتینری‌سازی مرزی را ترسیم می‌کنند، که تا آنجا که پیش می‌رود مفید است، اما در مورد آنچه در سمت مجاز آن اتفاق می‌افتد چیزی به شما نمی‌گویند. خزش محدوده یک نقض محیطی نیست. این نماینده ای است که به تدریج بیش از آنچه در نظر داشت انجام می دهد، کاملا در چارچوب قوانینی که ارائه شده است.

تزریق سریع در زیر همه اینها قرار دارد. شخصی دستورالعمل‌ها را در ایمیل یا سندی قرار می‌دهد که خطاب به هوش مصنوعی است که آن را می‌خواند تا شخص. مهاجم هرگز نیازی به سرقت اعتبار کارمند ندارد. نماینده از قبل آنها را نگه داشته است.

که من را به بخش غیر پر زرق و برق می رساند و تنها توصیه ای است که در اینجا در مقابل هیئت مدیره از آن دفاع می کنم. شما باید بدانید که در واقع چه چیزی در حال اجرا است.

Shadow AI مفهوم جدیدی نیست، اما هنوز هم بیداد می کند و عوامل باعث می شوند که جنبه غیرمجاز آن دشوارتر شود. 98 درصد از سازمان ها در حال حاضر ابزارهای هوش مصنوعی غیرمجاز را در حال استفاده هستند. با توجه به تله متری Mimecast، ابزارهای GenAI غیرمجاز تقریبا هر ساعت 8000 کپی پیست و آپلود فایل را مشاهده می کنند. تنها به یکی از این تعاملات نیاز است تا باعث نقض GDPR یا نشت IP شود.

به همین دلیل است که پیگیری استفاده از هوش مصنوعی در سازمانی با موجودی زنده بسیار مهم است. لیستی از سه ماهه گذشته نیست. یک زنده. فروشندگان همچنان هوش مصنوعی را در ابزارهایی که دو سال پیش تحریم کرده‌اید روشن می‌کنند، بنابراین موجودی خراب می‌شود، چه چیزی در محیط شما تغییر کند یا نه. کنترل‌های بی‌درنگ جریان داده، تشخیص ناهنجاری، فهرست‌نویسی هویت عامل، همه این‌ها بعد از این اتفاق می‌افتند و هیچ‌یک بدون آن کار زیادی انجام نمی‌دهند.

با دید شروع کنید. همیشه.

اولی وایت هاوس در NCSC این را بهتر از آنچه من می خواهم بیان کرد: تکیه بر تشخیص تنها، پس از این واقعیت، کافی نخواهد بود.

عوامل خطر جدیدی اختراع نکردند. آن‌ها فاصله بین فردی که تصمیمی بی‌دقت برای پیکربندی می‌گیرد و تصمیمی که هزینه‌ای برای شما داشت، برداشتند و آن را به چند ثانیه کاهش دادند. بسیاری از ما معماری‌هایی را اجرا می‌کنیم که فرض می‌کردیم زمان بیشتری خواهیم داشت.

بنابراین قبل از اینکه راه حل نقطه ای دیگری را امضا کنید، بروید و آنچه را که قبلا در آن وجود دارد، پیدا کنید. شرط می بندم بیشتر از آن چیزی است که شما فکر می کنید، و شرط می بندم که بیشتر آن بدون اینکه کسی تصمیمی بگیرد رسیده است.

ما بهترین نرم افزار آنتی ویروس را معرفی کرده ایم.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit