یک پیمانکار دفاعی به عامل هوش مصنوعی شخصی خود اجازه دسترسی به سیستم امن پنتاگون را داد

سیستم متمرکز حاوی اطلاعات طبقه بندی نشده کنترل شده (CUI) است که حساس تلقی می شود و نباید بدون بررسی برای عموم منتشر شود. CUI می‌تواند شامل اطلاعاتی درباره زیرساخت‌های حیاتی، نیروی محرکه زیردریایی هسته‌ای، و آسیب‌پذیری‌ها در برابر تروریسم شیمیایی و بیولوژیکی باشد. علاوه بر این، کارشناسان امنیتی می‌گویند، دسترسی به این سیستم می‌تواند امکان بهره‌برداری از سیستم‌های حساس‌تر را نیز فراهم کند. یک منبع آگاه از این حادثه که خواست نامش فاش نشود، می‌گوید: «این همه داده‌های موجود در آنجا را در معرض خطر قرار می‌دهد.»

اگر نرم افزار شخص ثالث به خطر بیفتد، "ممکن است شخصی وجود داشته باشد که بتواند بدون اطلاع کسی وارد یک محیط امن شود. این 100 درصد یک تهدید امنیت ملی است و می تواند صدمات جبران ناپذیری به بار آورد." یکی از سخنگویان وزارت دفاع آمریکا به WIRED می گوید که "وزارت در مورد وضعیت شبکه ها یا سیستم های خود اظهار نظر نمی کند." یکی از سخنگویان Accenture به WIRED گفت: "ما همه نگرانی ها را جدی می گیریم. این اتهامات به طور کامل و مستقل مورد بررسی قرار گرفت و مشخص شد که فاقد ارزش است. ما به طور کامل به تعهدات قانونی و قراردادی خود عمل کردیم."

هنگامی که تحت فشار قرار گرفت، Accenture توضیحی در مورد اینکه چه کسی تحقیقات را انجام داده است، یا مناقشه ای ارائه نکرد که می تواند به عنوان یک حادثه توصیف شود. گفته می شود که کارمند Accenture یک محیط تولید امن را به حساب شخصی Claude خود متصل کرده است تا به یک عامل هوش مصنوعی اجازه می دهد کد بنویسد و اجرا کند. کلود در حال حاضر توسط کارکنان وزارت دفاع ممنوع است.

(آنتروپیک WIRED را به خط مشی استفاده شرکت هدایت می کند، که به کاربران دستور می دهد از محصولات آن برای "تداخل در عملکرد پایگاه های نظامی و زیرساخت های مرتبط" یا "دور زدن کنترل های امنیتی مانند سیستم های احراز هویت، حفاظت از نقطه پایانی، یا ابزارهای نظارت بدون مجوز استفاده نکنند.") عامل هوش مصنوعی کارمند Accenture به مدت دو ماه در شبکه DOD کار کرد تا اینکه شناسایی شود و آسیب پذیری برطرف شود. منابع نشان می‌دهند که با وجود خطرات امنیتی ناشی از عامل کدگذاری هوش مصنوعی، کارمندان Accenture این حادثه را جدی یا فوری تلقی نکردند.

کارمندان وزارت دفاع آمریکا و پیمانکاران فدرال موظفند هر حادثه امنیت سایبری را ظرف 72 ساعت پس از کشف آن گزارش کنند، اما منابع نشان می‌دهند که Accenture در ابتدا به هیچ وجه این نقض را به دولت گزارش نکرده است. این کارمند با اشاره به اینکه ایران تلاش کرده است چندین آژانس فدرال و بخش هایی از زیرساخت های ایالات متحده را هک کند، می گوید: «ما در حال حاضر با ایران درگیر هستیم. "این بدترین زمان برای داشتن این نوع نگرش اسب سواری است."

نکته ای دارید؟

آیا شما یک کارمند فعلی یا سابق دولت هستید که می خواهید در مورد آنچه اتفاق می افتد صحبت کنید؟ ما می خواهیم از شما بشنویم. با استفاده از تلفن یا رایانه غیر کاری، با خبرنگاران به صورت ایمن در Signal در velliott88.18 تماس بگیرید.

Accenture در حال حاضر بیش از 3.5 میلیارد دلار قرارداد با دولت فدرال دارد که نزدیک به 605 میلیون دلار آن با وزارت دفاع است. این شرکت همچنین با سایر آژانس های فدرال مانند وزارت آموزش، اداره خدمات عمومی، و وزارت انرژی و غیره قرارداد می بندد. در اوایل این ماه، دفتر تحقیقات فدرال دریافت که یک پیمانکار Accenture نتوانسته آسیب‌پذیری را اصلاح کند که منجر به دسترسی گروه هکری ShinyHunters به ​​جزئیات هزاران کارمند این دفتر شد.

اف بی آی این پیمانکار را در اوایل اکتبر برکنار کرد. مت ترینر، بنیانگذار Hunter Strategy، یک شرکت مشاوره فناوری اطلاعات مستقر در واشنگتن، می‌گوید که این موضوع نمونه‌ای از خواسته‌های متناقض است که پیمانکاران دولتی به طور گسترده‌تری با آن مواجه هستند. ترینر می‌گوید: «سازمان‌ها اغلب به خاطر گزارش حوادثی مانند این مجازات می‌شوند، حتی اگر این کار درست و قانونی باشد.

او می‌گوید در بسیاری از موارد، یک شرکت می‌تواند با اعتراف به نقض امنیتی، قراردادهای دولتی را از دست بدهد، اگرچه او می‌گوید که حادثه‌ای مانند آنچه توضیح داده شد «کاملا باید گزارش شود». ترینر همچنین خاطرنشان می کند که افزایش فشار بر پیمانکاران برای تحویل پروژه ها سریعتر و با قیمت پایین تر در تضاد با اولویت دادن به ایمنی و امنیت است.

Triner می‌گوید: «متاسفانه، همه در سیستمی کار می‌کنند که قوانین و مشوق‌های رقابتی در آن وجود دارد و قبل از هوش مصنوعی وجود داشت، اما اکنون مشکل مشابه سرعت است. محیط کدگذاری که توسط پیمانکار Accenture به آن دسترسی پیدا می کند، روی شبکه مسیریاب پروتکل اینترنت غیر طبقه بندی شده (NIPRNet)، یک شبکه DOD که برای اطلاعات طبقه بندی نشده استفاده می شود، اجرا می شود.

در حالی که به اینترنت متصل است - پیمانکاران و کارمندان می توانند از طریق شبکه به ایمیل ها و مرورگرهای وب خود دسترسی داشته باشند - به شدت ایمن است. به گفته منبع، به منظور خودکار کردن فرآیند نوشتن کد و چرخش سرورهای ابری، پیمانکار اعتبار ورود خود را به عامل کلود داده است. این به عامل دسترسی مدیریتی داد و به آن اجازه داد تا کنترل‌های امنیتی اعمال شده از طریق فرآیند ورود عادی را دور بزند.

عامل هوش مصنوعی – که نه تنها کد می‌نوشت، بلکه آن را متعهد می‌کرد یا کد را از طرف کارمند Accenture در سیستم ذخیره می‌کرد، برای انجام وظایف خود باید به اینترنت متصل می‌شد. با انجام این کار، به نظر می رسد که اعتبارنامه ورود پیمانکار، رمز عبور و نقشه NIPRNet را به یک وب سایت شخص ثالث ارسال کرده است. WIRED از نام‌گذاری وب‌سایت شخص ثالث برای محافظت از سیستم در برابر آسیب‌پذیری بیشتر خودداری می‌کند، اما مؤسسه ملی استاندارد و فناوری (NIST) قبلا آن را به‌عنوان پرخطر شناسایی کرده بود زیرا آسیب‌پذیری دارد که می‌تواند به هکرها اجازه تزریق کند.

دستورالعمل های موجود در یک عامل کدنویسی هوش مصنوعی برای سرقت اعتبار. سیستمی که عامل هوش مصنوعی به آن دسترسی داشت حاوی CUI بود. منبع می گوید: «اطلاعات یک محیط CUI قرار نیست از آن زیرساخت خارج شود. "هیچ بینشی در مورد اینکه چه اتفاقی برای اطلاعات، از جمله اعتبارنامه های ورود به سیستم، پس از ارسال به [آن سرویس] افتاده است، وجود ندارد، اینکه آیا حفظ شده است یا خیر." بسته به آژانس و کار آن، CUI می‌تواند شامل هر چیزی از اطلاعات شناسایی شخصی (PII) تا اطلاعات تجاری یا قراردادی اختصاصی باشد.

طبق وب‌سایت وزارت دفاع، CUI می‌تواند شامل اطلاعاتی در مورد «ایمن سازی و حفاظت از مواد منفجره، مواد شیمیایی خطرناک یا خطوط لوله»، اسناد مربوط به طرح‌های «تجهیزات یا فناوری نظامی یا فضایی» باشد. و "محل دقیق و مقادیر مواد رادیواکتیو." جدا از داده های واقعی، نقشه آن می تواند برای یک هکر بسیار ارزشمند باشد.

ترینر می‌گوید: «وقتی مهاجم بفهمد که این چیزها چگونه با هم تطبیق می‌یابند، حتی اگر آن چیزها اطلاعات عمومی باشند، آنچه حساس است این است که چگونه آن چیزها را کنار هم قرار می‌دهیم و آن را به اطلاعاتی عملی تبدیل می‌کنیم. او می‌گوید در حالی که نقشه ممکن است یک هکر را وارد سیستم نکند، اما می‌تواند به حریف کمک کند پس از دسترسی سریع‌تر حرکت کند و «به مهاجم کمک کند تا بفهمد جواهرات تاج کجاست». جیک ویلیامز، هکر سابق آژانس امنیت ملی و دانشکده IANS، یک مشاور اطلاعاتی و امنیتی، می‌گوید که یک عامل هوش مصنوعی که کد را در NIPRNet اجرا می‌کند، «مشکل بزرگی را ارائه می‌کند.

امنیت ملی ge. ویلیامز خاطرنشان می‌کند که اگرچه تک تک داده‌ها یا اطلاعات ممکن است CUI در نظر گرفته شوند، «وقتی آن اطلاعات طبقه‌بندی‌نشده تجمیع می‌شود، می‌تواند خودش طبقه‌بندی شود». به عنوان مثال، مکان برخی از مواد خطرناک ممکن است CUI باشد، همانطور که ممکن است اطلاعاتی در مورد آسیب پذیری امکاناتی که آنها را در خود جای داده است، باشد. با این حال، ترکیب آنها می تواند اطلاعاتی را آشکار کند که طبقه بندی شده نگه داشته می شود. اما این تنها راهی نیست که اطلاعات طبقه بندی شده در معرض خطر قرار گرفته باشد.

اغلب، ابزارها و کدها قبل از استقرار در سیستم‌های حساس‌تر مانند شبکه روتر پروتکل اینترنتی مخفی (SIPRNet)، شبکه امن ارتش برای اطلاعات طبقه‌بندی‌شده، و سیستم ارتباطات اطلاعاتی مشترک جهانی (JWICS)، اینترانت امن برای اطلاعات فوق سری، در NIPRNet آزمایش می‌شوند. هر دو SIPRNet و JWICS دارای شکاف هوا هستند، یک اقدام امنیتی که به این معنی است که آنها به هیچ شبکه خارجی متصل نیستند.

در سطح عملی، این بدان معناست که دسترسی از راه دور SIPRNet و JWICS برای هکرها بسیار دشوار است. اما با اعتبار ورود به سیستم توسط یک عامل هوش مصنوعی، یک هکر می تواند به NIPRNet دسترسی پیدا کند و یک درب پشتی یا کد مخرب دیگر را در یک ابزار یا سیستم وارد کند. بدون بررسی مناسب، این کد ممکن است در یکی از سیستم‌های دارای شکاف هوا مستقر شود. ویلیامز می‌گوید: «کد می‌تواند به طور کاملا عادی در NIPR عمل کند و کاری مخرب و نامشخص در شبکه SIPR انجام دهد، که 100 درصد امکان‌پذیر است».

او می افزاید که استخراج داده ها از این شبکه ها دشوار خواهد بود، اما می توان از کدهای مخرب برای حمله به سیستم ها از داخل استفاده کرد. او می‌گوید: «من فکر می‌کنم محتمل‌ترین چیز نوعی حمله انکار سرویس توزیع‌شده باشد. Triner می گوید که حتی چیزهای ظریف تر، مانند کاهش سرعت عملیات و فعالیت های اطلاعاتی، می تواند باعث آسیب شود و باعث شود کاربران اعتماد خود را به ابزاری از دست بدهند، حتی اگر مشکل برطرف شود. با رایج‌تر شدن کدنویسی vibe یا ترغیب دستیار هوش مصنوعی برای نوشتن کد محصولی که توسط یک مهندس توصیف شده است، کد بررسی بیشتر به یک c تبدیل می‌شود.

هالنج هوش مصنوعی قادر به تولید کد با حجمی است که به مراتب از بهره وری انسان پیشی می گیرد و بررسی آن را زمان بر و دشوار می کند. ویلیامز می‌گوید: «وقتی از یک عامل استفاده می‌کنید، هیچ ایده‌ای از زنجیره تأمین یا حتی زنجیره استنتاج آنچه در نهایت کد را ایجاد کرده است، ندارید. بسیاری از کدهایی که این LLM ها بر روی آنها آموزش دیده اند، خود آسیب پذیر هستند، و می توانند همان نوع معماری و مسائل معماری را که در کدهای دیگر می بینیم، بازگردانند. دولت راهی برای شناسایی کدهای معیوب در NIPRNet دارد.

تست امنیت برنامه استاتیک (SAST) قبل از اجرای کد، باگ ها و نقص ها را اسکن می کند. اما ویلیامز خاطرنشان می‌کند که «درپشتی» که توسط هکرها درج شده آسیب‌پذیری نیست، حتی اگر ما آن را در آنجا نخواهیم، ​​و بنابراین احتمالا زیر رادار شناسایی SAST پرواز می‌کند. SAST همچنین معمولا مسائل ساختاری را در زنجیره منطقی نحوه ایجاد کد شناسایی نمی کند. هیچ نشانه ای وجود ندارد که هکرها بتوانند وارد یک سیستم طبقه بندی شده یا فوق سری شوند. با این حال، ویلیامز می گوید، این حادثه باید هشدارهای قابل توجهی را ایجاد کند.

او می‌گوید: «از نظر معماری، هر اطلاعاتی در مورد NIPR که نمی‌توانید از طریق اطلاعات منبع باز مشاهده کنید، DOD بدون در نظر گرفتن اینکه چیزی به یک شبکه طبقه‌بندی شده برخورد می‌کند یا خیر، آن را بسته نگه می‌دارد. این اولین بار نیست که وزارت دفاع آمریکا به دلیل مسائل مربوط به هوش مصنوعی آسیب پذیر می شود. سال گذشته، ProPublica فاش کرد که مایکروسافت از «اسکورت دیجیتال» در پروژه‌های خود با دولت فدرال استفاده می‌کند، که در آن کارمندان آمریکایی با مجوزهای امنیتی بر کد نوشته شده توسط کارگران برون‌سپاری در چین نظارت می‌کنند.

کارشناسانی که با ProPublica صحبت کردند گفتند که این برنامه خطر امنیتی خاصی را به همراه داشت زیرا کارمندان آمریکایی اغلب نمی‌توانستند خودشان این کد را بررسی کنند و در نتیجه فرصت‌هایی برای کدهای مخرب ایجاد می‌شد که ناآگاهانه در سیستم‌های دولتی درج می‌شد.