زمانی که مدل های هوش مصنوعی از مبارزه با هکرها خودداری می کنند

در رقابت برای دفع تهدیدات سایبری مبتنی بر هوش مصنوعی، تیم‌های امنیتی با مشکل جدیدی روبرو هستند: مدل‌های هوش مصنوعی که برای بررسی حملات به آنها تکیه می‌کنند، می‌توانند ناگهان از کمک کردن خودداری کنند.

چرا مهم است: در حالی که غول‌های هوش مصنوعی برای ساخت ابزارهای هوش مصنوعی رقابت می‌کنند که می‌توانند به سرعت به هک یا سایر تهدیدات مخرب آنلاین پاسخ دهند، حفاظ‌های سختگیرانه در قدرتمندترین مدل‌هایشان مانع از تحقیقات مدافعان در اواسط تحقیقات می‌شوند و آنها را مجبور می‌کند در لحظات حساس به دنبال جایگزین‌ها باشند. چه اتفاقی می‌افتد: OpenCode، یک عامل کدنویسی AI منبع باز، گفت که در آخر هفته به خطر افتاده است و به مهاجمان اجازه می‌دهد کلیدهای API متعلق به برخی از مشتریان از جمله کلیدهای OpenAI، Anthropic و سرویس‌های Google را به دست آورند. OpenCode گفت که این نقض "مربوط به یک حمله تقطیر در مقیاس بزرگ است که 1.4٪ را تحت تاثیر قرار داده است.

از کاربران کنسول OpenCode."

Dax Raad یکی از خالقان OpenCode گفت که مهاجمان به مدت 48 ساعت سیستم های آن را به طور مداوم هدف قرار داده اند و شرکت را مجبور کرده اند تا عوامل هوش مصنوعی خود را برای پاسخگویی شبانه روزی در حال اجرا نگه دارد.

OpenAI، Google و Anthropic گفته‌اند که با مشتریان آسیب‌دیده برای لغو کلیدهای API افشا شده و پرداخت هزینه‌های استفاده غیرمجاز کار کرده‌اند. بزرگنمایی: رعد در X گفت که مدل‌های هوش مصنوعی در ابتدا به بررسی نقض کمک کردند اما سپس «شروع به امتناع کردند». محدودیت‌های ایمنی مدل‌ها طبق گزارش‌ها شروع به مسدود کردن درخواست‌ها کردند، زیرا تحقیقات به کدهای بالقوه مخرب تبدیل شد، حتی اگر OpenCode در تلاش بود از سیستم‌های خود دفاع کند.

سپس OpenCode به برنامه Daybreak Blue OpenAI دسترسی پیدا کرد که به مدافعان امنیت سایبری بررسی شده امکان دسترسی به مدل‌هایی با محدودیت‌های کمتر را می‌دهد.

رعد در روز دوشنبه X نوشت: «ما قطعا باید فعال‌تر باشیم و در چند روز گذشته پیشرفت‌های زیادی انجام داده‌ایم. تصویر بزرگ: این حادثه بر معضلی که تیم‌های امنیت سایبری با آن‌ها روبه‌رو هستند، در تلاش برای کشف زمان استفاده از مدل‌های قدرتمند هوش مصنوعی اختصاصی، که دارای محدودیت‌های داخلی هستند، یا جایگزین‌های وزن باز که کنترل بیشتری بر نحوه استقرار آن‌ها ارائه می‌دهند، تاکید کرد. وقتی Hugging Face فعالیت مشکوکی را در سیستم‌های خود کشف کرد که بعدا آن را به عوامل خود OpenAI مرتبط کرد، تیم امنیتی آن به یک مدل وزن باز چینی روی آورد تا پس از مواجهه با آن به بررسی کمک کند.

محدودیت در مدل های مرزی بله، اما: شرکت‌های هوش مصنوعی معتقدند که باید به قدرتمندترین مدل‌های خود دسترسی داشته باشند تا مطمئن شوند که عوامل مخرب نمی‌توانند از قابلیت‌های سایبری آنها سوء استفاده کنند.

کریس جونز، مدیر ارشد فناوری نایت‌وینگ، به Axios گفت: تیم‌های امنیت سایبری باید بفهمند که چگونه نیاز به دفاع‌های سریع‌تر مجهز به هوش مصنوعی را با محدودیت‌هایی که برای دور نگه داشتن همین قابلیت‌ها از دست مهاجمان طراحی شده‌اند، متعادل کنند. جونز گفت: "همه ما باید بفهمیم که چگونه این مسابقه در طول زمان تعدیل می شود." "این یک قطعه بزرگ است." عمیق تر بروید: Anthropic و OpenAI اکنون پادشاهان امنیت سایبری هستند