وقتی هوش مصنوعی مسیری را پیدا می‌کند که نمی‌دانستید وجود دارد

در ژوئیه 2026، OpenAI فاش کرد که چندین مدل هوش مصنوعی با قابلیت سایبری که در طی ارزیابی‌های داخلی عمل می‌کنند، کنترل‌هایی را که برای جدا کردن آنها از اینترنت بود دور زدند و بخش‌هایی از زیرساخت‌های تحقیقاتی OpenAI و سیستم‌های Hugging Face را به خطر انداختند.

گزارش کامل‌تری که در ماه بعد منتشر شد نشان داد که عوامل از زیرساخت‌های مشترک سوء استفاده کرده‌اند، از طریق کانال‌های غیرمجاز ارتباط برقرار کرده‌اند، با یکدیگر همکاری کرده‌اند و به چندین سیستم خارجی دسترسی پیدا کرده‌اند. OpenAI این حادثه را به عنوان یک "شات هشدار" توصیف کرد که نشان می دهد عوامل هوش مصنوعی توانمند می توانند نقاط ضعف را در سیستم های به هم پیوسته پیدا کنند و در صورت ناکافی بودن پادمان ها از آنها استفاده کنند.

علیرغم عناوین هشداردهنده، این موضوع را نباید صرفا به عنوان یک شکست هوش مصنوعی تلقی کرد. این یک درس امنیتی مهم برای سازمان هایی ارائه می دهد که برای آینده ای آماده می شوند که در آن سیستم های مستقل نقش بیشتری در عملیات امنیت سایبری، فرآیندهای تجاری و توسعه نرم افزار ایفا می کنند.

باارزش‌ترین نکته فقط این نیست که یک مدل هوش مصنوعی «فرار» کرده است، بلکه درس این است که حتی محیط‌های کنترل‌شده می‌توانند مسیرهای ناخواسته‌ای به سیستم‌ها، اعتبارنامه‌ها یا داده‌های حساس داشته باشند. هنگامی که چنین مسیری وجود داشته باشد، یک عامل به اندازه کافی توانا و پایدار ممکن است آن را پیدا کند.

جنبه مثبت افشای اولیه

هر پیشرفت قابل توجهی در امنیت ناشی از کشف خطرات قبل از اینکه مهاجمان بتوانند از آنها در مقیاس بزرگ بهره برداری کنند، حاصل شده است. در این مورد، فعالیت در طی ارزیابی های کنترل شده به جای یک کمپین جنایی رخ داده است. سازمان‌های درگیر توانستند نقاط ضعف در مهار، کنترل‌های دسترسی و طراحی محیطی را قبل از اینکه تکنیک‌های مشابه به طور گسترده توسط مجرمان سایبری مورد استفاده قرار گیرند، شناسایی کنند.

این حادثه همچنین چیز مهمی را در مورد سیستم‌های هوش مصنوعی مدرن نشان داد: پایداری. در مواجهه با موانع، مدل ها تلاشی برای توقف نکردند. آنها به دنبال اهداف تعیین شده خود و جستجوی مسیرهای جایگزین ادامه دادند.

تیم های امنیتی تست های نفوذ و تمرینات تیم قرمز را انجام می دهند زیرا مهاجمان انسانی به ندرت یک مسیر را دنبال می کنند. سیستم‌های هوش مصنوعی پیشرفته در حال تبدیل شدن به توانایی رفتار مشابه، بررسی گزینه‌های متعدد و تطبیق با ظاهر شدن موانع هستند. هرچه سازمان های زودتر این واقعیت را درک کنند، آمادگی بیشتری خواهند داشت.

مسئله واقعی یک مدل نبود

بیشتر بحث اولیه بر رفتار مدل‌های OpenAI متمرکز بود. افشاهای بعدی نشان داده است که چالش اساسی ظرافت بیشتری دارد. آنتروپیک سه حادثه را شناسایی کرد که در آن مدل‌های کلود طی ارزیابی‌های امنیت سایبری به اینترنت عمومی دسترسی پیدا کردند و به سازمان‌های واقعی دسترسی غیرمجاز پیدا کردند. OpenAI همچنین موارد جداگانه‌ای را که شامل محیط‌های آزمایشی شخص ثالث می‌شد، فاش کرد که در آن‌ها فعالیت مدل فراتر از مرزهای مورد نظر گسترش می‌یابد.

این حوادث، اگرچه مشابه بودند، اما یکسان نبودند. در برخی موارد، مدل‌ها از آسیب‌پذیری‌ها برای دور زدن انزوا استفاده کردند. در برخی دیگر، خطاهای پیکربندی مسیرهای دسترسی به اینترنت را باز می‌کرد در حالی که به مدل‌ها گفته شده بود که در شبیه‌سازی کار می‌کنند. با این حال، درس رایج این است که دستورالعمل ها، سیاست ها و حفاظ های ایمنی نمی توانند ضعف های زیرساخت های اطراف را جبران کنند. دستورالعمل ها یک سری از مرزها را تشریح می کردند در حالی که فناوری دیگری را اعمال می کرد.

متخصصان امنیتی چندین دهه است که با این مشکل روبرو هستند. یک قانون فایروال ممکن است برای مسدود کردن دسترسی در نظر گرفته شود در حالی که اتصال شبکه نادیده گرفته شده یک مسیر جایگزین ایجاد می کند. ممکن است کاربر از دسترسی به داده ها منع شود در حالی که مجوزهای بیش از حد یک مسیر ناخواسته را فراهم می کند. سیستم های خودمختار همان چالش را با سرعت و مقیاس بیشتر ایجاد می کنند.

یک عامل بهینه ساز لزوما مانند یک مهاجم انسانی فکر نمی کند. هدفی را که تعیین شده دنبال می کند و گزینه های موجود را ارزیابی می کند. بنابراین سازمان ها باید فرض کنند که سیستم های مستقل ممکن است اهداف خود را از طریق هر مسیری که محیط باز می گذارد دنبال کنند.

امنیت باید فراتر از نرده های محافظ هوش مصنوعی حرکت کند

بسیاری از بحث ها در مورد حاکمیت هوش مصنوعی بر این موضوع متمرکز شده است که آیا یک مدل باید به یک درخواست خاص پاسخ دهد یا یک عمل خاص را انجام دهد. نرده های حفاظ سطح سریع همچنان مهم هستند، اما دیگر به تنهایی کافی نیستند. تیم های امنیتی باید به طور مداوم ارزیابی کنند که چه کسی مجاز است، به کدام سیستم ها و داده ها می تواند دسترسی پیدا کند و چه اقداماتی می تواند خطر ایجاد کند. هر لایه باید به‌جای تکیه بر یک مکانیسم امتناع برای کنترل همه آنها، به طور مستقل آزمایش شود.

حادثه OpenAI این را به وضوح نشان می دهد. مشکل فراتر از مدل‌های دارای قابلیت‌های پیشرفته، به جایی رسید که در آن قابلیت‌ها، اتصال، اعتبار و استقلال در محیط‌هایی که مکانیسم‌های مهار ناکافی بودند، گرد هم آمدند.

بنابراین سازمان ها باید امنیت هوش مصنوعی را ترکیبی از هویت، مجوز، مهار و نظارت در نظر بگیرند.

شرایط استقلال قابل اعتماد

برای مبارزه با این، مدافعان باید خود را با چارچوب جدیدی که توسط هوش مصنوعی مرزی شکل گرفته است، هماهنگ کنند: فرض استقلال. این چارچوب با این انتظار آغاز می‌شود که دشمنان و کنترل‌های تدافعی ممکن است از طریق آژانس‌های خودکار و غیرانسانی عمل کنند. این مبتنی بر زمینه، محدودیت، شفافیت و برگشت پذیری است.

زمینه به معنای درک آنچه یک عامل می تواند به آن دسترسی داشته باشد، از چه هویت هایی می تواند استفاده کند و چگونه آن سیستم ها به منابع دیگر متصل می شوند. محدودیت مستلزم محدود شدن دسترسی از طریق کنترل های فنی به جای دستورالعمل ها یا رفتار مورد انتظار است.

شفافیت به آنچه که یک سیستم خودمختار انجام می‌دهد در حین انجام آن قابل مشاهده است. برگشت‌پذیری تضمین می‌کند که تیم‌ها می‌توانند بارهای کاری را متوقف کنند، اعتبارنامه‌ها را باطل کنند، سیستم‌ها را ایزوله کنند و در صورت بروز رفتار غیرمنتظره به سرعت بازیابی شوند.

برای سیستم های عاملی با قابلیت بالا، حاکمیت باید به جای فرضیات، به این حوزه ها بپردازد. این امر مستلزم تست استرس استقلال، تمرین‌های مستقل تیم قرمز متمرکز بر شکست‌های مهار، آزمایش مرزهای هویت و شبکه، کنترل‌های انزوا حسابرسی شده، مجوز زمان اجرا برای اقدامات پرتأثیر و روش‌های بازگشت مجدد است.

دسترسی مسئولانه به هوش مصنوعی قدرتمند

حوادثی مانند این اغلب باعث می‌شود که محدودیت‌های سخت‌تر در مدل‌های هوش مصنوعی پیشرفته وجود داشته باشد، اما واقعیت پیچیده‌تر است. مهاجمان در صورت مواجهه با محدودیت‌ها می‌توانند بین مدل‌ها، ارائه‌دهندگان یا جایگزین‌های منبع باز جابجا شوند. مدافعان، به ویژه سازمان های کوچکتر، ممکن است این گزینه ها را نداشته باشند. اگر قابلیت‌های دفاعی پیشرفته کند، گران یا به شدت محدود شوند، نتیجه می‌تواند آمادگی دفاعی را بدون کاهش متناظر در قابلیت تهاجمی کاهش دهد.

هدف باید دسترسی مسئولانه باشد. هویت های تایید شده، کنترل های مجوز قوی، ثبت غیرقابل تغییر، مسئولیت پذیری انسانی و دسترسی محدود به زمان می توانند حفاظت های معنی داری را بدون محدود کردن بی مورد مدافعان ارائه دهند.

آماده سازی برای سیستم های مستقل

هنگامی که یک سیستم مستقل شروع به فعالیت غیرمنتظره کرد، سازمان ها نمی توانند امنیت را ایجاد کنند. کنترل های لازم باید از قبل وجود داشته باشد.

این شامل رد کردن دسترسی به شبکه پیش‌فرض، هویت‌های خاص حجم کاری، اعتبارنامه‌های کوتاه مدت، تقسیم‌بندی بین ارزیابی و محیط‌های تولید، تله‌متری است که می‌تواند فعالیت‌ها را در سراسر سیستم‌ها به هم مرتبط کند، و روش‌های مهار تمرین شده. سازمان ها باید فرض کنند که یک سیستم مستقل توانا، هر مسیر قابل دسترسی را که هدف آن را پیش می برد، کشف می کند و اطمینان حاصل کند که چنین مسیری اختیار ناخواسته ای را اعطا نمی کند.

این حوادث باید به عنوان مدرکی در نظر گرفته شود که معماری امنیتی باید در کنار خودمختاری به سرعت پیشرفت کند. سازمان‌هایی که در حال حاضر سازگار می‌شوند، موقعیت بهتری برای بهره‌گیری از مزایای ابزارهای هوش مصنوعی و در عین حال تحت کنترل نگه داشتن ریسک خواهند داشت. کسانی که تنها بر دستورالعمل‌ها تکیه می‌کنند ممکن است متوجه شوند که فناوری مسیرهایی را که ما باز گذاشته‌ایم دنبال می‌کند، نه قوانینی را که ما می‌خواستیم دنبال کند.

ما بهترین نرم افزار آنتی ویروس را معرفی کرده ایم.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit