بزرگترین خطر امنیتی هوش مصنوعی انجام هیچ کاری نیست

در 14 سپتامبر 2026، آزمایشگاه مرزی هوش مصنوعی OpenAI از قانونگذاران بریتانیا خواست تا مقرراتی را برای مقابله با تهدیدات امنیتی ناشی از توسعه سریع هوش مصنوعی وضع کنند. این به دنبال حمله ناخواسته یک عامل OpenAI است که در اوایل سال جاری دیواره آتش استارت‌آپ Hugging Face را شکست.

امنیت سایبری موضوع جدیدی برای رهبران تجاری نیست، اما اهمیت آن در عصر هوش مصنوعی در حال افزایش است. مشتریان به اطلاعات آنها اعتماد می کنند، کارمندان نمی خواهند حقوق خود را فاش کنند یا سرمایه گذاران نمی خواهند سرمایه گذاری خود را عمومی کنند.

بدون حاکمیت و فرآیندهای روشن در مورد استفاده از هوش مصنوعی، همه اینها در معرض خطر لو رفتن هستند. انجام هیچ کاری خطری وجودی برای شرکت ها ایجاد می کند.

دسته جدیدی از خطرات امنیتی

هوش مصنوعی فرصت‌های خوبی را برای سرعت بخشیدن به کارهای تکراری، مانند گزارش‌دهی داده‌ها، ارائه می‌کند و زمان بیشتری را برای کارمندان می‌گذارد تا کارهای استراتژیک‌تر و باکیفیت‌تری را برای مشتریان تولید کنند. برای اینکه یک عامل مفید واقع شود، به هرچه بیشتر زمینه و دسترسی به اطلاعات نیاز دارد، اما این جایی است که اگر به درستی مدیریت نشود، بیشترین پتانسیل برای خراب شدن وجود دارد.

به عنوان مثال، عوامل ممکن است به حسابداری، گزارش، مدیریت اسناد و سیستم های CRM دسترسی داشته باشند، به این معنی که یک حمله موفقیت آمیز می تواند اطلاعات بسیار حساس مشتری را افشا کند.

مسئله اصلی این است که LLM ها در تشخیص داده ها از دستورالعمل ها مشکل دارند. یک نماینده می تواند دستورالعمل های یک ایمیل، یک سند یا یک صفحه وب را تفسیر کند، حتی اگر آنها مخرب باشند. به این حملات تزریق سریع می گویند. اساسا هکرها سیستم‌های هوش مصنوعی مولد را با تغذیه آن‌ها با ورودی‌های مخرب که به‌عنوان درخواست‌های قانونی کاربر پنهان می‌شوند، دستکاری می‌کنند.

تهدید دیگر نشت اطلاعات است. یک نماینده می تواند از یک وب سایت بازدید کند یا یک جستجوی وب انجام دهد و به طور بالقوه اطلاعات محرمانه را منتشر کند، به عنوان مثال با ترکیب داده های شرکت در یک URL یا یک عبارت جستجو. این می تواند داده های حساس را بدون اینکه شرکت یا نماینده متوجه شود در معرض اینترنت قرار دهد.

این خطر به ویژه زمانی حادتر می شود که سه چیز کنار هم قرار گیرند: یک عامل ورودی های غیرقابل اعتماد را دریافت می کند، به اطلاعات حساس دسترسی پیدا می کند و در سیستم های خارجی اقدام می کند - به اصطلاح Lethal Trifecta. یک دستورالعمل مخرب پنهان شده در یک ایمیل، سند یا صفحه وب به طور بالقوه می تواند با استفاده از مجوزهای قانونی عامل، اقداماتی را در مرحله بعدی انجام دهد.

بنابراین، شرکت‌ها باید حفاظ‌های سختگیرانه‌ای را در اطراف هر نماینده تعیین کنند تا به داده‌هایی که می‌تواند دسترسی داشته باشد، چه قابلیت‌هایی دارد و چه اقداماتی مجاز است محدود شود. این برای جلوگیری از درز اطلاعات یا سرکشی یک عامل هوش مصنوعی ضروری است.

تهدیدی که در داخل یک شرکت نشسته است

پذیرش هوش مصنوعی در تمام سطوح یک کسب و کار، از امور مالی گرفته تا بازاریابی، فروش تا توسعه محصول، مقیاس پذیر است. تحقیقات جدید Turbotic نشان می‌دهد 51 درصد از رهبران کسب‌وکار می‌ترسند که کارمندان داده‌های حساس شرکت را به ابزارهای غیرمجاز هوش مصنوعی وارد کنند و 36 درصد نگران استفاده کارمندان از هوش مصنوعی بدون نظارت هستند. به این می گویند Shadow AI.

هنگامی که یک کارمند از یک پلتفرم هوش مصنوعی عمومی درخواست می کند، اطلاعات حساس مشتری را فاش می کند و خروجی هایی دریافت می کند که مطمئن به نظر می رسند اما می توانند نادرست باشند. این می تواند منجر به لحن ناسازگار، توصیه های نادرست یا نقض داده ها شود. مشکل خود فناوری نیست، بلکه فقدان قابلیت ردیابی و بررسی انسانی است. اعتماد بیش از حد به ابزارهای هوش مصنوعی بدون نرده های محافظ مناسب خطرناک است.

بیشتر اوقات، کارمندان حتی متوجه مسائل امنیتی مربوط به استفاده از هوش مصنوعی نمی‌شوند.

آنها باید بدانند که آزمایش خارج از هر گردش کار تایید شده یا حفاظت از داده ها یک خطر امنیتی است. به اشتراک گذاشتن اطلاعات حساس با یک مدل عمومی یا استفاده از محتوای تولید شده توسط هوش مصنوعی بدون بررسی آن، در معرض خطر بیشتر نقض قوانین، انحراف هوش مصنوعی و آسیب به اعتبار است.

مهمتر از همه، کارکنان مسئول خروجی هایی می شوند که نمی توانند توضیح دهند، تأیید یا ردیابی کنند.

برای از بین بردن این خطر، رهبران باید با دادن دسترسی و راهنمایی روشن به کارمندان در مورد ابزارهایی که مجاز به استفاده از آنها هستند، نحوه ارائه زمینه مناسب برای عوامل هوش مصنوعی، راه‌اندازی فرآیندهایی برای بررسی خروجی هوش مصنوعی و ایجاد هرگونه حفاظ برای جلوگیری از نقض داده‌ها، هوش مصنوعی را دموکراتیک کنند. این رویکردی که ما آن را هوش مصنوعی سازمانی می نامیم، یک شرکت را از منظر امنیت و ظرفیت توانمندتر می کند.

مدیریت خطرات هوش مصنوعی

بر اساس گزارش انجمن جهانی اقتصاد و Accenture، با وجود افزایش هشدارها در مورد تهدیدات امنیتی هوش مصنوعی، کمتر از 1 درصد از سازمان ها هوش مصنوعی مسئول را به طور کامل عملیاتی کرده اند.

با توجه به خطرات مرتبط با استفاده از هوش مصنوعی رایگان، داشتن یک خط مشی هوش مصنوعی مسئول در حال حاضر الزامی است.

بدون محدودیت در کنترل‌های دسترسی اولیه، کارمندان ممکن است بتوانند از هوش مصنوعی برای نشان دادن اطلاعاتی که نباید به آنها دسترسی داشته باشند، از حقوق همکاران یا داده‌های سرمایه‌گذار محرمانه، استفاده کنند. هنگامی که یک عامل هوش مصنوعی به داده های یک سازمان متصل می شود، مجوزهای ضعیف یک مسئولیت است و می تواند به راحتی دسترسی تصادفی را آشکار کند.

هر چیزی که به داده‌های شرکت، ارتباطات مشتری، یا بر مشاوره حرفه‌ای تأثیر می‌گذارد، باید توسط حاکمیت شفاف کنترل شود. این مسئولیت رهبران است که مرزهای قابل بازرسی و شفافی را برای کارمندان فراهم کنند، و مرحله اول شامل ارائه دستورالعمل‌های روشن در مورد اینکه چه، چه زمانی و چگونه می‌توان از ابزارهای هوش مصنوعی استفاده کرد. سپس توضیح پذیری همراه با حکمرانی و نظارت برای ایجاد اعتماد است.

نیاز حیاتی به هوش مصنوعی سازمانی

شرکت ها باید اصول اساسی را به درستی دریافت کنند: هوش مصنوعی به چه داده هایی می تواند دسترسی داشته باشد؟ ورودی از کجا می آید؟ به چه سیستم هایی می تواند متصل شود؟ چه اقداماتی مجاز است؟ چه زمانی یک انسان باید خروجی را بررسی یا تأیید کند؟ همه اینها باید به وضوح به کارکنان منتقل شود و در فرآیندها گنجانده شود.

هوش مصنوعی سازمانی سیستمی را پیاده سازی می کند که در کل شرکت اجرا می شود و سازمان می تواند برای تجربه مشتری بهتر، توسعه تیم و مدیریت امنیت رشد کند.

شرکت ها باید از هم اکنون شروع کنند. خطر وجودی انجام هیچ کاری بزرگتر از خطر انجام بد آن است.

ما بهترین سازنده وب سایت هوش مصنوعی را معرفی کرده ایم.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit