وقتی هوش مصنوعی در محل کار با اطمینان اشتباه می کند چه اتفاقی می افتد؟

ابزارهای هوش مصنوعی اکنون بخشی عادی از روز کاری هستند. کارمندان برای کارهایی از جمله تهیه پیش‌نویس ایمیل‌ها و خلاصه‌سازی محتوا، تهیه اسناد قانونی و تهیه گزارش‌های مالی به هوش مصنوعی تکیه می‌کنند، اما در حالی که شکی نیست که هوش مصنوعی و اتوماسیون روزهای کاری ما را کارآمدتر می‌کنند، هرچه بیشتر به این ابزارها تکیه کنیم، خطر سوء استفاده، سوء استفاده یا اعتماد بیش از حد از آن‌ها بیشتر می‌شود.

در سال 2023، وکلای ایالات متحده پس از ارائه اسناد حقوقی مبتنی بر استنادات نادرست که توسط ChatGPT اختراع شده بود، تحریم شدند. اگر متخصصان باتجربه به خروجی‌های هوش مصنوعی بدون تأیید منابع اولیه اعتماد کنند، حتی در مراحل قانونی پرمخاطره، نگرانی‌هایی در مورد وابستگی فزاینده ما به هوش مصنوعی و خطرات داده‌های کنترل نشده و توهم ایجاد می‌کند.

اما توهم تنها بخشی از مشکل است. همانطور که کارمندان با استفاده از هوش مصنوعی در محل کار راحت‌تر می‌شوند، سازمان‌ها همچنین باید بدانند که کارکنان چه اطلاعاتی را به موتورهای هوش مصنوعی وارد می‌کنند و آیا کنترل‌های مناسبی برای مدیریت خطرات امنیتی، حریم خصوصی و رعایت مواردی که با استفاده غیرمجاز از هوش مصنوعی به همراه دارند، دارند یا خیر.

هوش مصنوعی بدون حکومت دیگر خطر تئوری انطباق نیست. این یک مسئله واقعی است که CISO ها باید با آن دست و پنجه نرم کنند، از محافظت از داده های مصرف کننده و کارمند گرفته تا دفاع در برابر حملات مبتنی بر هوش مصنوعی. همانطور که مقررات هوش مصنوعی از دستورالعمل به الزامات قابل اجرا حرکت می کند، سازمان ها با فشار بیشتری برای درک اینکه هوش مصنوعی در کجا استفاده می شود و چه کسی مسئول خروجی های آن است، مواجه هستند.

هزینه هوش مصنوعی بدون حاکمیت

استفاده غیرقانونی از هوش مصنوعی خطرات قابل توجهی را به همراه دارد، به ویژه زمانی که کارکنان داده های حساس را با ابزارهای هوش مصنوعی بدون راهنمایی روشن در مورد نحوه استفاده از آن به اشتراک می گذارند. سپس این اطلاعات می تواند بر تصمیمات تجاری مبتنی بر خروجی های AI تأیید نشده تأثیر بگذارد یا به دست بازیگر بدی بیفتد که به دنبال بهره برداری از تجارت است.

هنگامی که اطلاعات حساس از کنترل سازمان خارج می شود، نمی توان گفت که در نهایت به کجا می رسد. اگر یک پلتفرم هوش مصنوعی نقض شود، داده های وارد شده به ابزار ممکن است افشا شود و به طور بالقوه دقیقا آنچه را که برای هدف قرار دادن سیستم های یک شرکت نیاز دارند به مهاجمان می دهد. چیزی که به عنوان یک میانبر سریع برای صرفه جویی در زمان شروع می شود، می تواند به راحتی به نقطه ورود سرقت اعتبار یا ضرر مالی جدی تبدیل شود.

الزامات شفافیت قانون هوش مصنوعی اتحادیه اروپا، که از 2 آگوست 2026 قابل اجرا است، از سازمان‌های موجود در حوزه انتظار دارد که در مورد تعاملات هوش مصنوعی کسب و کار خود و محتوای تولید شده یا دستکاری شده توسط هوش مصنوعی شفاف باشند. همچنین مستلزم آن است که کارکنان به سطح مناسبی از سواد هوش مصنوعی در کنار مقررات موجود مانند GDPR و الزامات مربوطه FCA که شامل حاکمیت مؤثر پردازش هوش مصنوعی داده‌های شخصی است، مجهز شوند. هزینه نقض این الزامات شفافیت می تواند جریمه هایی تا سقف 15 میلیون یورو یا 3 درصد از کل گردش مالی سالانه یک سازمان داشته باشد.

این بدان معناست که اکنون بیش از هر زمان دیگری، سازمان‌ها باید بدانند دقیقا چگونه از هوش مصنوعی استفاده می‌شود، چه اطلاعاتی در ابزارهای هوش مصنوعی وارد می‌شود و چه کنترل‌هایی در مورد موارد استفاده پرخطر، به‌ویژه جایی که داده‌های شخصی و تصمیم‌های مالی درگیر هستند، مورد نیاز است. اینجاست که پروتکل های تأیید هوش مصنوعی حیاتی می شوند.

چرا راستی‌آزمایی یک اندازه برای همه نیست

یک خط مشی عمومی هوش مصنوعی که برای موارد استفاده خاص تنظیم نشده باشد، نادیده گرفته می شود. کارفرمایانی که به کارکنان می گویند به سادگی "همه چیز" را که از این ابزار دریافت می کنند "بررسی کنید" راهنمایی واقعی یا به اندازه کافی واضح نیست، زیرا هر کار به کمک هوش مصنوعی خطر یکسانی را به همراه ندارد.

بررسی دقیق باید با آنچه که در خطر است، در صورت اشتباه بودن خروجی، مقیاس شود. با برخورد یکسان با هر کار، یا وقت ارزشمند کارمند را برای فرآیندهای تأیید غیرضروری اختصاص می‌دهید یا خطر یک حادثه امنیتی بالقوه را می‌پذیرید زیرا خروجی تولید شده توسط هوش مصنوعی بدون بررسی به جلو منتقل می‌شود.

برای کارهای کم خطر مانند تهیه پیش نویس داخلی، طوفان فکری و پشتیبانی تحقیقاتی، بررسی نقطه ای سبک می تواند کافی باشد. با این حال، هر چیزی که به تصمیمات مربوط به استخدام، امور مالی یا محتوای مواجهه با مشتری کمک می کند، نیازمند فرآیندهای تأیید دقیق، نظارت مداوم و یک انسان واقعی در حلقه است.

مراحل عملی برای کاهش خطر توهم هوش مصنوعی

کاهش ریسک سایبری هوش مصنوعی با حکمرانی مناسب شروع می شود. سازمان‌ها به قوانین روشنی نیاز دارند که ابزارهای هوش مصنوعی مورد تایید قرار می‌گیرند، کارمندان چه اطلاعاتی را می‌توانند در پلتفرم‌ها به اشتراک بگذارند، و چه کسی در صورت بروز مشکل پاسخگو است. انتظار تا زمانی که یک خروجی توهم باعث آسیب شود، گران ترین راه برای یادگیری این درس است.

به طور فزاینده ای رایج می شود که کارمندان ابزارهای هوش مصنوعی خود را وارد کار کنند. آخرین تحقیقات ما نشان داد که 40٪ از CISO ها می ترسند کارکنان آنها اطلاعات حساس را با پلتفرم های هوش مصنوعی مولد به اشتراک بگذارند، در حالی که 68٪ کارمندان را بزرگترین خطر سایبری سازمان خود می دانند. هوش مصنوعی بدون حکومت در حال تبدیل شدن به نقطه کور حاکمیتی و امنیتی در حال رشد برای سازمان ها است.

اما خطر بسیار فراتر از آن چیزی است که کارمندان در ابزارهای هوش مصنوعی قرار می دهند. وقتی سازمان‌ها نمی‌دانند از چه ابزارهایی استفاده می‌شود یا کارمندان تا چه اندازه بر خروجی‌هایشان تکیه می‌کنند، دید محدودی دارند که آیا اطلاعات تولید شده توسط هوش مصنوعی قبل از اقدام بر اساس آن بررسی می‌شود یا خیر.

سازمان‌ها نمی‌توانند ریسک‌هایی را که نمی‌دانند وجود دارند مدیریت کنند، به این معنی که نقشه‌برداری از جایی که هوش مصنوعی غیرقابل کنترل واقعا مورد استفاده قرار می‌گیرد و سپس به جای ممنوع کردن کامل آن، جایگزین‌های امن و تایید شده را ارائه می‌دهد. این به سازمان‌ها دید بیشتری نسبت به نحوه استفاده از هوش مصنوعی و محل ورود توهمات یا خروجی‌های نادرست به فرآیندهای تجاری، قبل از تبدیل شدن به یک بدهی می‌دهد.

آموزش عمومی مشکل هوش مصنوعی را حل نمی کند

کارمندان باید به فرآیندها، ابزارها و حفاظ‌های مناسب مجهز شوند تا بتوانند به طور موثر از هوش مصنوعی استفاده کنند، بدون اینکه مشاغل را در معرض خطر قرار دهند. این شامل آموزش تشخیص سوگیری اتوماسیون (گرایش ما به اعتماد کورکورانه به خروجی‌ها)، همراه با روال‌های راستی‌آزمایی صریح است که «بررسی دوبار خروجی هوش مصنوعی» را از یک دستورالعمل مبهم به فرآیندی عملی تبدیل می‌کند تا کارمندان احساس کنند که چگونه می‌توانند از هوش مصنوعی مسئولانه استفاده کنند.

هدف‌یابی آگاهی امنیتی مبتنی بر نقش و مداخلات مبتنی بر رفتار نیز برای قرار دادن راهنمایی صحیح در مقابل افراد مناسب در لحظه‌ای که به آن نیاز دارند، حیاتی هستند، به طوری که از اطلاعات حساس محافظت می‌شود و از قضاوت صحیح انسانی استفاده می‌شود.

در نهایت، پرداختن به توهم هوش مصنوعی و خطر هوش مصنوعی غیرقابل کنترل به آموزش صحیح کارکنان بستگی دارد. اکثر CISO ها (81٪) می گویند که آموزش آگاهی از امنیت شکست می خورد زیرا خیلی عمومی است که نمی توان شخصا مرتبط بود. بدون زمینه ای که منعکس کننده تصمیماتی باشد که کارکنان روزانه با آن روبرو می شوند، آموزش تکمیل می شود اما به ندرت جذب می شود و روی آن عمل می شود.

رتبه بندی ما را برای بهترین نرم افزار حقوق و دستمزد در انگلستان بررسی کنید.

این مقاله به عنوان بخشی از TechRadar Pro Perspectives، کانال ما برای معرفی بهترین و باهوش ترین ذهن ها در صنعت فناوری امروز تهیه شده است.

نظرات بیان شده در اینجا نظرات نویسنده است و لزوما نظرات TechRadarPro یا Future plc نیست. اگر مایل به مشارکت هستید، اطلاعات بیشتری را در اینجا بیابید: https://www.techradar.com/pro/perspectives-how-to-submit