عوامل هوش مصنوعی سرکش می شوند. CIOها در حال مسابقه دادن هستند تا نرده های محافظ در اطراف خود قرار دهند

طی چند روز گذشته، برخی از برترین آزمایشگاه‌های هوش مصنوعی جهان، فراخوانی عمومی برای کاهش سرعت توسعه داده‌اند و از کنترل‌های ایمنی بیشتر اطمینان حاصل می‌کنند که همچنان مواردی در مورد عوامل AI که به صورت شرورانه عمل می‌کنند، ظاهر می‌شود.

و با این حال، یک سرریز وجود دارد که بر افسران ارشد اطلاعات تأثیر می گذارد. آنها سخت کار کرده اند تا به طور گسترده عوامل هوش مصنوعی را در عملیات خود ادغام کنند، در حالی که در عین حال نمونه های پرخطر این سیستم های خودمختار را در آزمایشگاه های هوش مصنوعی مشاهده می کنند که راه های جدیدی برای کشف آسیب پذیری های سیستم و پیشی گرفتن از نظارت انسانی پیدا می کنند.

جو اتکینسون، مدیر ارشد جهانی هوش مصنوعی در مشاوره PwC می گوید: «این خطری است که شرکت ها باید روی آن تمرکز کنند، درک کنند و برنامه ریزی برای آن شروع کنند.

از آنجایی که عوامل مستقل در بین شرکت‌ها گسترش می‌یابند، اتکینسون می‌گوید که مدیران فناوری و امنیت C-suite باید با همکاری یکدیگر نرده‌های محافظ مناسب را اعمال کنند، سیستم‌هایی را برای نظارت بر عوامل هوش مصنوعی ایجاد کنند و همه وظایفی را که این عوامل انجام می‌دهند به طور دقیق ردیابی کنند. اما روسای بخش در سراسر تجارت - از زنجیره تامین تا خدمات مشتری، بازاریابی گرفته تا منابع انسانی و حقوقی - باید در ردیابی کارمندان دیجیتال نقش داشته باشند.

اتکینسون می‌گوید: «نماینده من را مجبور به انجام آن کرد» از منظر اخلاقی یا قانونی دفاعی نیست.

یکی از شرکت‌هایی که هم بر پذیرش ایمن هوش مصنوعی و هم بر قابلیت مشاهده واضح تمرکز دارد، سیسکو است. هنگامی که شرکت تجهیزات شبکه پلتفرم عامل هوش مصنوعی MyAgent را در ماه آگوست ساخت و معرفی کرد، سیسکو تمام مدل‌های زبان بزرگ، نمایندگان و داده‌های سازمانی مجاز را در یک پلتفرم متمرکز کرد.

Thimaya Subaiya، معاون اجرایی عملیات در Cisco Systems می‌گوید: «ما قصد داریم هر دستیار هوش مصنوعی دیگری را در شرکت آدم‌خواری کرده و بکشیم. سوبایا می‌گوید از آنجایی که او نمی‌خواست «نماینده‌ها» در بخش‌های مختلف سیسکو پخش شود، به هیچ عامل هوش مصنوعی که توسط فروشندگان شخص ثالث فروخته می‌شود مجوز نمی‌دهد.

در عوض، سیسکو خواهان کنترل و دید کامل کل اکوسیستم عامل خود بود – ساخت MyAgent بر روی لایه‌های محاسباتی، ذخیره‌سازی، شبکه و امنیت و مشاهده پذیری شرکت. حدود 90000 کارمند این شرکت به پلتفرم نمایندگی دسترسی دارند و سیسکو می گوید که تنها در عرض دو هفته شاهد 50 درصد پذیرش به صورت روزانه بوده است.

کارمندان همچنین تشویق می شوند تا عوامل هوش مصنوعی خود را ایجاد کنند، اما آنها باید توسط یک تیم متمرکز تأیید شوند. سوبایا می گوید که حدود 700 نفر از این عوامل قبلا مجوز گرفته اند.

الکس بالاز، مدیر ارشد فناوری Intuit به یاد می‌آورد که وقتی او و همکارانش اولین معماری سیستم‌عامل هوش مصنوعی خود یعنی GenOS را روی یک دستمال ترسیم کردند، غول نرم‌افزار مالی «GenSRF» را نیز ترسیم کرد تا «امنیت، ریسک و تقلب» را نشان دهد. این تضمین می‌کند که تک تک درخواست‌های هوش مصنوعی که به سیستم می‌رود ردیابی می‌شود و همه پاسخ‌ها ثبت می‌شوند.

بالاز می‌گوید: «شما نمی‌خواهید پس از این واقعیت، توانایی تقویت امنیت و پایه‌های هوش مصنوعی مسئولانه را تقویت کنید.

Balazs همچنین از این واقعیت که افشای عوامل AI سرکش عمدتا در مرحله آزمایش رخ داده است و رهبران صنعت Anthropic و OpenAI تمایل خود را برای کاهش سرعت توسعه مدل جدید در هنگام بروز مشکلات نشان داده اند، احساس راحتی می کند. و با این حال، بالاز اضافه می کند، "اگر می خواهید به طور ذاتی به مدل تکیه کنید تا کار درست را انجام دهید، من فکر می کنم که انتظار زیادی از این شرکت های LLM مرزی دارید."

جیم فاولر، مدیر ارشد فناوری و محصول در شرکت مخابراتی Luman Technologies، معتقد است که در حالی که قابلیت‌های هوش مصنوعی سریع‌تر از حاکمیت و امنیت پیش می‌رود، او پیش‌بینی نمی‌کند که کندی گسترده قابل اجرا و به طور خودکار امن‌تر باشد.

فاولر می‌گوید: «فکر می‌کنم برای بازار بزرگ‌تر سازمانی، پاسخ شتاب مطمئن است، نه کاهش سرعت». "افراد بد قرار نخواهند داشت سرعت خود را کاهش دهند، کشورهای دیگر از سرعت خود کاسته نخواهند شد."

در Workday، CTO Gabe Monroy می‌گوید که غول نرم‌افزاری کسب‌وکار یک «سیستم ثبت عامل» برای مدیریت تمام هویت‌های غیرانسانی نیروی کار دیجیتال ایجاد کرده است. این سیستم هم به صورت داخلی در روزهای کاری استفاده می شود و هم به مشتریان فروخته می شود.

مونروی همچنین می گوید که آموزش کلیدی است. مهندسان و هر کاربر دیگری از هوش مصنوعی باید واقعا مشخصات ریسک یک عامل و ارزشی را که می توانند گردش کار ارائه دهند، بدانند. او همچنین توجه دارد که از آنجایی که سازمان تحقیق و توسعه Workday به طور فزاینده ای هوش مصنوعی عاملی را برای کدنویسی، استقرار، بررسی و انتشار نرم افزار از طرف مشتریان به کار می گیرد، همه کارمندان - مهم نیست که در کجای نمودار سازمانی قرار دارند - باید از امنیت و انطباق با آنها آگاه باشند.

مونروی می‌گوید: «باید به تیمی که این عوامل را هدایت می‌کند، که مسئول موتور، پنجره زمینه، قوانین و دستورالعمل‌ها هستند، واگذار شود و اطمینان حاصل شود که نماینده به آنچه ما رفتار مسئول می‌دانیم پایبند است.»

پلتفرم ارائه‌دهنده نرم‌افزار مبتنی بر فضای ابری ServiceNow برای مدیریت، مشاهده، ایمن سازی و اداره عوامل هوش مصنوعی، برج کنترل هوش مصنوعی نامیده می‌شود که مشابه روز کاری، در داخل استفاده می‌شود اما به مشتریان نیز فروخته می‌شود. ServiceNow همچنین قابلیت‌های امنیت سایبری شرکت را از طریق خریدهای اخیر استارت‌آپ‌های Veza و Armis افزایش داده است.

آمیت زاویری، رئیس، مدیر محصول و مدیر عامل شرکت ServiceNow، می‌گوید: «ما به این ایده که باید حکومت و مدیریت کنیم و نرده‌های محافظ پیرامون عوامل هوش مصنوعی را بهبود ببخشیم، توجه زیادی داشته‌ایم. زاوری می‌گوید که برج کنترل هوش مصنوعی «احتمالا یکی از سریع‌ترین محصولاتی است که ServiceNow تا به حال ساخته است» زیرا «آرامش ذهنی زیادی را برای همه مدیران سطح C و هیئت‌مدیره فراهم می‌کند».

سم کوری، مدیر ارشد امنیت اطلاعات در شرکت امنیت ابری Zscaler، می‌گوید متخصصان امنیتی تمام دوران حرفه‌ای خود را صرف نگرانی در مورد بزرگترین خطر برای عملیات خود کرده‌اند: انسان‌ها. اما، آنها فقط چند سال فرصت داشتند تا عمیقا در مورد خطرات هوش مصنوعی فکر کنند.

کوری می‌گوید: «هوش مصنوعی غیر قطعی است، می‌تواند ابتکار عمل را در دست بگیرد، و در واقع شکل جدیدی از خودی است.

اخیرا، Zscaler به اتحاد Open Secure AI پیوست - Cisco Systems و Workday نیز عضو هستند - ائتلافی به رهبری انویدیا متشکل از ده‌ها شرکت که بر اشتراک‌گذاری ایده‌هایی در مورد چگونگی توسعه ابزارهای منبع باز با حفاظت‌های مناسب در مورد نرم‌افزار و عوامل هوش مصنوعی متمرکز است. کری می‌گوید با پیش‌روی این کار، رهبران باید سر خود را حول مفاهیم جدیدی بپیچند که چه نوع خطراتی را هوش مصنوعی می‌تواند ایجاد کند.

کری هشدار می‌دهد: «فکر نمی‌کنم ما روان‌شناسی مشخصه هوش مصنوعی را درک کنیم. ما می دانیم که چگونه به انسان ها انگیزه دهیم و انگیزه آنها چیست. اما انگیزه های هوش مبتنی بر سیلیکون کمتر شناخته شده است.

جان کل

این داستان در ابتدا در سایت Fortune.com منتشر شد