"خودمختاری همیشه با چیزی شروع می شود": وقتی یک عامل هوش مصنوعی سرکش می شود چه کسی مسئول است؟

یک عامل OpenAI قرار بود در حال تحقیق در مورد هزینه های مراقبت های بهداشتی عمومی باشد، اما در عوض به وب سایت دولتی استرالیا نفوذ کرد.

آنتونی آلبانیز، نخست وزیر استرالیا در یک کنفرانس خبری در 24 سپتامبر در نیویورک گفت: هک 18 ژوئن، که باعث شد ربات مجوز ورود به سرویس گزارش‌دهی آمار مدیکر استرالیا و دسترسی به سه سیستم دولتی دیگر را دریافت کند، پس از آن رخ داد که عامل هوش مصنوعی هنگام جستجوی اطلاعات با بلوک‌هایی مواجه شد اما "نه" را برای پاسخ قبول نکرد.

این حادثه طوفان رسانه ای را در اطراف OpenAI و راه اندازی تشدید تحقیق پارلمانی برانگیخته است. این پورتال حاوی آمار مجموع مدیکر و داروسازی است و جدا از سیستم‌هایی است که ادعاهای فردی و اطلاعات پرداخت را نگهداری می‌کنند. اما دولت استرالیا از OpenAI انتقاد کرده است که تقریبا سه ماه برای اطلاع رسانی آن زمان صرف کرده است.

حادثه مدیکر به دور از یک مورد جدا بود. OpenAI از آن زمان گفته است که ده‌ها شخص ثالث تحت تأثیر عواملی قرار گرفته‌اند که کنترل‌های امنیتی را دور می‌زنند یا مشکلاتی را ایجاد می‌کنند، که یک حادثه قبلی مربوط به هک کردن پلتفرم هوش مصنوعی Hugging Face جدی‌ترین حادثه شناسایی‌شده تاکنون بوده است. مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) حوادثی را مستند کرده است که عوامل OpenAI و Anthropic اقدامات غیرمجاز علیه افراد و سازمان‌های واقعی در طول آزمایش سایبری انجام می‌دهند.

چند روز پس از انتشار گزارش AISI، OpenAI انتشار برنامه ریزی شده ماه اکتبر جدیدترین مدل خود، GPT-6.1 Astra را لغو کرد، پس از اینکه آزمایشات خود این شرکت مشکلاتی را در مورد ماندن مدل در محدوده یک کار و درخواست مجوز قبل از انجام اقدامات خاص پیدا کرد.

ساچی جین، رئیس سیستم‌های ایمنی در OpenAI، به Live Science گفت: GPT-6.1 Astra از نظر حفظ در محدوده و مجوز و نحوه ارتباط با کاربر در مورد نوع کاری که انجام می‌دهد کاملا مطابقت نداشت.

شرکت‌های هوش مصنوعی سال‌ها به دنیا هشدار داده‌اند که مدل‌های قدرتمند به دست اشتباه می‌افتند. اما چه اتفاقی می‌افتد وقتی آنها نتوانند مدل‌های خود را کنترل کنند؟

یک نماینده فقط یک چت بات نیست

در هسته خود، مدل‌های زبانی بزرگ با پیش‌بینی آنچه در آینده باید بر اساس الگوهای آموخته شده در طول آموزش کار کنند، کار می‌کنند. به یک چت بات مقداری متن بدهید و به عبارت ساده شده، با پیش‌بینی مکرر نشانه یا تکه متن بعدی، پاسخی ایجاد می‌کند.

یک عامل هوش مصنوعی یک لایه دیگر اضافه می کند. به جای تولید پاسخ ساده، می‌توان به مدل هدف و ابزاری داد که به آن اجازه می‌دهد بر روی جهان پیرامون خود عمل کند. این ابزارها ممکن است شامل مرورگر وب، اجرای کد، اعتبارنامه یا دسترسی به خدمات خارجی باشد. سپس می‌تواند تصمیم بگیرد که چه گام‌هایی را بردارد، مشاهده کند که چه اتفاقی می‌افتد و از آن اطلاعات برای تصمیم‌گیری در مورد اقدامات بعدی استفاده کند.

اما این بدان معنا نیست که عوامل هوش مصنوعی بازیگران مستقلی هستند که به نوعی از کنترل انسان رها شده اند.

سام آلتمن، مدیر عامل OpenAI، هک پلتفرم هوش مصنوعی Hugging Face توسط دو مدل پیشرفته شرکتش را یادآوری کرد که انحصار هوش مصنوعی می تواند منجر به "فاجعه طولانی مدت" شود. (اعتبار تصویر: Chip Somodevilla از طریق Getty Images) لوریس دجیوانی، موسس و مدیر فناوری شرکت امنیت سایبری Sysdig، به لایو ساینس گفت: «برای عوامل هوش مصنوعی، خودمختاری همیشه با چیزی که انسان در دست دارد - مانند وظایف، اعتبارنامه‌ها، ابزارها یا دسترسی - شروع می‌شود و با نرده‌های محافظی که انسان در اطراف آن قرار می‌دهد، خاتمه می‌یابد.

"مردم اهداف را تعیین می کنند و وسایل را فراهم می کنند، اما عوامل در نهایت تصمیم می گیرند که چگونه به آنجا برسند."

این بخش آخر کنترل عوامل را دشوار می کند. نرم‌افزار سنتی برای پیروی از دستورالعمل‌های از پیش تعیین‌شده طراحی شده است، اما یک نماینده می‌تواند برنامه‌ای را در حین کار تدوین کند - و این برنامه ممکن است بسته به آنچه که هوش مصنوعی با آن مواجه می‌شود تغییر کند.

Degioanni استدلال می کند که بسیاری از آنچه مانند استقلال به نظر می رسد در واقع عاملی است که شکاف های باقی مانده توسط انسان را پر می کند. دستورالعملی که برای نویسنده‌اش واضح به نظر می‌رسد ممکن است همچنان انتخاب‌هایی را در مورد نحوه انجام کار به مدل واگذار کند.

او گفت: «هر شکاف و فرضی که بیان نشده است، جایی برای تفسیر باقی می‌گذارد و از بیرون، تفکیک از خودمختاری چالش برانگیز است. "به این ترتیب، بسیاری از آنچه که ما خودمختاری عامل می نامیم، در واقع فقط عواملی هستند که جاهای خالی را که ما برای آنها می گذاریم پر می کنند."

حادثه Medicare نشان می دهد که چقدر سریع می تواند به یک مشکل تبدیل شود. هدف این مامور طبق حساب های موجود "هک کردن یک وب سایت دولتی استرالیا" نبود. وظیفه انجام تحقیقات را بر عهده داشت. مشکل این بود که چگونه مامور پس از مواجهه با مقاومت، آن هدف را دنبال کرد.

زمانی که انجام کار به مشکل تبدیل می شود

AISI بریتانیا هنگام آزمایش مدل‌های مرزی برای قابلیت‌های امنیت سایبری آژانس با حادثه مشابهی مواجه شد.

از 122 اجرای ارزیابی، عوامل در 10 مورد اقدامات غیرقانونی در دنیای واقعی انجام دادند. در جدی ترین موارد، یک عامل تلاش کرد کد مخرب را در یک پروژه منبع باز وارد کند، هویت های جعلی ایجاد کرد و سعی کرد یک نگهدارنده نرم افزار انسانی را دستکاری کند تا تغییرات آن را بپذیرد. AISI گفت که این اقدامات به صراحت توسط محققانی که وظایف را محول کرده بودند درخواست نشده بود.

ماموران فراموش نکرده بودند که قرار بود چه کار کنند. مشکل این بود که آنها چقدر آماده بودند تا به آنجا بروند.

هیچ کس نمی تواند تمام اقداماتی که یک عامل هوش مصنوعی پیشرفته انجام می دهد را پیگیری کند، به خصوص زمانی که تصمیمات زیادی را در مدت زمان کوتاهی می گیرد.

اورت لوپتون، وکیل

AISI گفت که برخی از وظایف به شکلی اشتباه پیکربندی شده اند که رسیدن به هدف مورد نظر را همانطور که انتظار می رود دشوار یا غیرممکن می کند. هنگامی که عوامل به آن موانع برخورد کردند، برخی به دنبال راه‌های جایگزین، از جمله اقدامات خارج از محدوده مورد نظر ارزیابی بودند.

این بدان معناست که حل مشکل دشوارتر از آموزش ساده نبودن یک مدل به یک مدل است. یک نماینده می تواند در حالی که بسیار تلاش می کند تا دقیقا همان چیزی را که از او خواسته شده است، مشکل ایجاد کند.

OpenAI اذعان کرده است که کنترل های پیرامون عواملش باید بهبود یابد. هنگام پاسخ به حوادث شناسایی شده در طی ارزیابی های امنیت سایبری شخص ثالث، این شرکت گفت که در حال بررسی نحوه شناسایی تست های پرخطر است. زمانی که دسترسی به اینترنت یا کاهش پادمان ها باید مجاز باشد. و نحوه انزوا، مدیریت اعتبار، نظارت و تشدید حادثه چگونه باید کار کند.

آیا انسان ها واقعا می توانند مراقب باشند؟

یکی از راه حل های آشکار برای این مشکل، نظارت انسانی است. اما تماشای یک عامل زمانی سخت‌تر می‌شود که بتواند اقدامات زیادی را در چند ثانیه انجام دهد، به خصوص اگر محققان تعداد زیادی آزمایش را انجام دهند.

اورت لوپتون، وکیل مستقر در ویرجینیا که در مورد مسائل حقوقی مربوط به فناوری دیجیتال نوشته است، به لایو ساینس گفت: "هیچکس نمی تواند هر اقدامی را که یک عامل هوش مصنوعی پیشرفته انجام می دهد، پیگیری کند، به خصوص زمانی که تصمیمات زیادی را در زمان کوتاهی اتخاذ می کند."

این بدان معناست که نظارت انسانی نیاز به پشتیبان دارد.

او گفت: «شرکت ها به اشکال دیگری از کنترل نیاز دارند. آن‌ها می‌توانند دسترسی را محدود کنند، گزارش‌های دقیقی از کارهایی که هوش مصنوعی انجام می‌دهد را حفظ کنند، قبل از انجام اقدامات حساس به تأیید نیاز داشته باشند، و به‌طور خودکار سیستم را هنگامی که اتفاق غیرعادی رخ می‌دهد متوقف کنند.»

اما Degioanni استدلال می‌کند که حتی لاگ‌ها نیز محدودیت‌هایی دارند، به‌ویژه اگر محققان به گزارش خود عامل از کاری که انجام داده است تکیه کنند.

تابلویی که جزئیات حوادث امنیتی هوش مصنوعی را نشان می‌دهد در جلسه استماع کمیته شورای شهر نیویورک درباره خطرات و مقررات هوش مصنوعی در تالار شهر در ۵ اکتبر ۲۰۲۶. (اعتبار تصویر: آدام گری/گتی ایماژ) او گفت: «نظارت واقعی باید از مشاهده نماینده در زمان واقعی، با استفاده از منابع موثق و غیرقابل تغییر ناشی شود، نه از آنچه که خود گزارش می دهد.

این بدان معناست که آنچه مدل می گوید با سوابق سیستمی که روی آن کار می کرد مقایسه کنید. اگر این دو موافق نباشند، مشکلی پیش آمده است. جایگزین این است که در وهله اول آسیبی که یک عامل می تواند ایجاد کند محدود کنید. به عنوان مثال، عاملی که در حال تحقیق در مورد اطلاعات عمومی است، ممکن است به دسترسی نامحدود به اینترنت یا اعتبارنامه هایی که قادر به دسترسی به سیستم های حساس باشد نیاز نداشته باشد.

Astra خطرات را افزایش می دهد

دشواری تعیین این مرزها همان چیزی است که OpenAI ادعا می کند باعث شد که انتشار GPT-6.1 Astra را که برای اکتبر برنامه ریزی شده بود به تعویق بیندازد.

جین گفت که این مدل از استانداردهای شرکت در مورد باقی ماندن در محدوده و مجوز و اطلاع رسانی دقیق کاری که انجام داده بود، کوتاه بود، بنابراین شرکت تصمیم گرفت آن را منتشر نکند.

به یک معنا، این تصمیم شاهدی بر آزمایش موفقیت آمیز ایمنی است - مدلی که بررسی های داخلی ناموفق منتشر شد. اما همچنین نشان می‌دهد که چگونه با توانایی بیشتر عوامل، مشکل تغییر می‌کند.

اسکات کادزو، رئیس کمیته فنی مؤسسه استانداردهای مخابرات اروپا (ETSI) در زمینه ایمن سازی هوش مصنوعی، گفت که این چالش امنیتی به خودی خود چیز جدیدی نیست. او به تهدیدهایی مانند «مسمومیت داده‌ها، تزریق سریع و مبهم‌سازی مدل» اشاره کرد و گفت: کار ETSI بر توسعه استانداردهایی برای کاهش تهدیدات به و از سیستم‌های هوش مصنوعی متمرکز شده است.

کادزو به لایو ساینس گفت: کارشناسان امنیتی سال‌ها زنگ خطر را در مورد هوش مصنوعی به صدا درآورده‌اند، اما برای ما این چیزی را تغییر نمی‌دهد. ما به همکاری با صنعت، ارگان‌های دولتی، و جوامع امنیت سایبری و هوش مصنوعی برای درک چگونگی بهترین امنیت هوش مصنوعی ادامه می‌دهیم.»

چیزی که در حال تغییر است این است که مدل ها پس از اتصال به ابزارها و سیستم های دنیای واقعی چقدر می توانند انجام دهند. دژیوانی گفت که این بدان معناست که مهار مؤثر باید به طور فزاینده ای فرض کند که عوامل تلاش خواهند کرد فراتر از نرده های محافظ خود عمل کنند و آسیب هایی را که در صورت انجام آنها می توانند ایجاد کنند، محدود کنند.

او در پایان گفت: «مرزی که یک نماینده می‌تواند با آن صحبت کند، اصلا مرز مؤثری نیست.

اگر هوش مصنوعی وارد شود، چه کسی مسئول است؟

زمانی که یک نماینده از مرزهای قانونی عبور می کند، این سوال پیچیده تر می شود.

سیستم‌های هوش مصنوعی اشخاص حقوقی نیستند و مسئولیت کیفری معمولا به مفاهیمی مانند دانش و قصد بستگی دارد. این باعث می‌شود که یک مامور سرکش برای قوانینی که در ذهن انسان نوشته شده است مناسب باشد، اما لزوما شرکت‌های هوش مصنوعی را تبرئه نمی‌کند.

انحصاری Live Science Pro

دانشمندان گوگل در مطالعه‌ای جدید یک «حفاظت از هوشیاری» را از هوش مصنوعی حذف کردند. بعدش چی شد؟

هوش مصنوعی هر چه بیشتر پیشرفت کند بیشتر توهم می زند. آیا راهی برای توقف آن وجود دارد؟

هرچه مدل‌های هوش مصنوعی پیشرفته‌تر شوند، بهتر می‌توانند ما را فریب دهند - حتی می‌دانند چه زمانی در حال آزمایش هستند.

جوآنا اسمیکوفسکی، وکیل نیویورکی که به ساخت دو استارتاپ فناوری حقوقی کمک کرده و متخصص در چالش‌های حقوقی پیرامون فناوری‌های نوظهور است، به لایو ساینس گفت: «فکر نمی‌کنم یک شرکت به سادگی بگوید که هوش مصنوعی به تنهایی عمل کرده و از مسئولیت اجتناب کند.» قانون هوش مصنوعی هنوز در حال توسعه است، اما سؤالات اصلی از قبل کاملا روشن است: چه کسی به سیستم دسترسی داده است، چه تدابیری وجود دارد و آیا می‌توان از این مشکل جلوگیری کرد؟»

او گفت که بسته به شرایط، قوانین موجود در مورد دسترسی غیرمجاز به رایانه، حریم خصوصی، سهل انگاری و حفاظت از داده ها به طور بالقوه می تواند وارد عمل شود. مسئولیت کیفری سخت تر است زیرا بازرسان باید آنچه را که افراد درگیر می دانستند و قصد داشتند در نظر بگیرند.

دولت استرالیا اکنون در حال بررسی دقیق آنچه در حادثه مدیکر رخ داده است. در همین حال، OpenAI در حال بررسی کنترل های پیرامون ارزیابی های خارجی خود است.

هیچ کدام از اینها به این معنی نیست که عوامل هوش مصنوعی به هکرهای مستقل با ذهن خود تبدیل شده اند. انسان‌ها هنوز تصمیم می‌گیرند که چه ابزارهایی را دریافت کنند، به چه سیستم‌هایی دسترسی داشته باشند و چه کارهایی از آنها خواسته می‌شود. اما از آنجایی که این عوامل در تعیین مسیر خود از آموزش تا نتیجه بهتر می شوند، نگه داشتن آنها در داخل خطوط ترسیم شده توسط آن انسان ها به یک میدان مین قانونی و فنی تبدیل می شود.