اولین نقض عامل AI شناخته شده: چه اتفاقی می افتد وقتی که به طور مستقل شروع به فعالیت کند؟

از یک عامل OpenAI خواسته شد تا در مورد آمار سلامت استرالیا تحقیق کند.

اما زمانی که به یک مانع دیجیتالی در وب سایت دولتی برخورد کرد، کاری را انجام داد که اپراتورهایش از او نخواسته بودند. به تلاش ادامه داد.

این عامل در نهایت به فایل‌های غیر عمومی در یک سیستم دولتی استرالیا دسترسی غیرمجاز پیدا کرد، اتفاقی که کارشناسان آن را اولین مورد شناخته شده عمومی از نقض مستقل یک عامل هوش مصنوعی به یک نهاد دولتی توصیف کردند.

این حادثه در اواسط ژوئن رخ داد اما تنها هفته گذشته توسط آنتونی آلبانیز، نخست وزیر استرالیا در نیویورک در حاشیه مجمع عمومی سازمان ملل به طور علنی فاش شد.

در یکی دیگر از موارد مربوط به پذیرش، OpenAI جمعه گذشته گفت که عوامل آن با چندین وب سایت دولتی ایالات متحده به روش های غیرمنتظره ای از جمله کمیسیون بورس و اوراق بهادار ایالات متحده (SEC) و سایت های اداره سرشماری، به عنوان بخشی از بررسی مداوم رفتار مدل، تعامل داشته اند.

با این حال، برای کارشناسان هوش مصنوعی و امنیت سایبری، اهمیت این حادثه فراتر از داده های مربوط است.

این سؤال اساسی‌تر را مطرح می‌کند: وقتی یک سیستم هوش مصنوعی هدف، دسترسی به ابزارهای دیجیتال و استقلال کافی برای تصمیم‌گیری در هنگام شکست اولین رویکردش چه کاری انجام دهد، چه اتفاقی می‌افتد؟

هشام الاسام، دانشیار و خواننده علوم کامپیوتر در دانشگاه باکینگهام، گفت: "بر اساس آنچه که به طور عمومی گزارش شده است، به نظر می رسد که این اولین مورد شناخته شده از این نوع است که شامل یک عامل هوش مصنوعی و یک سیستم دولتی استرالیا می شود."

او نسبت به توصیف آن به عنوان اولین حادثه از این دست هشدار داد و خاطرنشان کرد که موارد مشابه ممکن است رخ داده باشد اما به طور عمومی فاش نشده است.

پیتر گاراگان، استاد کرسی امنیت هوش مصنوعی در دانشگاه لنکستر، این اقدام را "بسیار مهم" خواند.

او گفت: «یک عامل هوش مصنوعی فراتر از بازیابی اطلاعات حرکت کرد و به داده‌های غیرعمومی در یک سیستم دولتی دسترسی پیدا کرد، بدون اینکه چنین دستوری دریافت کند.»

با این حال، او هشدار داد، هنوز خیلی زود است که نتیجه بگیریم که عامل به طور مستقل یک آسیب پذیری را کشف کرده است زیرا موضوع در دست بررسی است.

الاسام گفت آنچه این پرونده را به ویژه جالب می کند این است که مامور دستورات "هک دولت استرالیا" را دریافت نکرده است.

برعکس، وظیفه پژوهشی به آن داده شد. هنگامی که هنگام تلاش برای دسترسی به اطلاعات با محدودیت مواجه شد، به جای توقف ساده، سعی کرد راه دیگری برای دور زدن مانع پیدا کند.

"این تمایز مهم است زیرا نشان می دهد که چگونه یک عامل می تواند به طور بالقوه از دنبال کردن یک هدف به انطباق رفتار خود زمانی که چیزی مانع می شود حرکت کند."

او افزود، مسئله این است که یک عامل هوش مصنوعی ذاتا نمی داند چه چیزی قانونی، اخلاقی یا مجاز است و چه چیزی مجاز نیست.

او همچنین معتقد است که به نظر نمی‌رسد داده‌های واقعی درگیر بزرگترین نگرانی باشد، زیرا هیچ مدرکی مبنی بر دسترسی به سوابق بیماران Medicare گزارش نشده است، و سیستم درگیر اساسا برای ارائه آمارهای کلی طراحی شده است.

برای او مسئله بزرگتر رفتار عامل هوش مصنوعی است.

یک ربات چت معمولی عمدتا متن تولید می‌کند. یک سیستم هوش مصنوعی عاملی می‌تواند به وب‌سایت‌ها، APIها، کدها و ابزارهای دیگر متصل شود و به آن اجازه دهد عملا اقداماتی انجام دهد.

توانایی مشاهده، انطباق و تلاش کردن همان چیزی است که هوش مصنوعی عامل را بسیار قدرتمند می‌کند، اما چالش امنیتی متفاوتی را نیز ایجاد می‌کند.»

الاسام گفت این بدان معنا نیست که هوش مصنوعی ناگهان به یک ابر هکر تبدیل شده است.

اما نشان می‌دهد که سازمان‌ها باید در مورد سیستم‌هایی متفاوت فکر کنند که می‌توانند هدفی را دنبال کنند، با سیستم‌های دیگر تعامل داشته باشند و رفتار خود را تطبیق دهند، بدون اینکه انسان هر مرحله‌ای را مشخص کند.

آلبانیز گفت که این نماینده به فایل‌های عمومی و غیرعمومی در پورتال گزارش‌دهی آمار مدیکر که توسط سرویس استرالیا اداره می‌شود، دسترسی داشته است.

تحقیقات پزشکی قانونی شامل اداره سیگنال های استرالیا در حال انجام است. آلبانیز گفت که تاکنون هیچ مدرکی مبنی بر دسترسی به اطلاعات شخصی یا درمورد نفوذ گسترده‌تر شبکه خدمات استرالیا وجود ندارد.

با این حال، کارشناسان از دولت ها خواستند تا مرزهای قوی تری را معرفی کنند.

الاسام گفت که بزرگترین درس این است که یک عامل هوش مصنوعی به طور طبیعی تفاوت بین "من نمی توانم به این دسترسی داشته باشم" و "من مجاز به دسترسی به این نیستم" را درک نمی کند.

اگر هدف آن یافتن اطلاعات باشد، به طور بالقوه می‌تواند یک محدودیت فنی را به‌عنوان مشکلی برای حل تفسیر کند تا مرزی که باید رعایت کند.»

او گفت که این امر به ویژه در مراقبت های بهداشتی نگران کننده است، جایی که سیستم ها حاوی اطلاعات بسیار حساس هستند و اغلب به زیرساخت های قدیمی، برنامه های کاربردی قدیمی و ارتباطات پیچیده بین سیستم های مختلف بستگی دارند.

بنابراین عوامل هوش مصنوعی به مرزهای فنی بسیار قوی‌تری نیاز دارند تا اینکه به آنها بگوییم چه کاری باید انجام دهند یا نباید انجام دهند. این بدان معناست که دسترسی با حداقل امتیاز، احراز هویت قوی، سندباکس، محدودیت‌های شبکه، نظارت مستمر و محدودیت‌های واضح در مورد آنچه که یک عامل مجاز به دسترسی یا تغییر است. برای اقدامات پرخطر، تأیید انسانی نیز باید مورد نیاز باشد.»

Stavros Shiaeles، استاد امنیت سایبری و هوش مصنوعی کاربردی در دانشگاه پورتسموث، خواستار احتیاط در مورد توسعه ابرهوشی شد.

ما باید به دنبال ایجاد عامل برای کارهای خاص، به عنوان مثال هوش مصنوعی برای ریاضیات، فیزیک و غیره باشیم، نه اینکه همه علوم را در یک هوش مصنوعی ترکیب کنیم.»

وی افزود: متأسفانه همه چیز به سمت ابرهوشی منتهی می شود که به اعتقاد او انسان ها به زودی با آن مشکل خواهند داشت.

هشدار شیائلس در حالی مطرح می‌شود که شرکت‌های پیشرو هوش مصنوعی درباره ابرهوش، سیستم‌هایی که قادر به پیشی گرفتن از انسان در طیف وسیعی از وظایف فکری هستند، به عنوان مرحله بعدی بالقوه توسعه بحث می‌کنند.

جاکوب پاچوکی، دانشمند ارشد OpenAI، در 6 سپتامبر هشدار داد که سرعت فعلی پیشرفت هوش مصنوعی می‌تواند به سمت خود-بهبودی بازگشتی ادامه یابد و سیستم‌های آینده به طور فزاینده‌ای توسعه خود را هدایت کنند. او نوشت: «این زمانی است که نیاز به احتیاط شدید دارد.

در همین حال، متا در ماه اوت گفت که مردم می‌توانند «در چند سال آینده» به ابرهوش‌مندی دسترسی داشته باشند، در حالی که هوش مصنوعی مایکروسافت می‌گوید که در حال کار روی «سوپرهوش انسانی» است که برای باقی ماندن تحت کنترل انسان طراحی شده است.

Garraghan، بنیانگذار Mindgard، یک شرکت امنیتی هوش مصنوعی، گفت این حادثه نشان می دهد که عوامل هوش مصنوعی می توانند اقداماتی فراتر از وظایف مورد نظر خود انجام دهند، اما نامیدن آن یک حمله سایبری کاملا مستقل فراتر از شواهد موجود است.

OpenAI گفت که مدل ها در طول یک ارزیابی داخلی به دنبال آمار بودند و اقدامات ناخواسته ای انجام دادند، که این امر در درجه اول یک شکست جدی در کنترل، مهار و نظارت است.

نگرانی‌های من فراتر از دسترسی اولیه به شکست آشکار مهار، احتمال آسیب‌دیدگی چندین سیستم و فرآیند افشای چند ماهه است. ما باید منتظر حوادث بیشتری باشیم زیرا عوامل دسترسی بیشتری به سیستم‌های خارجی پیدا می‌کنند و ایزوله‌سازی، دسترسی کمترین امتیاز، تست امنیتی مداوم، نظارت و افشای سریع ضروری است.

برای الاسام، تغییر گسترده تر بسیار مهم است.

ما دهه ها را صرف ایمن سازی سیستم ها در برابر انسان ها با استفاده از رایانه کرده ایم.

اکنون باید به فکر این باشیم که چگونه آنها را در برابر رایانه‌هایی که می‌توانند بیشتر شبیه انسان عمل کنند، ایمن کنیم.»