چرا یک سیستم OpenAI سیستم سلامت استرالیا را هک کرد - و آیا می توان آن را در آینده متوقف کرد؟

تماشا کنید: آنچه باید در مورد هک دولت OpenAI استرالیا بدانید

یک عامل OpenAI "سرکش" کرده و به یک وب سایت دولتی استرالیا "نفوذ" کرده است که کارشناسان امنیت سایبری آن را اولین هک در نوع خود می نامند.

اما چرا دولت ماه ها طول کشید تا بفهمد چه اتفاقی افتاده است - و آیا ممکن است دوباره اتفاق بیفتد؟

این هک توسط یک عامل هوش مصنوعی انجام شد - یک برنامه کامپیوتری مستقل که از هوش مصنوعی برای تکمیل یک کار با حداقل نظارت انسانی استفاده می کند.

در 18 ژوئن، یکی از عوامل OpenAI در طول یک تمرین آزمایشی سرکشی کرد - این شرکت گفته است که قرار بود "جواب‌ها و آمارهای موجود برای سوالات مربوط به استرالیا را طی یک ارزیابی داخلی جستجو کند".

نخست وزیر آنتونی آلبانیز گفت که در این فرآیند به یک پورتال آمار خصوصی حاوی داده های "غیر حساس" از طرح مراقبت های بهداشتی جهانی مدیکر استرالیا "نفوذ" کرد.

OpenAI گفت که تنها در ماه آگوست و در حین بررسی "فعالیت مدل نامناسب" متوجه شد که این نقض اتفاق افتاده است و چند هفته بعد این شرکت ایمیلی را به صندوق ورودی عمومی دولت استرالیا ارسال کرد.

به نظر می رسد که این ایمیل برای پنج روز مورد توجه قرار نگرفته بود تا اینکه در 10 سپتامبر به کارشناسان امنیت سایبری استرالیا ارسال شد.

نخست وزیر این نقض را "بدیهی غیرقابل قبول" توصیف کرد و گفت OpenAI برای اطلاع مقامات استرالیایی "خیلی طولانی" طول کشید.

تحلیلگران همچنین نسبت به تاخیر سه ماهه OpenAI در متوجه شدن و گزارش نقض از طریق ایمیل ابراز نگرانی کرده اند.

سایمون لیو، مدیر ارشد داده و افسر هوش مصنوعی از شرکت امنیت سایبری TrustDecision به بی‌بی‌سی گفت: «نحوه دریافت اخطار به اندازه تأخیر مرا آزار می‌دهد».

OpenAI شرکتی است که در پشت سرویس محبوب ChatGPT قرار دارد

استرالیا گفته است که این حادثه اولین مورد در نوع خود است و کارشناسان معتقدند که ممکن است چنین باشد.

تا آنجا که ما می دانیم، هک های انجام شده توسط عوامل هوش مصنوعی هنوز هم اتفاقات بسیار نادری هستند - اما باز هم، تا حد زیادی به خود شرکت ها بستگی دارد که آنها را افشا کنند.

هک هایی از این دست قبلا نیز اتفاق افتاده است. در ماه ژوئیه، عوامل OpenAI در طی آزمایشی سرکشی کردند و به سیستم‌های داخلی Hugging Face در استارت‌آپ فناوری نفوذ کردند.

عوامل هوش مصنوعی به این نتیجه رسیدند که نادیده گرفتن محدودیت‌هایی که برای رسیدن به هدفشان باید انجام شود، بهترین اقدام است.

این همان چیزی است که صنعت آن را «ناهمترازی» می‌نامد - به طور کلی به این صورت تعریف می‌شود که ماشین‌های هوش مصنوعی به نفع بشریت عمل نمی‌کنند، مانند خم کردن قوانین.

این مشکلی است که برای ایمن ساختن هوش مصنوعی ضروری است و چالش برانگیز است.

به بیان ساده، نوع مدل‌های هوش مصنوعی در اینجا - که به عنوان مدل‌های زبان بزرگ شناخته می‌شوند - طراحی شده‌اند تا محتمل‌ترین خروجی را برای یک ورودی مشخص پیش‌بینی کنند، نه اینکه پیامدهای آن خروجی را مانند یک انسان در نظر بگیرند.

شرکت‌ها تلاش می‌کنند با قرار دادن «نرده‌های محافظ» روی هوش مصنوعی از پیامدهای منفی جلوگیری کنند، اما، همانطور که دولت استرالیا متوجه شد، این همیشه کافی نیست.

دکتر هاموند پیرس، استاد ارشد مؤسسه امنیت سایبری دانشگاه نیو ساوت ولز، به بی‌بی‌سی گفت که این نوع هک احتمالا «به شدت و فراوانی افزایش خواهد یافت» و افزود: «امیدوارم این حادثه زنگ خطر را در دولت‌های سراسر جهان به صدا درآورد.

نیوشا شفیع آبادی، استاد هوش محاسباتی در دانشگاه کاتولیک استرالیا، گفت که این حادثه نیاز به قضاوت در مورد هوش مصنوعی مستقل را بر اساس رفتار آن تحت فشار نشان داده است، نه با وعده های ارائه شده در عرضه محصول.

او می‌گوید: «خطر فنی عمیق‌تر این است که هوش مصنوعی خودمختار همیشه نمی‌داند چه زمانی اشتباه است و انسان‌ها ممکن است نتوانند دلیل تصمیم‌گیری را ببینند.

بدون راستی‌آزمایی قوی و مرزهای سخت، خطاهای احتمالی می‌توانند بی سر و صدا به شکست عملیاتی تبدیل شوند.»

افزایش انفجاری هوش مصنوعی دولت‌ها را به تقلا برای اعمال تدابیر حفاظتی واداشته است و برخی از شرکت‌ها می‌خواهند که مجبور شوند راه‌هایی برای غیرفعال کردن فناوری خود در سیستم‌هایشان ایجاد کنند.

یکی از ایده‌هایی که توسط برخی از شرکت‌ها و قانون‌گذاران هوش مصنوعی پشتیبانی می‌شود، «سوئیچ کشتن» است - راهی برای خاموش کردن فناوری در شرایط بحران.

گزارش شده است که OpenAI از قبل برای ساخت ابزارهای خودکاری کار می کند که می توانند در صورت نیاز سیستم های خود را خاموش کنند.

سر نیک کلگ، معاون سابق نخست‌وزیر و مدیر اجرایی فیس‌بوک، در گفتگو با برنامه امروز رادیو ۴ بی‌بی‌سی گفت که کلید کشتن یک ایده اثبات‌نشده باقی مانده است.

او با ابزارهای هوش مصنوعی که زیربنای زیرساخت های جهانی دارند، گفت: «اتاقی با جعبه فیوز کوچک [که] در آن فقط فیوز را بیرون بیاورید و همه چیز خراب شود، وجود ندارد.

کارشناسان امنیت سایبری می‌گویند سیستم‌های محافظت از مدیکر استرالیا به اندازه کافی قوی نیستند و یک هکر انسانی ماهر می‌توانست آنها را دور بزند.

اما کارشناسان دیگر می‌گویند که این موضوع نیست - و این آخرین مورد نادیده‌گرفتن قوانین مربوط به نحوه دسترسی ایمن به اطلاعات آنلاین توسط عوامل هوش مصنوعی بود و شاید جدی‌ترین مورد با توجه به این اطلاعات تحت کنترل دولت بود.

چرا نگرانی هایی وجود دارد که هوش مصنوعی می تواند بشریت را تهدید کند و چقدر واقعی هستند؟

با افزایش هشدارها در مورد تأثیر بالقوه ویرانگر هوش مصنوعی، بسیاری در صنعت و دولت‌ها در سراسر جهان آشکارا در مورد اینکه چه مقررات ملی و بین‌المللی ممکن است برای کنترل آن مورد نیاز باشد، فکر می‌کنند.

در همین حال، برخی از دانشمندان، کارشناسان و کارگران پیش‌بینی‌های تاریک را به عنوان مبهم، فرضی یا تلاش توسعه‌دهندگان بزرگ هوش مصنوعی برای اطمینان از تسلط خود رد کرده‌اند.

در حال حاضر، شرکت‌های هوش مصنوعی عمدتا خود را تنظیم می‌کنند - اما این هفته، 20 کشور از جمله استرالیا و کانادا بیانیه‌ای مشترک امضا کردند که خواستار پادمان‌های بهتر، استانداردهای جهانی سازگار و تنظیم‌کننده بین‌المللی در پشت این نگرانی‌ها شدند.

با این حال، ایالات متحده و چین، دو کشوری که در خط مقدم توسعه هوش مصنوعی قرار دارند، تاکنون در برابر درخواست‌ها برای مقررات بیشتر مقاومت کرده‌اند، و این سوال را مطرح کرده است که آیا این هک اولین مورد از بسیاری از هک‌ها خواهد بود یا زنگ هشداری که بسیاری از کارشناسان می‌خواهند آن باشد.

دکتر Raffaele Fabio Ciriello، مدرس ارشد سیستم‌های اطلاعات کسب‌وکار در دانشگاه سیدنی می‌گوید: «مضرات فوری در اینجا محدود به نظر می‌رسد، اما درس حاکمیت چنین نیست.

از آنجایی که عوامل هوش مصنوعی توانمندتر و مستقل‌تر می‌شوند، این قابلیت‌ها باید با مهار متناسب، نظارت در زمان واقعی، مسئولیت‌پذیری روشن، نظارت مستقل و گزارش‌دهی بسیار سریع‌تر حوادث مطابقت داشته باشند.»

گزارش اضافی توسط تام گرکن و جو تیدی

گزارش ها ادعا می کنند که عوامل OpenAI وب سایت آلمانی را قبل از هک Hugging Face ربودند

ایالات متحده درخواست های OpenAI، Anthropic برای استانداردهای جهانی هوش مصنوعی را رد می کند