وقتی عوامل هوش مصنوعی سرکش می شوند چه کسی مسئول است؟
بررسی فناوری MIT توضیح میدهد: به نویسندگان ما اجازه دهید دنیای پیچیده و آشفته فناوری را بگشایند تا به شما در درک آنچه در آینده میآید کمک کنند. می توانید اطلاعات بیشتری از این سریال را در اینجا بخوانید. طی چند ماه گذشته، مجموعه ای از حملات سایبری توسط عوامل هوش مصنوعی جهان را مبهوت کرده است. در ماه جولای، OpenAI فاش کرد که انبوهی از عواملش…
بررسی فناوری MIT توضیح میدهد: به نویسندگان ما اجازه دهید دنیای پیچیده و آشفته فناوری را باز کنند تا به شما در درک آنچه در آینده میآید کمک کند. می توانید اطلاعات بیشتری از این سریال را در اینجا بخوانید.
طی چند ماه گذشته، مجموعه ای از حملات سایبری توسط عوامل هوش مصنوعی جهان را مبهوت کرده است. در ماه ژوئیه، OpenAI فاش کرد که انبوهی از عواملش از جعبه شنی خود فرار کرده و به پلتفرم هوش مصنوعی Hugging Face هک شده اند تا در تست امنیت سایبری تقلب کنند. اخیرا، محققان خارجی دریافتند که عوامل OpenAI یک سایت ویکی آلمانی و پلتفرم کدنویسی RubyGems را در ماه می ربودند تا پاسخهای آزمایشی را به اشتراک بگذارند.
در اوایل این ماه، آنتروپیک چهار حادثه را فاش کرد که در آن کلود مدل آن، سیستمهای شخص ثالث را در طول تمرینهای امنیت سایبری هک کرد. همین هفته گذشته، گوگل تایید کرد که مدل جمینی آن در حال هک کردن شرکت های دیگر نیز دستگیر شده است.
محققی که ربایش وبسایت OpenAI را کشف کرد، هشدار داده است که احتمالا قسمتهای کشفنشده مشابهی وجود دارد. و بسیاری می گویند تا زمانی که یک حادثه دیگر، احتمالا مخرب تر، رخ دهد که در آن عوامل هوش مصنوعی، جعبه های ماسه ای را دور می زنند تا به سیستم هایی دسترسی پیدا کنند که نباید رخ دهد.
بنابراین سوال بزرگ این است: چگونه شرکتها را در زمانی که کنترل عوامل هوش مصنوعی خود را از دست میدهند، مسئول بدانیم؟
گزارش دهی
OpenAI حادثه ویکی آلمانی یا رویداد RubyGems را فاش نکرد تا زمانی که گروهی از محققان خارجی آنها را کشف کردند، و هنوز برخی جزئیات مهم در مورد هک Hugging Face را فاش نکرده است. این درک ما را از اینکه دقیقا چه چیزی اشتباه رخ داده و چگونه از تکرار آن جلوگیری کنیم، محدود می کند.
اما ممکن است تعجب کنید اگر بدانید که OpenAI احتمالا از نظر قانونی ملزم به افشای این حوادث نبوده است. (OpenAI به درخواست نظر پاسخ نداد.)
قوانین شفافیت هوش مصنوعی ایالتی مانند SB 53 کالیفرنیا، قانون RAISE نیویورک و SB 315 ایلینوی مستلزم آن است که توسعه دهندگان هوش مصنوعی «حوادث ایمنی حیاتی» را گزارش کنند. اینها به عنوان حوادثی تعریف می شوند که بیش از 50 کشته یا جراحات جسمی یا 1 میلیارد دلار خسارت به بار می آورند. آنها همچنین شامل حوادثی میشوند که در آن مدل، توسعهدهندگان را خارج از یک ارزیابی فریب میدهد، به گونهای که به طور مادی خطرات فاجعهبار را افزایش میدهد.
بسیاری از حوادث امنیت سایبری که آستانه آسیب فیزیکی یا خطرات فاجعهبار را برآورده نمیکنند، میتوانند پیشآزمونهای خطرناکی برای چنین فجایع باشند و قوانین موجود آن را در نظر نمیگیرند.
مکنزی آرنولد، مدیر سیاستگذاری ایالات متحده در مؤسسه قانون و هوش مصنوعی، یک اندیشکده، می گوید: «حوادث اخیر نمونه کاملی از این است که چرا قانون آماده نیست. "فقط بدترین، فاحش ترین، مضرترین چیزها واجد شرایط هستند."
در حالی که طبق قوانین موجود هوش مصنوعی هیچ اختیاری برای درخواست اطلاعات در مورد هر چیزی جز یک فاجعه وجود ندارد، دولتها موظفند از سایر قوانین مرجع تحقیقاتی را قرض بگیرند یا از شرکتها شکایت کنند، فرآیندی پرهزینه که ممکن است سالها طول بکشد.
دعوی قضایی
یوناتان آربل، استاد حقوق در دانشکده حقوق دانشگاه آلاباما، میگوید: «به طور معمول، چیزی مانند حادثه «صورت در آغوش گرفتن» باید به دادگاه کشیده میشد. سپس ما اکتشافاتی خواهیم داشت و همه اثرات سرریزی را که از دعوا به دست می آوریم، خواهیم داشت، جایی که همه اطلاعات از آن بیرون می آیند.
اما تا کنون، Hugging Face تصمیم گرفته است از OpenAI شکایت نکند. مدیر عامل Hugging Face، Clément Delangue، می گوید که منابع لازم برای انجام این کار را ندارد (در عوض، او از OpenAI ۱۰۰ میلیون دلار برای محاسبات درخواست کرد). با این حال، دلانگ در مصاحبه ای با CNN در پایان ژوئیه تاکید کرد که انتخاب نکردن اقدام قانونی نباید به این معنا باشد که او فکر نمی کند OpenAI باید پاسخگو باشد. او گفت: "همه باید به خاطر داشته باشند که این حمله سایبری یک جنایت است. این غیرقانونی است. و ما باید راهی پیدا کنیم تا مطمئن شویم این موارد به طور منظم اتفاق نمی افتد."
Hugging Face به درخواست اظهار نظر پاسخ نداد.
دعاوی حقوقی این مزیت را دارد که دادگاه ها را مجبور می کند تا از قوانین موجود برای رسیدگی به حوادث ایمنی هوش مصنوعی استفاده کنند، نه اینکه فقط منتظر قانون جدید باشند. یکی از راههای آشکار، قانون جرم است، مجموعهای از قانون مدنی که به مردم و مشاغل اجازه میدهد از کسانی که به آنها آسیب میزنند شکایت کنند. این اغلب برای مسئول دانستن شرکتها در قبال آسیبهای انبوهی که ایجاد میکنند استفاده میشود، مانند زمانی که خانوادهها از بوئینگ در سال 2019 به دلیل دو سانحه هوایی که صدها نفر کشته شدند، یا زمانی که ایالتها و شهرها از Purdue Pharma به دلیل بحرانهای مواد افیونی شکایت کردند و شهرکهایی به ارزش میلیاردها را استخراج کردند.
گابریل ویل، استاد حقوق در مرکز حقوقی دانشگاه هیوستون، میگوید: «دلایل قابل قبولی برای ادعای سهل انگاری وجود دارد که OpenAI باید از جعبه ایمنی قویتری استفاده میکرد و نظارت بیشتری انجام میداد. به عنوان مثال، زمانی که کارکنان OpenAI تابلوی پیام مخفی را که عوامل ایجاد کرده بودند کشف کردند، میتوانستند یافتههای خود را به سرعت به تیمهای امنیتی و ایمنی منتقل کنند. و این شرکت می توانست جعبه شنی خود را بهتر طراحی کند تا اطمینان حاصل شود که نمایندگان نمی توانند به اینترنت دسترسی داشته باشند.
اما حتی اگر OpenAI به دعوی حقوقی در مورد هک Hugging Face ختم نشود، تهدید مسئولیت میتواند آزمایشگاههای هوش مصنوعی را تشویق کند تا احتیاط بیشتری نسبت به آنچه که صراحتا توسط قانون خواسته شده است، انجام دهند.
OpenAI در کالبدشکافی خود اعلام کرد که قصد دارد پادمان های مورد استفاده برای کنترل و نظارت بر مدل ها را تقویت کند، همسویی مدل ها را تسریع بخشد، و فرآیندهای خود را برای شناسایی و رسیدگی به حوادث بهبود بخشد.
ویل میگوید: «سوالات مربوط به مسئولیت ناشی از حملات سایبری آزمایشگاههای مرزی به انگیزههایی خلاصه میشود که انتظار مسئولیت برای رفتار آینده آنها ایجاد میکند. به همین دلیل است که فکر میکنم رعایت صحیح این قوانین مهم است، حتی اگر در این مورد خاص ریسکها بسیار کم باشد.»
تحقیقات
یکی از راه های دریافت پاسخ - و تعیین اینکه آیا OpenAI باید مسئول شناخته شود یا خیر - اجبار به افشای اطلاعات است. اما قوانین موجود در ایالت هوش مصنوعی - SB 53 کالیفرنیا، قانون RAISE نیویورک و 315 ایلینویز - به دولتها این اختیار را نمیدهد که در مورد حوادثی مانند آنچه اخیرا رخ داده است تحقیق کنند.
با این حال، در بحبوحه افزایش هشدار عمومی، دادستان های کل ایالت وارد عمل شده و اختیارات تحقیقاتی را از قوانین دیگر به عاریت گرفته اند. آلاباما، مونتانا و ائتلافی از 15 ایالت دیگر و کالیفرنیا هر کدام از OpenAI اطلاعاتی در مورد این حادثه می خواهند تا بفهمند که آیا اقدامات این شرکت قوانین حمایت از مصرف کننده ایالتی را نقض می کند یا خیر. اعضای کنگره نیز تحقیقات خود را آغاز می کنند.
سناتور جاش هاولی تحقیقات سنا را در اوایل ماه جاری آغاز کرد و فهرستی از سوالات مربوط به این حادثه و سیاستهای داخلی شرکت را همراه با درخواست سند برای OpenAI ارسال کرد، در حالی که گروهی از دموکراتهای مجلس از OpenAI و Anthropic خواستند گزارشهای حوادث خود را منتشر کنند.
آرنولد، کارشناس سیاست هوش مصنوعی ایالات متحده، میگوید: «کسی باید تحقیق کند، اما مایه تاسف است که به دست دادستانهای کل افتاده است، که باید به تفاسیر خلاقانه مقامات فعلی خود برای انجام این کار تکیه کنند.» قوانین حمایت از مصرف کننده برای دستگیری شرکت هایی نوشته شده است که مشتریان خود را کلاهبرداری می کنند، نه شرکت هایی که کنترل نرم افزار خود را از دست می دهند. دادستان کل ایالت باید نشان دهد که OpenAI مشتریان را فریب داده یا به طور غیرمنصفانه به آنها آسیب رسانده است، اما مشخص نیست که آیا هک چنین رفتاری را شامل می شود یا خیر.
آرنولد میگوید: «این قوانین [حفاظت از مصرفکننده] برای انجام تحقیقات کامل درباره یک حادثه امنیت سایبری هوش مصنوعی ساخته نشدهاند. آنها برای کمک به بازرسان در تعیین اینکه آیا یک مدل به اندازه کافی حاوی است یا اینکه آیا اقدامات امنیتی یک شرکت درست است یا خیر، طراحی نشده بودند.
آربل می گوید: «این ابزار مناسبی برای این کار نیست. «ابزار مناسب میتوانست چیزی شبیه تحقیقات جنایی باشد» - شاید طبق قانون هک مانند قانون کلاهبرداری و سوء استفاده رایانهای (CFAA).
بر اساس CFAA، هک کردن سیستم های کامپیوتری یک شرکت دیگر بدون اجازه جرم است. اما برای اینکه یک هکر مسئول شناخته شود، باید قصد نفوذ به یک کامپیوتر بدون مجوز را داشته باشد. مسلما قصد و نیت مستلزم یک حالت ذهنی است و هیچ دادگاهی حکم نکرده است که عوامل هوش مصنوعی چنین وضعیتی دارند. بدون چنین سابقه ای، بعید است دادگاه حکم کند که عوامل هوش مصنوعی هک کرده اند.
حسابرسی
یکی از راههای زیر نظر گرفتن شرکتهای هوش مصنوعی، الزام حسابرسان خارجی است.
پس از هک Hugging Face، OpenAI محققانی از مؤسسات غیرانتفاعی ایمنی هوش مصنوعی METR و Redwood Research را برای بررسی این حادثه وارد کرد. با این حال، دسترسی به مدلی را که منجر به هک شد، محدود کرد، اقدامات ایمنی و امنیتی شرکت را فاش نکرد، مدت زمان بررسی را محدود کرد و در مورد آنچه که محققان میتوانستند منتشر کنند، نظر نهایی داشت. ما هنوز نمی دانیم چه چیزی باعث شد که این حمله در ماه مه آغاز شود و چرا کارمندان OpenAI که فعالیت این عوامل را مشاهده کردند، هرگز به امنیت و رهبران امنیتی آنها افزایش پیدا نکردند.
این نوع ترتیبات دارای تنش داخلی است: حسابرس بدون اختیار قانونی به حسن نیت آزمایشگاه برای دسترسی مستمر بستگی دارد، به این معنی که باید آزمایشگاه ها را بدون به خطر انداختن روابط آنها بررسی کند. هفته گذشته، Anthropic اعلام کرد که این شرکت Accenture را به عنوان یک ارزیاب تعبیه شده برای ارزیابی مدل های خود استخدام می کند.
داریو آمودی، مدیر عامل آنتروپیک در مقاله ای نوشت که آزمایشگاه های هوش مصنوعی مرزی باید «دسترسی مستمر کارمندی» را به «تیمی از ارزیاب های شخص ثالث تعبیه شده (مانند METR) بدهند، که نقش آنها تأیید پایبندی به اقدامات و تعهدات ایمنی، گزارش حوادث، و کمک به ارزیابی همسویی فرآیندها و مدل های آموزشی خطوط لوله است.
اکثر قوانین موجود هوش مصنوعی ایالتی، آزمایشگاه ها را ملزم به استخدام حسابرس خارجی نمی کند. SB 53 کالیفرنیا و قانون RAISE نیویورک فقط شرکتهای هوش مصنوعی را ملزم میکنند که یک چارچوب ایمنی منتشر کنند که در آن توضیح دهد چگونه مدلهای خود را برای قابلیتهای خطرناک آزمایش میکنند و سپس از آن پیروی میکنند. فریمورک ها توسط شرکت ها نوشته شده اند و تست را می توان به صورت داخلی انجام داد. فقط SB 315 ایلینوی شرکت ها را ملزم می کند که از سال 2028 ممیزی سالانه شخص ثالث را انجام دهند.
پیتر سالیب، استاد حقوق در مرکز حقوقی دانشگاه هیوستون میگوید: «جای زیادی برای افزایش نه تنها الزامات گزارشدهی برای این شرکتها، بلکه بررسی توسط نهادهای خارجی وجود دارد». این بازبینها میتوانند حسابرسان خصوصی باشند که توسط دولت معتبر هستند اما شرکتهای هوش مصنوعی انتخاب و پرداخت میکنند. از طرف دیگر، آنها می توانند سازمان های دولتی یا شرکت های بیمه باشند.
قانون گذاری
هیچ کدام از اینها تصادف نیست. قوانین مربوط به کتابهایی که نتوانستند شرکتهای هوش مصنوعی را در قبال حملات سایبری عاملان مسئول بدانند، در میان لابیهای شدید صنعت هوش مصنوعی پدیدار شدند.
SB 1047، لایحه هوش مصنوعی کالیفرنیا که توسط فرماندار گاوین نیوسام در سال 2024 پس از لابی توسط OpenAI، Meta، Anthropic و شرکت سرمایه گذاری خطرپذیر Andreessen Horowitz وتو شد، مجموعه قوانین سخت تری را پیشنهاد کرد. شرکتهای هوش مصنوعی میبایست مجموعه گستردهتری از حوادث ایمنی را گزارش کنند (از جمله حوادثی که در آن یک مدل به تنهایی عمل میکند یا کنترلهایش را از دست میدهد)، تحت ممیزیهای سالانه شخص ثالث قرار میگیرد و سوئیچ مرگ را حفظ میکند.
اما پس از یک سال مذاکرات فشرده، Newsom SB 53 را امضا کرد، که انواع حوادث را که قابل گزارش تلقی میشد محدود کرد و الزامات ممیزی و سوئیچهای کشتن را حذف کرد.
قانون RAISE نیویورک نیز همین روند را دنبال کرد. الکس بورس، عضو مجلس ایالت نیویورک که حامی این لایحه بود، در X نوشت: «نسخه قانون RAISE که قانونگذار نیویورک تصویب کرد، مستلزم افشای این «حادثه» بود. لایحه اصلی نیویورک شامل ممیزی شخص ثالث نیز بود.
با افزایش فشار سیاسی، لوایح جدید ایجاد گزارش بهتر، حسابرسی و رژیم های مسئولیت برای توسعه هوش مصنوعی در افق هستند. در کنگره، قانون گزارشدهی رخداد هوش مصنوعی شرکتهای هوش مصنوعی را ملزم میکند زمانی که مدلی از نظارت انسانی فرار میکند یا سیستمی را نقض میکند، حتی اگر آسیبی به همراه نداشته باشد، به وزارت بازرگانی گزارش دهند. قانون مرزی مستلزم گزارش رویداد و ممیزی مستقل است.
در نیویورک، قانون درک هوش مصنوعی که توسط بورز حمایت میشود، شرکتها را در صورت انجام کاری که اگر توسط یک انسان انجام شود، جرم یا جرم محسوب میشود، مسئول میسازد.
از آنجایی که عوامل هوش مصنوعی به طور فزاینده ای در راه اندازی حملات سایبری بهتر می شوند، قانون عقب مانده است. از بین بردن این شکاف، قانونگذاران را ملزم می کند که سریعتر از شکست بعدی حرکت کنند.
متن اصلی (انگلیسی)
Who’s liable when AI agents go rogue?
MIT Technology Review Explains: Let our writers untangle the complex, messy world of technology to help you understand what’s coming next. You can read more from the series here. Over the past few months, a cascade of cyberattacks by AI agents has stunned the world. In July, OpenAI disclosed that a swarm of its agents…