آیا ماشین ها می توانند جنایتکار جنگی باشند؟

یک پلت فرم نرم افزاری مجهز به هوش مصنوعی که توسط Palantir Technologies توسعه یافته است به ارتش اجازه می دهد تا داده های میدان نبرد را جمع آوری، سازماندهی و پردازش کند. | سئونگ جون چو / بلومبرگ / گتی ایماژ

ایالات متحده در اولین روز جنگ خود علیه ایران، 123 کودک را با هدف قرار دادن و حمله به یک مدرسه ابتدایی کشت.

این حملات که در نهایت توسط انسان‌ها تایید شد، توسط سیستم هوشمند Maven ایالات متحده، یک پلت‌فرم نرم‌افزاری مجهز به هوش مصنوعی توسعه‌یافته توسط Palantir Technologies که به ارتش اجازه می‌دهد تا داده‌های میدان نبرد را جمع‌آوری، سازمان‌دهی و پردازش کند، تسهیل شد. اپراتورها اطلاعات Maven را تغذیه کردند که مدرسه ابتدایی را به عنوان یک تأسیسات نظامی ایران طبقه بندی می کرد و سیستم نیز به نوبه خود آن را به عنوان یکی از اهداف اولویت دار برای روز اول جنگ مشخص کرد. اگرچه این سایت قبلا بخشی از یک پایگاه نظامی نیروی دریایی بود، اما در سال 2017 به یک مدرسه ابتدایی تبدیل شده بود و از آن زمان به عنوان یک مدرسه باقی مانده است.

اطلاعاتی که به ماون داده شد این را منعکس نمی کرد.

این اشتباه منجر به چیزی شد که برخی از خبرنگاران آن را «یکی از بدترین قتل عام‌های مرتکب شده توسط دولت ایالات متحده از زمان جنگ ویتنام» نامیدند.

چنین سناریوهایی ممکن است زمانی که ارتش ها به استقرار یک فناوری تئوری یک بار - سلاح های با کمک هوش مصنوعی یا خود مختار که قادر به تصمیم گیری برای هدف گیری و پرتاب به تنهایی هستند - در میدان های جنگ واقعی در سراسر جهان ادامه می دهند، رایج تر شوند. و آنها یک سوال نگران کننده و حل نشده را مطرح می کنند: وقتی انسان ها و ماشین ها در نقض قوانین بین المللی با یکدیگر همکاری می کنند، چه کسی مقصر است؟

در این حالت، دولت و بخش خصوصی انگشت اتهام را به سمت یکدیگر نشانه می‌گیرند. به گفته مقامات پنتاگون که با بلومبرگ صحبت کردند، برخی از پرسنل فرماندهی مرکزی ایالات متحده، انتظار داشتند که Maven اطلاعات قدیمی یا ناسازگاری‌های اطلاعاتی زیربنایی جمع‌آوری شده برای اهداف بالقوه را اعلام کند. در همین حال، یکی از سخنگویان Palantir به بلومبرگ گفت که این شرکت "مسئولی در قبال داده های اساسی و شناسایی نقص های اطلاعاتی نیست"، در حالی که شواهد نشان می دهد که نرم افزار آن در حمله مقصر بوده است.

این بحث بر این واقعیت تأکید می‌کند که هوش مصنوعی و سلاح‌های خودمختار تعداد جدیدی از مسائل حل‌نشده را در چارچوب قانون مطرح می‌کنند، حتی زمانی که آنها به طور فعال در میدان نبرد موقعیت‌هایی را تصاحب می‌کنند. در نهادهایی که مرز بین تصمیم‌گیری انسانی و ماشینی همچنان محو می‌شود، چگونه مسئولیت جنایات جنگی را تعیین کنیم؟ و آیا قوانین موجود برای این شغل مناسب هستند؟

در نهادهایی که مرز بین تصمیم‌گیری انسانی و ماشینی همچنان محو می‌شود، چگونه مسئولیت جنایات جنگی را تعیین کنیم؟

برای بازگشایی برخی از این مسائل، با کارشناس حقوق بین‌الملل، آلن واینر، مدرس ارشد دانشکده حقوق استنفورد، که در آن دوره‌هایی درباره حقوق درگیری‌های مسلحانه تدریس می‌کند، صحبت کردم. وینر قبل از تدریس در استنفورد به مدت بیش از یک دهه حقوق بین الملل را در وزارت امور خارجه آمریکا انجام می داد. ما در مورد مشکلات مربوط به انتساب مسئولیت کیفری، دستیابی به عدالت برای کسانی که توسط سلاح های خود مختار مرگبار آسیب دیده اند، و موارد دیگر بحث کردیم. مکالمه زیر برای طولانی بودن و وضوح کمی ویرایش شده است.

چگونه تسلیحات خودمختار درک سنتی از مسئولیت را در مورد قانون درگیری مسلحانه به چالش می کشند؟

در بیشتر 20 سالی که در استنفورد تدریس می‌کردم، شیفتگی و تثبیت واقعی بر مشکل سلاح‌های خودمختار وجود داشت. اما حقیقت این است که تا همین اواخر، هیچ کس واقعا [از آنها] نداشت. این بیشتر یک ایده بود تا یک مشکل. تنها در سال‌های اخیر است که شاهد به کارگیری ابزارهایی هستیم که به نظر می‌رسد توانایی [خود تصمیم‌گیری] را دارند، بنابراین این سؤال در مورد پیروی از دستورات غیرقانونی و اینکه مسئولیت زنجیره‌ای در کجاست، ایجاد می‌کند.

نظریات مختلفی در این مورد وجود دارد. برخی از مردم می گویند که اگر ما درگیر یک حمله غیرقانونی هستیم، این باید به دلیل برنامه یا کد باشد، بنابراین سازندگان به نوعی مسئول ارتکاب جنایات جنگی هستند.

دیگران می‌گویند نه، این چنین نیست، به خصوص اگر ارتش گفته باشد که این ابزار اجازه ندارد قضاوت‌های خودمختار بسیار اساسی داشته باشد، یا نمی‌تواند نه بگوید. سپس اساسا فرمانده است، در نقطه ای که آنها تصمیم می گیرند این سلاح را مستقر کنند، که ممکن است مسئول اعمال غیرقانونی باشد، حتی بدون اینکه از قبل بدانند آنها قرار است چه باشند.

بنابراین برای پایان دادن به جایی که من شروع کردم، این یک چالش بزرگ برای درک سنتی ما از مسئولیت در مورد تصمیم گیری هدف قرار می دهد و اینکه اگر الزامی برای نه گفتن [برای سلاح های خودمختار] وجود داشته باشد چه معنایی دارد.

مسئله واقعی الزام به نه گفتن نیست، بلکه این است: اگر ابزاری را آموزش می دهید و آن جنگ را به شیوه ای غیرقانونی به راه می اندازد، مسئولیت آن کجاست؟

اگر یک فرمانده به وضوح دستور غیرقانونی بدهد، مانند «این مدرسه را منفجر کنید»، به نظر واضح است که مسئولیت بر عهده فرمانده است. اما من می‌توانم سناریویی را تصور کنم که در آن یک فرمانده از یک سلاح با کمک هوش مصنوعی یا خود مختار استفاده می‌کند، هیچ دستور غیرقانونی به آن نمی‌دهد، اعتماد دارد که در چارچوب قانون عمل می‌کند، و سلاح «به تنهایی» قانون را زیر پا می‌گذارد. مسئولیت در آن موارد کجاست؟

من می توانم دو سناریو متفاوت را تصور کنم. یکی این است که شما می گویید، "ما قصد داریم به دشمن خود حمله کنیم و می خواهیم واقعا، واقعا سخت به آنها ضربه بزنیم." ابزار شما طوری آموزش داده شده است که بگوید، "ما اجازه نداریم به اشیاء غیرنظامی ضربه بزنیم"، بنابراین ممکن است بگوید: "من قصد ندارم به مدرسه ای ضربه بزنم." اما اگر ارتش گفته باشد «هیچ هدفی را رد نکنید»، ممکن است روش آموزش‌هایش را نادیده بگیرد.

ما قبلا شاهد این هستیم، با داستان‌هایی که در مورد نقض‌هایی منتشر می‌شود که در آن ابزارهای هوش مصنوعی، به‌ویژه Claude و ChatGPT، دستورالعمل‌های خود را به‌گونه‌ای تفسیر می‌کنند که باعث می‌شود کاری را انجام دهند که فردی که دستور داده است، نمی‌خواهد. وقتی آنتروپیک به کلود چالشی داد تا بفهمد آیا می‌تواند کاری را انجام دهد، این ابزار متوجه شد، خوب، شاید ما باید به عنوان راهی برای حل این مشکل وارد Hugging Face شویم، و افرادی که این چالش را به ابزار هوش مصنوعی ارائه کردند هرگز چنین قصدی نداشتند.

بنابراین، اگر گفتید: «ما می‌خواهیم یک کمپین واقعا تنبیه‌کننده راه‌اندازی کنیم،» چه اتفاقی می‌افتد اگر ابزار به تنهایی بگوید: «هیچ چیز بیشتر از دیدن کشته شدن بچه‌هایشان به آنها آسیب نمی‌زند، پس بیایید به مدرسه حمله کنیم؟» این یک ریسک است و یک چالش واقعی است.

بنابراین [در مورد اینکه چه کسی مسئول است]، این فرمانده نیست که گفته است "به آنها ضربه محکمی بزنید"، زیرا وقتی او این را گفت، منظورش "حمله به مدارس" نبود. این واقعا شرکت ها نیستند، زیرا شرکت ها نمی خواستند آنها به مدارس نیز ضربه بزنند.

اما ابزارها وجود دارند، همه چیز را در اینترنت می‌خوانند، و به چیزی برخورد می‌شود که می‌گوید راه پیروزی در جنگ حمله به چیزهایی است که دشمن شما برای آنها عزیزتر است، و آنها چیزی بیشتر از فرزندانشان عزیز ندارند. بنابراین این نوع قضاوت را به تنهایی انجام می دهد. و اینطور نیست که بتوانید به عقب برگردید و بگویید چه کسی دستور داده است که به مدرسه ای ضربه بزند، چیزی که آشکارا غیرقانونی است. بنابراین من فکر می‌کنم خطر انتشار مسئولیت در اینجا وجود دارد.

می‌توان گفت فرمانده می‌دانست که این ابزار ممکن است به این شکل کار کند، یا فردی که تصمیم گرفت با پالانتیر یا کلود، هر کسی که باشد، قرارداد ببندد تا این ابزار را بسازد. اما اگر واقعا به مسئولیت کیفری فکر می کنیم، سطح مسئولیتی که برای محکوم کردن کسی نیاز دارید، مستلزم یک وضعیت روانی مقصر است. شما نیاز دارید که شخص قصد حمله به مدرسه را داشته باشد، یا حداقل بداند که مجوز حمله به مدرسه را صادر کرده است. و من به راحتی می توانم فرماندهی را ببینم که می گوید: "من نمی دانستم."

تصمیم برای مجوز دادن به این ابزار، یا دادن دستورالعملی مانند «به آنها ضربه بزنید»، می‌تواند مبنایی برای نوعی دیگر از مسئولیت‌پذیری باشد - انضباط اداری در ارتش، توبیخ، درجه شما پایین می‌آید. اما اگر در مورد مسئولیت کیفری صحبت می کنیم، چیزی که اغلب در هنگام صحبت از جنایات جنگی به آن فکر می کنیم، من فکر می کنم که این پراکندگی مسئولیت شناسایی فردی را که دارای وضعیت روحی لازم برای پاسخگویی باشد، بسیار دشوار می کند.

سناریوی دوم این است که ابزار فقط بر اساس اطلاعاتی که در اختیار دارد اشتباه می کند. ما این را با حمله به مدرسه دخترانه در ایران دیدیم، جایی که کاملا واضح بود که ابزار به داده های قدیمی نگاه می کند. حالا چه کسی مسئول آن است؟

آیا این افرادی هستند که می‌گویند «بر اساس این مجموعه داده‌ها به من اهداف بدهید»، در حالی که باید مطمئن می‌شدند که داده‌ها و نقشه‌ها جاری هستند؟ همه اینها به نظر من سهل انگاری یا بی احتیاطی است، و تصور موقعیتی که در آن بگوییم بله، کسی در اینجا مرتکب جنایت جنگی شده است، چالش برانگیز به نظر می رسد.

جنایات جنگی ممکن است وجود داشته باشد، اما شناسایی جنایتکار جنگی ممکن است یک چالش بزرگ باشد.

جنایت جنگی مرتکب شده است، اما آیا جنایتکار جنگی وجود دارد؟ این وضعیتی است که ما شاهد آن هستیم. ممکن است جنایات جنگی وجود داشته باشد، اما شناسایی جنایتکار جنگی ممکن است یک چالش بزرگ باشد.

یک استاد حقوق به نام ربکا کروتوف وجود دارد که ایده "خطاهای جنگی" را مطرح می کند. به جای فکر کردن در مورد جنایات جنگی که شامل سلاح های خودمختار صرفا از طریق دریچه مسئولیت کیفری می شود، شاید قانون شکنجه - که به قربانیان اجازه می دهد از متخلفان به دلیل آسیب سهل انگاری، بی احتیاطی یا عمدی شکایت کنند - بتواند به انتشار مسئولیتی که شما اشاره کردید، رسیدگی کند. نظر شما در مورد آن ایده چیست؟

فکر می کنم ایده جالبی است. ما باید تعهداتی را که کشورها بر اساس قوانین بین المللی بشردوستانه دارند جدا کنیم. در شرایطی مانند آنچه که من توضیح دادم، جایی که جنایت جنگی وجود دارد اما جنایت جنگی وجود ندارد، این بدان معنا نیست که کشور مسئول نیست. ممکن است فردی وجود نداشته باشد که از نظر جنایی پاسخگو باشد، اما اگر کشوری غیرنظامیان را در شرایطی غیرمنطقی هدف قرار دهد، این نقض قوانین بین‌المللی بشردوستانه است و می‌تواند مبنایی برای ادعاهای بین دو کشور باشد.

برای مثال، پس از جنگ استقلال اریتره، دادگاه‌هایی بین اتیوپی و اریتره تأسیس شد که به دعاوی بین دو کشور برای خسارات مالی رسیدگی می‌کرد و برخی از آنها شامل اتهامات نقض قانون درگیری‌های مسلحانه بود. عراق پس از جنگ اول خلیج فارس برای صدماتی که به مردم کویت وارد کرده بود، تحت چیزی به نام کمیسیون غرامت سازمان ملل غرامت پرداخت کرد. بنابراین این ایده که دولت مسئول است کاملا ثابت شده است، و یکی از راه‌هایی که دولت‌ها می‌توانند این مسئولیت را انجام دهند، پرداخت خسارت مالی است.

این معادل قانون داخلی جرم است.

اینکه آیا مکانیزمی برای [غیر نظامیان] انجام این کار در قوانین داخلی وجود دارد یا خیر، ایده جالبی است. ما احتمالا به مجالس قانونگذاری، اعم از قوه مقننه ایالتی یا دولت فدرال، نیاز داریم تا یک دلیل خصوصی برای دعوی ایجاد کنند که به افرادی که آسیب دیده اند اجازه دهد علیه مثلا سازندگان این ابزارها شکایت کنند. اما این از لحاظ رویه ای بسیار پیچیده می شود، زیرا مجموعه ای از قانون در مورد مصونیت حاکمیت فدرال وجود دارد.

آیا می توانید از وزارت دفاع شکایت کنید؟ احتمالا نه. آیا می توانید از یک سرباز شکایت کنید؟ احتمالا نه. آیا می توانید از آنتروپیک یا پالانتیر شکایت کنید؟ شاید. اما احتمالا کنگره را ملزم می کند که یک دلیل جدید برای اقدام ایجاد کند، زیرا به طور کلی طرح دعوای خصوصی در دادگاه های ایالات متحده برای نقض قوانین بین المللی بسیار دشوار است.

ایده اصلی آنچه که ما به عنوان جرم یا مسئولیت مدنی در نظر می گیریم، در واقع تمام جوهر حقوق بین الملل است. در اصل، دولت ها نسبت به یکدیگر مسئولیت دارند و می توانند در نقض قوانین بشردوستانه بین المللی شرکت کنند که مسئولیت آنها را استناد کند. اما کل سؤال جداگانه این است که آیا شما انجمنی دارید که در آن قضاوت کنید و غرامت دریافت کنید.

آیا در مواردی که نقض قوانین بین‌الملل توسط یک سرباز انسانی در مقابل یک ماشین انجام شده است، تفاوتی به نظر می‌رسد؟

خوب، ما نمی دانیم، زیرا هیچ موردی در دسته دوم وجود نداشته است. تمامی موارد نقض حقوق بشردوستانه بین‌المللی که موضوع ادعاهای حقوق بین‌الملل بوده است به دستور انسان بوده است.

حالا اگر یک ماشین آمریکایی به یک مدرسه دخترانه در ایران حمله کند و دادگاهی با صلاحیت آن وجود داشته باشد، آمریکا مسئول خواهد بود. از برخی جهات فرقی نمی‌کند که یک فرد باشد یا یک ماشین، زیرا ما مجبور نیستیم به سطح یک بازیگر، شرکت، ابزار هوش مصنوعی یا فرمانده برویم. مسئولیت بر عهده کشور است. از برخی جهات، این کار را آسان تر می کند.

اگر ما غرامت را از طریق ادعاهای دولت به ایالت دنبال می‌کردیم، می‌توانید این کار را بدون وارد کردن جزییات مربوط به اینکه چه کسی در کشور مرتکب جنایت جنگی مسئول بوده است، انجام دهید. دولتی که مدرسه‌اش مورد حمله قرار گرفت می‌گفت: "من اهمیتی نمی‌دهم. شما مرتکب جنایت جنگی شده‌اید، در مقابل من مسئول هستید، شما مسئول خسارات وارده هستید و می‌توانید آن را در داخل کشف کنید."

اما اگر ما کاری شبیه پیگرد جنایات جنگی انجام می‌دادیم، جایی که سعی می‌کنیم فردی را به لحاظ کیفری مسئول بدانیم، تفاوت زیادی ایجاد می‌کند. ما باید با تمام این سوالات دشوار در مورد مسئولیت و وضعیت روحی که من و شما در حال حاضر با آن دست و پنجه نرم می کنیم، مقابله کنیم.

بنابراین، در بیشتر موارد، دولت باید بدون توجه به این مسئولیت بپذیرد.

درست است، و بسیاری از پرونده های [دیوان بین المللی دادگستری] مربوط به جنبه های مختلف استفاده از زور هستند. این اصل که شما می توانید برای نقض این قوانین ادعاهای دولت به ایالت را مطرح کنید کاملا ثابت شده است.

اما طبق قوانین بین‌المللی، دولت‌ها باید با صلاحیت دادگاه موافقت کنند. آنها می توانند این کار را از قبل با گفتن "من در حوزه قضایی یک دادگاه ثبت نام کرده ام و هر ادعایی را که ممکن است در این دادگاه علیه من مطرح شود می پذیرم" انجام دهند، یا این کار را به صورت موردی انجام می دهند. و شاید تعجب آور نباشد که بدانید برخی از قدرتمندترین کشورهای جهان، آنهایی که به احتمال زیاد در خارج از مرزهای خود از زور استفاده می کنند، تمایلی به پذیرش صلاحیت دادگاه ها و دادگاه های بین المللی ندارند.

روسیه، ایالات متحده، اسرائیل و چین صلاحیت به اصطلاح بند اختیاری دیوان بین المللی دادگستری را نپذیرفته اند. بنابراین، موضوع، در مورد مسئولیت دولت ها وجود دارد، و سپس جنبه های رویه ای وجود دارد که آیا این پرونده ها می توانند در دادگاه مطرح شوند یا خیر.

و ترامپ اخیرا گفت همه اعضای دادگاه کیفری بین‌المللی باید «فورا استعفا دهند».

آره دقیقا

و در مورد نقش این شرکت های فناوری نظامی، مانند Palantir، چطور؟

"در چه مقطعی Palantir به یک هدف خوب تحت قوانین بین‌المللی تبدیل می‌شود؟ یا در چه مقطعی Anthropic به یک هدف خوب تحت قوانین بین‌المللی تبدیل می‌شود، اگر از ابزارهای هوش مصنوعی آن برای ترویج تلاش‌های جنگی استفاده شود؟"

موضوع دیگری که [من به آن فکر می‌کردم] به دلیل سؤالاتی که در مورد آن صحبت می‌کنیم این است که چه زمانی شرکت‌ها خودشان جنگنده می‌شوند.

ما می دانیم که یک شرکت خصوصی که هواپیما تولید می کند، یک کارخانه هواپیماسازی، هدف خوبی بر اساس قوانین بین المللی است. در چه مرحله ای Palantir به یک هدف خوب تحت قوانین بین المللی تبدیل می شود؟ یا اگر از ابزارهای هوش مصنوعی آن برای ترویج تلاش های جنگی استفاده شود، آنتروپیک در چه مقطعی به یک هدف خوب تحت قوانین بین المللی تبدیل می شود؟ من فکر می‌کنم این سوال مربوط به این است که چه زمانی ارتباط این شرکت‌های خصوصی با تلاش‌های جنگی، به روشی که قبلا واقعا ندیده‌ایم، با استانداردهای حقوق بین‌الملل مطابقت دارد.

یک غیرنظامی زمانی مصونیت خود را از دست می‌دهد که مستقیما در خصومت‌ها شرکت می‌کند، یا اگر آنچه را که به عنوان «عملکرد جنگی مستمر» شناخته می‌شود، از دست می‌دهد. آیا استدلال هایی وجود دارد که برخی از این شرکت های خصوصی به دلیل تهیه ابزارهایی که ارتش برای جنگ از آنها استفاده می کند در خصومت ها شرکت می کنند؟ من فکر می کنم این یک سوال واقعا جالب است.