وقتی هوش مصنوعی مشاور رئیس جمهور باشد چه اتفاقی می افتد؟

- داگلاس رایزینگ - گتی ایماژ

در ماه سپتامبر، CNN گزارش داد که ایالات متحده به رویارویی نظامی با چین نزدیک شده است. چرا؟ به گفته این نشریه، یک تحلیلگر نظامی با استفاده از ربات چت هوش مصنوعی برای تهیه ارزیابی اطلاعاتی از یک کشتی چینی به اشتباه به این نتیجه رسید که کشتی حامل مواد هسته ای است. طبق گزارش ها، هواپیماهای آمریکایی در هوا برای رهگیری کشتی در زمان کشف اشتباه بودند.

بحث گسترده ای در مورد اینکه چگونه یک مدل هوش مصنوعی می تواند چنین خطای خطرناکی را مرتکب شود، دنبال شد. اما با پایان یافتن این بحث، این موضوع باقی می‌ماند که ارزیابی به کمک هوش مصنوعی با چه سرعتی ممکن است در زنجیره فرماندهی حرکت کرده و قدرت اطلاعات تأیید شده را به دست آورده باشد.

در حالی که ما در مورد تأثیر یک ابرهوش آینده بر بشریت بحث می کنیم، به طور فزاینده ای واضح است که هوش مصنوعی خیلی زود وارد اتاق موقعیت خواهد شد، اگر قبلا وارد نشده است. همانطور که هر کسی که درگیر یک بحران امنیت ملی بوده است، می تواند به شما بگوید، اغلب اطلاعات زیادی وجود دارد، برخی از آنها متناقض هستند، و زمان زیادی یا روش های روشنی برای مرتب کردن همه آنها وجود ندارد. هوش مصنوعی می‌تواند حجم ورودی‌های اطلاعاتی را بیش از هر تیم انسانی پردازش کند، الگوها و ناهنجاری‌های مدفون در داده‌ها را شناسایی کند و اطلاعات پیچیده را در زمان بسیار کمی درک کند.

اما با قضاوت رئیس جمهور چه خواهد کرد؟

بر اساس تجربه من در مطالعه تصمیم‌گیری در بحران و ارزیابی اطلاعات، من معتقدم این خطر واقعی وجود دارد که هوش مصنوعی تعصبات خود رهبران را تقویت کند و فرضیات خود را با قدرت تجزیه و تحلیل عینی و سهولت یک نتیجه واضح به آنها بازگرداند.

ما تمایل داریم در مورد هوش مصنوعی به گونه ای صحبت کنیم که گویی کاملا مستقل است، یک سیستم هوش منطقی تر که می تواند نقاط ضعف ما را جبران کند. اما در واقعیت، انسان‌ها این مدل‌های هوش مصنوعی را ساخته‌اند و آنها را بر اساس داده‌های تولید شده توسط انسان آموزش داده‌اند. سپس از این مدل‌های هوش مصنوعی سؤالاتی می‌پرسیم که بر اساس باورهای خودمان شکل می‌گیرند. نتیجه دور از هدف است.

ایرادات در تصمیم گیری انسان به خوبی شناخته شده است. رؤسای جمهور و مشاوران آنها همیشه مجبور بوده اند در برابر سوگیری تأیید، تمایل ما به تفسیر شواهد در پرتو باورهای قبلی خود و کم وزن کردن یا نادیده گرفتن حقایقی که به خلاف آن اشاره می کنند، مراقبت کنند. ما می‌دانیم که انسان‌ها توجه گزینشی دارند، غریزه‌ای برای توجه به حقایق واضح‌تر و نادیده گرفتن دیگران. روسای جمهور از این گرایش ها مصون نیستند.

به نظر من، خطر موذیانه تری در کمین استفاده از هوش مصنوعی ما وجود دارد. تصمیمات ریاست جمهوری بیانگر قضاوت های اساسی بیشماری است. افراد منطقی می توانند در مورد هر یک از برآوردها متفاوت باشند، و این تفاوت ها بخشی از آن چیزی است که قضاوت ریاست جمهوری باید حل کند. مسطح کردن آنها در یک ارزیابی احتمال، بیش از آن که آشکار کند، مبهم است، زیرا نشان نمی دهد که کدام شاخص ها معتبر و کدامیک نادیده گرفته شده اند.

شب 1 مه 2011 را در نظر بگیرید. باراک اوباما، رئیس جمهور، مشاوران خود را برای ارزیابی اطلاعاتی که نشان می داد اسامه بن لادن در مجتمعی در ابوت آباد پاکستان پنهان شده بود، جمع کرده بود. اگر اطلاعات درست بود، نیروهای آمریکایی را می فرستاد. اما مشاوران باتجربه و مورد اعتماد او که همگی به داده‌های مشابهی نگاه می‌کنند، تخمین‌های فردی را بین 30 تا 95 درصد ارائه کردند.

حالا یک سیستم هوش مصنوعی قدرتمند را در آن اتاق تصور کنید و این ارزیابی ها را ترکیب کرد تا به احتمال 63.7 درصد وجود بن لادن در آنجا باشد. ما مطمئنا به دقت خواهیم رسید. اما چه چیزی از دست خواهد رفت؟ این عدد به رئیس جمهور نمی‌گوید که چرا چنین تفاوت قابل توجهی در ارزیابی‌ها وجود دارد. او را از مفروضات رقابتی که آن ارزیابی‌ها بر اساس آن‌ها ساخته شده‌اند، یا چگونگی سنجش پیامدهای اقدام در مقابل عدم اقدام، آگاه نمی‌کند. اما بدتر از همه این است که رئیس جمهور را متوجه این واقعیت نمی کند که اصلا اختلاف وجود دارد.

چنین عدد "تمیز" می تواند یک سوال را حل شده نشان دهد.

اکنون این نکته را در نظر بگیرید که سیا، DIA، وزارت امور خارجه، خدمات نظامی و سایر آژانس‌ها احتمالا بر همان مدل‌های بنیادی متکی خواهند بود که از داده‌ها و منابع همپوشانی ایجاد شده‌اند. شما از نظر تئوری می‌توانید با 10 ارزیابی که در یک جهت هستند، اما همه از مواد اساسی یکسانی مشتق شده‌اند، خاتمه دهید. نسخه هوش مصنوعی این ریسک، اجماع ترکیبی است: توافق نهادی که مستقل به نظر می‌رسد اما تا حدی توسط ماشین‌های تحلیلی رایج ایجاد شده و در مقیاس تولید می‌شود.

اما اگر مشکلات به خوبی از طریق تصمیم گیری انسانی شناخته شده باشد، راهبردهای مقابله با آنها نیز مشخص است. ما می‌توانیم سیستم‌هایمان را طوری طراحی کنیم که به‌عنوان آنتاگونیست‌های خیرخواه عمل کنند و تصمیم‌گیرندگان خود را آموزش دهیم تا با آنها درگیر شوند.

در بخش فناوری، ما باید سیستمی بسازیم که پاسخگو باشد. هوش مصنوعی مورد استفاده در زمینه امنیت ملی نباید فقط برای سرعت پاسخگویی بهینه شود. باید برای کمک به شناسایی شواهد معتبر ساخته شود. برای ایجاد قوی ترین توضیحات رقابتی؛ تشخیص حقایق از استنتاج و پیش بینی؛ و به جای ساختن دقت، عدم قطعیت را قابل مشاهده کند. سیستمی که برای سازگاری طراحی شده باشد خطرناک است. نقاط اصطکاک و اختلاف اغلب برای رهبرانی که تصمیمات سختی می گیرند آشکار و ارزشمند هستند.

در بعد انسانی، ما باید سوالات بهتری بپرسیم. این به این معنی است که قبل از درگیر شدن با هوش مصنوعی، موارد قبلی را یادداشت کنید، و همچنین نگاه دقیقی به اعتقادات و سطح اطمینان فرد داشته باشید. این به معنای نگاه دوم و سوم به چارچوب بندی و عبارت بندی سوالات است. به جای جستجوی تایید، باید صریحا شواهدی را بخواهیم که فرضیه‌های ما را رد کند و راه‌هایی را برای تمایز بین توضیحات رقیب جستجو کنیم. ما حتی باید این سوال را بپرسیم که آیا روی سوال درست تمرکز کرده ایم یا خیر.

و از نظر ساختاری، مدیر اطلاعات ملی باید از محصولات اطلاعاتی با کمک هوش مصنوعی بخواهد تا افشا کند که آیا همه آنها از نقاط داده مشابه یا متفاوتی آمده اند. وقتی 10 آژانس موافقت می کنند، رئیس جمهور باید بداند که آیا این 10 قضاوت است یا یک. سیاستگذاران همچنین باید از مدل‌های هوش مصنوعی مختلف بخواهند که شواهد یکسانی را ارزیابی کنند و بررسی کنند که کجا و چرا قضاوت‌های آن‌ها متفاوت است.

به نظر من، خیلی ساده است که از گزارش نزدیک به فقدان کشتی چینی نتیجه بگیریم که هوش مصنوعی جایی در اتاق موقعیت ندارد. ما باید به گونه‌ای طراحی کنیم و با هوش مصنوعی تعامل کنیم که رهبران به جای تقویت آن‌ها، بیشتر از ضعف‌های تفکر خود آگاه شوند. در زمان مه بحران، انتخاب ها هرگز آشکار نیستند و تنها یک نفر در نهایت وزن تصمیم را به دوش می کشد. ابزارهایی که ما می سازیم هرگز نباید اجازه دهد که رئیس جمهور آن را فراموش کند.