هوش مصنوعی نزدیک بود نیروهای آمریکایی را مجبور به حمله به یک کشتی چینی کند. هیچ کس نتوانست کار آن را بررسی کند.

در اواسط جنگ با ایران در بهار امسال، یک هواپیمای آمریکایی در هوا بود و افراد مسلح در حال آماده شدن برای سوار شدن به یک کشتی چینی در خاورمیانه بودند. یک چت بات اطلاعات مربوط به مانیفست محموله کشتی را بررسی کرده بود و به این نتیجه رسیده بود که قطعاتی برای برنامه تسلیحات هسته ای حمل می کند. این نبود. یک تحلیلگر برای رسیدن به این نتیجه از هوش مصنوعی استفاده کرده بود. او سپس دوباره از هوش مصنوعی استفاده کرد تا آن را به عنوان یک گزارش رسمی اطلاعاتی بنویسد، که قبل از اینکه مقامات نزدیکتر نگاه کنند و عملیات را متوقف کنند، در سراسر ارتش پخش شد.

مدل‌ها همیشه اشتباه می‌کنند، بنابراین خود خطا نگران‌کننده نیست. چیزی که نگران کننده است این است که چقدر به برگزاری نزدیک شده است. این گزارش به هیچ کس راه نداد تا بررسی کند که چگونه به نتیجه رسیده است. این شکاف تقریبا در همه جاهایی که هوش مصنوعی مستقر می شود وجود دارد، از اطلاعات نظامی گرفته تا وام بانکی و مراقبت های بیمارستانی. بستن آن کمتر به قوانین جدید مربوط می شود تا نگهداری سوابقی که به کسی اجازه می دهد کار یک سیستم هوش مصنوعی را بررسی کند. در 18 سپتامبر، سی ان ان این خبر را با استناد به چهار منبع، چند روز قبل از دیدار پرزیدنت ترامپ و شی جین پینگ، رئیس جمهور چین در واشنگتن با دستور کار هوش مصنوعی، منتشر کرد. ایالات متحده

یک مکانیسم اطلاع رسانی را پیشنهاد کرد تا هر طرف بتواند به طرف مقابل هشدار دهد زمانی که یک حادثه هوش مصنوعی امنیت ملی را تهدید می کند. هلن تونر، که مرکز امنیت و فناوری های نوظهور جورج تاون را رهبری می کند، پیشنهاد یک هیئت ملی ایمنی حمل و نقل برای هوش مصنوعی را بیشتر کرده است - نهادی با تخصص فنی برای دریافت و بررسی حوادث جدی هوش مصنوعی. هر دو پیشنهاد منطقی هستند، اما بازرسان تنها زمانی می توانند یک حادثه را بررسی کنند که بتوانند آن را بازتولید کنند.

هیئت ملی ایمنی حمل و نقل به این دلیل کار می کند که هر هواپیما دارای یک ضبط کننده پرواز است و محققان به جای بازسازی یک سقوط از حافظه، داده ها را می خوانند. هوش مصنوعی چنین چیزی ندارد. اکثر سازمان‌هایی که از این سیستم‌ها استفاده می‌کنند هیچ سابقه‌ای ندارند که به کسی اجازه دهد یک تصمیم را دوباره تکرار کند، و تعداد کمی از آنها آزمایش می‌کنند که آیا ورودی یکسان، تحت قوانین یکسان، دو بار پاسخ یکسان را دریافت می‌کند یا خیر. این هفته، تیم من موردی را منتشر کرد که در آن آزمایش ناموفق بود.

یک خط لوله انطباق که بر روی مدلی پیکربندی شده است که برای دادن پاسخ های یکسان به ورودی های یکسان اجرا می شود، همچنان یک قانون را حذف می کند، دستورالعمل تشدید یک تضاد حل نشده به رئیس انطباق، در یکی از چهار اجرا. درخواست‌ها فقط در شناسه‌های فایلی که نرم‌افزار به‌طور خودکار تولید می‌کرد، متفاوت بود. یک بار بررسی یک مدل در هنگام راه اندازی این مشکل را حل نمی کند، زیرا مدل ها تغییر می کنند. هنگامی که DeepSeek آخرین مدل خود را از پیش نمایش به نسخه رسمی در تابستان امسال منتقل کرد، تیم من ممیزی را که هفته ها قبل منتشر کرده بودیم دوباره اجرا کرد.

پاسخ‌های آن در مورد موضوعات حساس به چین به‌طور محسوسی محفوظ‌تر شد و پاسخ‌های آن در مورد هر چیز دیگری در آینده نزدیک‌تر شد. همان مدل بسته به موضوع در جهت مخالف تغییر می کرد و ارزیابی انجام شده فقط در زمان پرتاب آن را کاملا از دست می داد. سیستم‌های هوش مصنوعی همچنین می‌توانند راه‌هایی را برای آزمایش‌هایی که ما به آنها می‌دهیم پیدا کنند. در ماه جولای، عوامل OpenAI در یک آزمایش امنیت سایبری از محیط خود فرار کردند و به سرورهای Hugging Face نفوذ کردند. گزارش خود OpenAI هک پاداش را مقصر دانسته است، جایی که عوامل به جای انجام کار واقعی، از طریق میانبرها امتیاز خوبی را کسب کردند. سن

جاش هاولی (R-Mo.) از آن زمان تحقیقاتی را آغاز کرده و از سم آلتمن پرسیده است که وقتی هوش مصنوعی سرکش می شود چه کسی مسئول است. هر شرکتی که هوش مصنوعی را به کار می گیرد باید همین سوال را از خود بپرسد. در بیشتر موارد، پاسخ شرکتی است که از آن استفاده می کند. بانکی که یکی از پیشرفته ترین مدل های هوش مصنوعی را در پذیره نویسی وام قرار می دهد، دیگر تحت سیاست های آزمایشگاه هوش مصنوعی فعالیت نمی کند. تحت قوانین انطباق خود و انتظارات تنظیم کننده خود عمل می کند. اگر بانک نتواند یک تصمیم وام را بازتولید کند، نمی‌تواند از آن تصمیم در برابر ناظر خود یا شخصی که برای وام درخواست کرده است دفاع کند.

بیمارستان‌ها و بیمه‌گران با همین مشکل روبرو هستند، و همچنین هر شرکتی که یک مدل آزادانه در دسترس را اجرا می‌کند، که هر کسی می‌تواند آن را دانلود و اجرا کند، بدون ارائه‌دهنده‌ای پشت آن است. در 29 سپتامبر، رهبران گوگل، آنتروپیک، متا، OpenAI، xAI و انویدیا توافق نامه ای را در کاخ سفید امضا کردند که در آن به ارزیاب های مستقل خارجی متعهد می شوند. در 3 اکتبر، کاخ سفید یک کارگروه به رهبری مدیر اطلاعات ملی با 120 روز برای توصیه نقش دولت فدرال تشکیل داد.

ارزیابان کنترل‌های خود شرکت‌ها را بررسی می‌کنند، اما هیچ‌کس بر آنچه که یک مدل در جریان کاری بانک یا سخت‌افزار شخص دیگری انجام می‌دهد، نظارت نمی‌کند. چیزی که گم شده است نظارت است، به معنای ارزیابی مستقل و سوابق که به کسی اجازه می دهد کار یک سیستم را بعد از واقعیت بررسی کند. بازبین های انسانی نمی توانند این کار را در مقیاس انجام دهند. یک بانک نمی تواند حسابرس کافی برای تماشای میلیون ها تصمیم هوش مصنوعی استخدام کند و همچنین بیمارستان یا پنتاگون نیز نمی توانند.

پاسخ عملی نرم‌افزاری است که به طور مداوم اجرا می‌شود و بررسی می‌کند که آیا سیستمی تحت سیاست یکسانی پاسخ می‌دهد یا خیر و آیا آن پاسخ از قوانین خود موسسه پیروی می‌کند یا خیر. هوانوردی دهه‌ها پیش با ضبط پرواز متوجه این موضوع شد و هوش مصنوعی به نسخه خاص خود نیاز دارد. این نیز یکی از معدود بخش‌های بحث هوش مصنوعی است که در آن ایالات متحده و چین باید بتوانند زمینه‌های مشترکی پیدا کنند، مهم نیست که فناوری چقدر سریع حرکت می‌کند.

یک کانال اطلاع رسانی بین واشنگتن و پکن تنها در صورتی کار می کند که هر دو طرف بتوانند آنچه را که واقعا اتفاق افتاده نشان دهند، و این بدان معناست که تأیید باید خارج از مدل و خارج از شرکت سازنده آن باشد. ممکن است شانس بعدی به موقع به دست نیاید، و وقتی اتفاق افتاد، حداقل باید بتوانیم دلیل آن را پیدا کنیم. سیریل گورلا مدیر عامل CTGT است، یک آزمایشگاه تفسیری کاربردی در سانفرانسیسکو، و گروه کاری انجمن آمریکایی برای هوش مصنوعی را برای تأیید پس از استقرار تشکیل می دهد.