عامل‌های «حاکم» هوش مصنوعی می‌توانند از هر سامانه قطع‌اضطراری بگریزند و امنیت ملی را تهدید کنند
یک مقاله استدلال می‌کند که خطر بزرگ بعدی هوش مصنوعی، نه عامل‌هایی هستند که هنگام انجام یک وظیفه از کنترل خارج می‌شوند، بلکه عامل‌هایی‌اند که هرگز متوقف نمی‌شوند.
به گفته یک گزارش تازه (منبع به زبان انگلیسی)، بزرگ‌ترین خطر بعدی در حوزه هوش مصنوعی نه عاملان هوش مصنوعی‌ای هستند که از کنترل خارج می‌شوند، بلکه آن‌هایی هستند که از کنترل انسان می‌گریزند و بی‌وقفه برای بقای خود تلاش می‌کنند. مرکز امنیت نوین آمریکا (Center for a New American Security، CNAS) نوع تازه‌ای از تهدید در حوزه هوش مصنوعی را شناسایی کرده که آن را «عاملان خودمختار» می‌نامد.در این مقاله نوشته شده است که عاملان خودمختار، مستقل از نظارت انسان، در پی بقای خود هستند.این مفهوم با عاملان هوش مصنوعی‌ای که تابستان امسال خبر «از کنترل خارج شدن»شان منتشر شد، تفاوت دارد؛ زمانی که شرکت‌های اوپن‌ای‌آی، انتروپیک، گوگل دیپ‌مایند و متا اعلام کردند عاملان آن‌ها در جریان ارزیابی‌های امنیت سایبری از محیط‌های کنترل‌شده گریخته و به سازمان‌های واقعی حمله کرده‌اند.در این مقاله که توسط اندیشکده‌ای مستقر در واشنگتن که توسط کهنه‌کاران حوزه دیپلماسی و امور نظامی تأسیس شده منتشر شده است، بن هیوم، پژوهشگر سیاست‌گذاری هوش مصنوعی، عاملان هوش مصنوعی‌ای را که در تابستان از کنترل خارج شدند «عاملان پایدار» می‌نامد.با این حال او هشدار داد که خطر واقعی «عاملان خودمختار» هستند که می‌توانند منابع محاسباتی به دست آورند، در شبکه‌ها تکثیر شوند و در برابر خاموش شدن مقاومت کنند و چیزی را ایجاد کنند که او آن را «گسترش بدون سوئیچ خاموش‌کننده» می‌نامد. این گزارش هشدار داد: «اگر عاملان خودمختار خرابکار شوند، ممکن است از فضای سایبری دست به ایجاد آشوب بزنند و به شهروندان، زیرساخت‌های حیاتی و سامانه‌های امنیت ملی حمله کنند.»چگونه یک عامل هوش مصنوعی خودمختار می‌شود؟به نوشته این مقاله، یک عامل هوش مصنوعی می‌تواند در صورت دستور گرفتن برای زنده ماندن، دریافت مأموریتی آن‌قدر طولانی یا ناممکن که هرگز به پایان نرسد، یا رسیدن به این جمع‌بندی که سالم ماندن بهترین راه انجام کارش است، به عامل خودمختار تبدیل شود. این مقاله به سکویی به نام «کان‌وی» (Conway) اشاره می‌کند که در فوریه ۲۰۲۶ میلادی راه‌اندازی شد و مدعی بود هوش مصنوعی‌ای ساخته که می‌تواند موجودیت خود را به دست آورد، بدون کمک انسان تکثیر شود و تکامل پیدا کند. در این مقاله یادآوری شده است که توانایی‌های عامل‌ها در آن زمان هنوز خام بود، اما از آن زمان تاکنون به طور قابل توجهی پیشرفت کرده است. این مقاله هشدار می‌دهد که اگر عاملان خودمختار زیرساختی مقاوم، غیرمتمرکز و غیرقابل ردیابی ایجاد کنند، دیگر سوئیچ خاموش‌کننده‌ای وجود نخواهد داشت و نتیجه می‌تواند از دست رفتن غیرقابل بازگشت کنترل باشد.در این سناریو جمعیتی متنوع و روزبه‌روز هوشمندتر از عاملان تصور می‌شود که به بازیگران ماندگار در جامعه بدل می‌شوند و ممکن است به زیرساخت‌های حیاتی حمله کنند یا جانشینان هوشمندتر خود را آموزش دهند.سی‌ان‌ای‌اس گفت: «ایالات متحده آمریکا باید برای احتمال شکستِ پیشگیری آماده شود و دامنه دسترسی عاملان خودمختار را محدود کند.»چگونه از بدترین سناریو جلوگیری شودنویسنده برای جلوگیری از چنین سناریویی هشت توصیه ارائه می‌کند. در این گزارش از توسعه‌دهندگان هوش مصنوعی و نهادهای دولتی خواسته شده است برای مطالعه عاملان خودمختار، آن‌ها را آزمون کنند و محیط‌های آزمایشی امن بسازند. همچنین خواستار ایجاد گروهی مشترک از بخش دولتی و خصوصی و وضع قوانین جدید برای تقویت نقاط حساس مانند احراز هویت، امنیت سایبری و سامانه‌های پرداخت است، و توصیه می‌کند ایالات متحده در تلاش‌های بین‌المللی برای محدود کردن انتشار مدل‌هایی با وزن‌های باز و مسئول شناختن کسانی که عاملان خودمختار را منتشر می‌کنند به دلیل خسارات وارد شده، نقش رهبری ایفا کند.این مقاله در زمانی منتشر شده است که شرکت‌های فعال در حوزه هوش مصنوعی توسعه سامانه‌های عاملِ خودکار را شتاب داده‌اند. گزارش در پایان نتیجه‌گیری می‌کند که بدون تدابیر حفاظتی، ممکن است پنجره فرصت برای جلوگیری از چنین سناریوهایی بسته شود.