پکن و واشنگتن در مورد خط تلفن هوشمند هوش مصنوعی صحبت می کنند. اما چه کسی به تماس پاسخ خواهد داد؟

سلام و به Eye on AI خوش آمدید. در این نسخه:

Anthropic و OpenAI هر دو مدل‌های جدید و ارزان‌تر هوش مصنوعی را منتشر می‌کنند.

دونالد ترامپ، رئیس جمهور ایالات متحده، "نیروی هوش مصنوعی" ایجاد می کند.

چین و ایالات متحده برای گفتگو درباره خط تلفن حادثه هوش مصنوعی توافق کردند.

مدیر اجرایی مایکروسافت از "بزرگترین سرقت نیروی کار در تاریخ" در آموزش OpenAI درباره آثار دارای حق چاپ ناشران نگران بود.

دانشمندان هوش مصنوعی در حال پیشرفت خوبی هستند.

و حال محققان ایمنی هوش مصنوعی خوب نیست.

قبل از اینکه به اخبار هوش مصنوعی امروز برسیم—لطفا در اجلاس افتتاحیه Fortune AIQ در بورس نیویورک در تاریخ 1 اکتبر به من بپیوندید: بعدازظهر را با مدیران ارشد شرکت‌های موجود در فهرست Fortune AIQ 75 بگذرانید و کشف کنید که چگونه می‌توانید آزمایش‌های هوش مصنوعی خود را مقیاس‌بندی کنید و سرمایه‌گذاری‌ها را به ارزش تجاری قابل اندازه‌گیری تبدیل کنید. من در کنار مجریان مشترک، سردبیر Fortune، آلیسون شونتل و مدیر تحریریه رسانه زنده، اندرو نوسکا، بحث ها را هدایت خواهم کرد. برای حضور در اینجا اقدام کنید.

خوب، پس خبرنامه امروز کمی پت‌پوری است.

همه نگاه‌ها در این هفته معطوف به مذاکرات دونالد ترامپ، رئیس‌جمهور آمریکا و شی جین پینگ، رئیس‌جمهور چین در واشنگتن خواهد بود. ما می دانیم که حکمرانی هوش مصنوعی در دستور کار آن جلسه است که پنجشنبه برگزار می شود، اما این چیزی است که می دانیم. همکار من امیلی فورلینی هفته گذشته مقاله ای نوشت که چرا دیدار ترامپ و شی بعید است منجر به هر نوع توافق بین المللی برای کاهش سرعت توسعه هوش مصنوعی یا ایجاد یک چارچوب توافق شده برای کنترل این فناوری شود. ارزش خوندن داره

با این حال، این تصور وجود داشت که این دو ابرقدرت هوش مصنوعی ممکن است در واقع بتوانند با چند اصل موافقت کنند. اسکات بسنت، وزیر خزانه داری روز یکشنبه از دیدار با هیأت چینی به سرپرستی معاون نخست وزیر هی لینگ که در مقر جی پی مورگان در نیویورک برگزار شد، اعلام کرد که دو طرف توافق کرده اند درباره ایجاد یک خط تلفن برای اطلاع یکدیگر از حوادث هوش مصنوعی که نگرانی های امنیت ملی را ایجاد می کند، گفتگوهای بیشتری انجام دهند. این دقیقا به چه معناست در عمل مشخص نیست.

اما همانطور که بسنت به خبرنگاران گفت، "حرکت از مبهم به شفافیت بیشتر بین قدرت های شماره یک و شماره دو هوش مصنوعی در جهان بسیار مهم است."

چنین خطوط تلفنی از لحاظ تاریخی به کاهش تنش بین رقبا کمک کرده است. حداقل ممکن است از بروز نوعی حادثه تصادفی ناشی از هوش مصنوعی به درگیری مسلحانه یا حتی جنگ هسته ای جلوگیری کنند. در حال حاضر نشانه‌هایی وجود دارد که احتمال وقوع چنین حوادثی با هوش مصنوعی وجود دارد: همین آخر هفته، سی‌ان‌ان گزارش داد که در اوایل سال جاری، ارتش ایالات متحده تقریبا تلاش کرد یک کشتی چینی را در خاورمیانه توقیف کند که گزارش اطلاعاتی تولید شده توسط هوش مصنوعی حاکی از آن بود که قطعات تسلیحات هسته‌ای را به ایران حمل می‌کرد. این اطلاعات توسط یک مدل هوش مصنوعی تولید شده بود که ایالات متحده را با هم ترکیب می کرد.

هوش با داده های منبع باز تنها مشکل این است که نتیجه‌گیری مدل یک «توهم» هوش مصنوعی بود - و این خطا تنها پس از پرتاب هواپیمای حامل پرسنل مسلح توسط ایالات متحده که برای رهگیری کشتی چینی آماده می‌شدند، کشف شد. اگر این خطا به موقع تشخیص داده نمی شد، می توانست به یک حادثه دیپلماتیک یا به مراتب بدتر منجر شود.

اما در حالی که یک خط تلفن ممکن است از تبدیل این نوع حادثه به جنگ بین ایالات متحده و چین جلوگیری کند، کمتر مشخص است که آیا برای کمک به جهان برای جلوگیری یا مهار یک حادثه "از دست دادن کنترل" مربوط به یک سیستم هوش مصنوعی پیشرفته که سرکش است، کاری انجام می دهد یا خیر.

تماس گرفتن با یک دوست کمکی نمی کند

به عنوان مثال، اگر یک کشور (یا شرکت‌های مستقر در آنجا) یک هوش مصنوعی ایجاد کند که سرکش باشد و شروع به هک کردن بانک‌های سراسر جهان کند، چه؟ و اگر این هوش مصنوعی خودش را روی سرورهای سرتاسر دنیا کپی کند و بدون خاموش کردن بخش‌های زیادی از اینترنت، خاموش شدن آن را دشوار می‌کند. در حالی که اطلاع دادن به کشور دیگر در این مورد خوب است - ممکن است به آنها کمک کند تا قبل از وارد شدن خسارت زیاد، اقداماتی را برای ایمن کردن زیرساخت های مالی خود انجام دهند - دقیقا مشخص نیست که کشور دریافت کننده سرفصل ها قرار است چه کاری انجام دهد.

همانطور که محققان ایمنی هوش مصنوعی مدام هشدار می دهند، جهان راه خوبی برای تضمین پایبندی مدل های هوش مصنوعی به نیات و ارزش های انسانی پیدا نکرده است. و نه ایالات متحده و نه چین هیچ قانونی وضع نکرده اند که مدل های هوش مصنوعی را ملزم به داشتن نوعی "سوئیچ کشتن" کند. حتی روشن نیست که حتی می توان یک سوئیچ کشتن موثر ساخت.

بنابراین مطمئنا، این یک گام نویدبخش و عزیز به سوی نوعی توافقنامه حکمرانی هوش مصنوعی بین ایالات متحده و چین است. اما همچنین تاریخچه طولانی ای وجود دارد که خطوط تلفن مستقیم به هیچ نوع راه حل دیپلماتیک پایدار تبدیل نشده اند. در حال حاضر، خط تلفن هوش مصنوعی واشنگتن-پکن بسیار شبیه به توافق برای ساخت "نشانه خفاش" قبل از وجود بتمن است. شما می توانید آن را به آسمان بفرستید، اما هیچ جنگجوی صلیبی شنل دار برای نجات ما نمی آید.

چرا هک OpenAI باید هر شرکتی را نگران کند؟

یکی دیگر از اخبار مهم هوش مصنوعی در هفته گذشته، افشای آن بود که برای اولین بار در وال استریت ژورنال گزارش شد، تیم کوچکی از هکرهای کلاه سفید از مدل Claude Opus 5 آنتروپیک برای هک کردن پلتفرم پیام جامعه Discourse و از آنجا برای به خطر انداختن حساب ChatGPT یک کارمند OpenAI استفاده کرده اند. هنگامی که آنها به آن حساب دسترسی پیدا کردند، توانستند از آن برای دسترسی و تغییر نرم افزارهای موجود در مخزنی که OpenAI بسیاری از کدهای حساس خود را در آن ذخیره می کرد، استفاده کنند.

در بحبوحه بحث های داغ در مورد بهترین راه برای جلوگیری از حوادث "هوش مصنوعی سرکش"، بسیاری از کارشناسان امنیت سایبری به این حادثه پرداختند تا ثابت کنند که مسئله واقعی آنقدر نیست که هوش مصنوعی به طور فزاینده ای غیرقابل کنترل است، بلکه این است که شرکت های پیشرو هوش مصنوعی امنیت وحشتناکی ضعیفی دارند. این فقط OpenAI نیست. Anthropic همچنین دارای نقص های امنیتی شرم آور نیز بوده است.

بسیاری از منتقدان خاطرنشان کردند که بسیار طعنه آمیز بود که هر دو شرکت از تهدید حملات سایبری مبتنی بر هوش مصنوعی به عنوان بخشی از بازاریابی برای مشتریان استفاده می کنند تا از پیشرفته ترین (و گران ترین مدل های هوش مصنوعی) خود برای ایمن سازی شبکه های خود قبل از اینکه افراد بد به آنها برسند، استفاده کنند، اما به نظر می رسد هیچ یک هنوز کار بسیار خوبی را انجام نداده اند.

این حادثه همچنین چند حقیقت ناراحت کننده را برجسته کرد. یکی این است که عوامل هوش مصنوعی که در داخل شرکت ها کار می کنند یک هدف عالی برای هکرها هستند. مفید کردن این عوامل هوش مصنوعی اغلب به معنای دسترسی آنها به بسیاری از ابزارها و منابع داده دیگر است که بسیاری از آنها حاوی اطلاعات حساس شرکت هستند یا فرآیندهای کلیدی کسب و کار را کنترل می کنند. اگر هکرها بتوانند به این عوامل دسترسی پیدا کنند و فرماندهی آنها را بر عهده بگیرند، می توانند خیلی سریع آسیب های زیادی وارد کنند.

برای کارشناسان امنیت سایبری، پاسخ این است که این عوامل هوش مصنوعی را قفل کنند و بر اساس اصول «اعتماد صفر» عمل کنند. با هر عامل هوش مصنوعی به عنوان یک تهدید داخلی بالقوه برخورد کنید. به نمایندگان اجازه دهید فقط به داده هایی که برای تکمیل یک کار نیاز دارند دسترسی داشته باشند - ترجیحا با استفاده از روش "فقط به موقع، فقط به اندازه کافی دسترسی"، که در آن مجوزها باید هر بار که نماینده نیاز به دسترسی به پایگاه داده یا برقراری تماس ابزار دارد، تمدید شود.

اما بسیاری از روش‌های اعتماد صفر به طور بالقوه عوامل هوش مصنوعی را بسیار کمتر مفید می‌کنند. دلیلی وجود دارد که کارمندان از فرآیندهای بی پایان احراز هویت دو عاملی متنفرند و دلیلی وجود دارد که شرکت ها اغلب توکن های دسترسی به جلسه را در مدت 5 تا 30 دقیقه توصیه شده منقضی نمی کنند. از آنجایی که مجبور شدن مداوم به سیستم وارد شوید درد گردن است، و اصطکاک زیادی را برای انجام واقعی کار اضافه می کند.

آنچه واقعا مورد نیاز است، نوع جدیدی از کنترل دسترسی است که می‌تواند با آنچه عامل در هر زمان معین تلاش می‌کند انجام دهد وفق دهد و در مورد منطقی بودن فعالیت قضاوت مستدل کند. اگر یک شرکت ده ها هزار عامل هوش مصنوعی را اداره کند، چه کاری می تواند در مقیاس انجام دهد؟ احتمالا هوش مصنوعی بیشتر.

با آن، در اینجا اخبار بیشتری در زمینه هوش مصنوعی وجود دارد.

جرمی کان jeremy.kahn@fortune.com @jeremyakahn

این داستان در ابتدا در سایت Fortune.com منتشر شد