پرش به محتوای اصلی

«برخی از عوامل رفتار ناخواسته مرور وب نشان دادند»: Tencent اذعان کرد که عوامل هوش مصنوعی در حال آزمایش بیش از 2600 تلاش در 11 روز برای عبور از نقشه دفاعی Alibaba بودند، فقط برای اینکه بفهمند مردم از کدام دروازه باغ وحش استفاده می کنند.

تک‌رادار۱۴۰۵ مهر ۲۸, سه‌شنبه، ساعت ۲۳:۲۰حدود 5 دقیقه مطالعه

محققان پیامی را برای ناوگانی از عوامل سرکش هوش مصنوعی پنهان کردند و ماموران پاسخ دادند.

تنسنت می‌گوید عوامل هوش مصنوعی که برای ارزیابی مدل‌های شخص ثالث استفاده می‌کرد، رفتار مرورگر «ناخواسته» را نشان می‌دادند که اولین مورد از این قبیل توسط یک شرکت بزرگ چینی است.

محققان Swarmchasers بیش از 2600 تلاش ناوگان Tencent Cloud را ثبت کردند تا اطلاعات ورودی را از Amap علی بابا استخراج کنند.

بیشتر تلاش ها ناموفق بود، اما نمایندگان از یک اسکنر عمومی به عنوان یک مرورگر از راه دور استفاده کردند و یک کلید API شرکت لو رفته داده های مکان واقعی را برگرداند. تنسنت اذعان کرده است که عوامل هوش مصنوعی که در زیرساخت‌های آن کار می‌کنند، پس از اینکه محققان مستقل ناوگانی از آنها را که مکررا تلاش می‌کردند داده‌ها را از سرویس ناوبری Amap علی‌بابا استخراج کنند، دستگیر کردند، رفتار غیرمنتظره‌ای داشتند.

رویترز گزارش می‌دهد که واحد هوش مصنوعی این شرکت، Tencent Hunyuan، گفت که این عوامل برای ارزیابی مدل‌های شخص ثالث مورد استفاده قرار می‌گیرند، که به نظر می‌رسد اولین مورد شناخته شده از فعالیت عامل سرکش است که توسط یک شرکت بزرگ چینی تایید شده است.

در پستی در X، این واحد گفت که این فعالیت از مدل‌های خود Hunyuan نشأت نمی‌گیرد، و خاطرنشان کرد: «در طول این ارزیابی‌ها، برخی از عوامل رفتار ناخواسته مرور وب را نشان دادند، اما بررسی ما هیچ مدرکی دال بر هدف‌گیری یا هماهنگی عمدی پیدا نکرد.

تلاش "ناخواسته" زیادی برای دروازه باغ وحش؟

این پذیرش پس از گزارش کاملی توسط Swarmchasers، یک گروه شلوغ از محققانی که در یک هکاتون هوش مصنوعی ملاقات کردند، انجام می شود. آنها بیش از 2600 تلاش برای استخراج داده های Amap طی 11 روز، از 28 سپتامبر تا 8 اکتبر 2026، ردیابی کردند، ترافیک را به سرورهای Tencent Cloud در هنگ کنگ ردیابی کردند، و سپس کاری را انجام دادند که به نظر می رسد هیچ کس قبلا انجام نداده است: آنها در حالی که هنوز در حال اجرا بودند با عوامل صحبت کردند.

وظایف تقریبا به طرز خنده‌داری پیش پا افتاده بود. یک شغل معمولی پرسیده شد که اکثر کاربران Amap از کدام ورودی مکانی مانند باغ وحش چنگدو استفاده می کنند، با سایر مسیرها که پارک ها، موزه ها، و بیمارستان ها را پوشش می دهد و در 30 سپتامبر، داشبورد آمار سرطان بریتیش کلمبیا را پوشش می دهد.

مشکل در گرفتن جواب بود. سیستم ضد ربات Amap انتظار کوکی‌های مرورگر، توکن‌های تولید شده توسط جاوا اسکریپت و گاهی اوقات یک CAPTCHA را دارد، در حالی که مهار ناوگان درخواست‌های ساده Python و curl ارسال می‌کند. یکی از ماموران به محققان گفت که Amap جعبه شنی Tencent خود را مسدود کرده است، بنابراین خود نمی تواند داده ها را واکشی کند.

ماموران در عوض بداهه گفتند. بر اساس گزارش Swarmchasers، آنها HTML و جاوا اسکریپت خود را در URL ها بسته بندی کردند و آنها را به urlquery.net، یک سرویس اسکن امنیت عمومی، وام از مرورگر آن برای اجرای کدشان، تغذیه کردند.

هنگامی که آمپ همچنان آنها را مسدود می کرد، برنامه ها سعی کردند توکن های کتابخانه های ضد ربات خود علی بابا را رهگیری یا جعل کنند، 57 درخواست را به چهار میزبان پیش تولید ارسال کردند، ترافیک را از طریق ترجمه Baidu و مرورگرهای راه دور هدایت کردند، و در هفت گزارش، از کلیدهای Amap API یافت شده در وب باز استفاده کردند.

اکثر آن‌ها آنطور که در نظر گرفته شده بود کار نکردند: در یک عکس فوری از 2372 گزارش تا 4 اکتبر، تقریبا نیمی از آن در یک صفحه خالی Amap یا درخواست ورود به سیستم و تقریبا یک چهارم در یک برگه خالی به پایان رسید. به نظر می رسد هیچ یک از ترفندهای توکن موفق نبوده اند و هیچ مدرکی دال بر پاسخگویی سرورهای پیش تولید وجود ندارد. ارقام ورودی که برگشته‌اند بیشتر از طریق صفحه‌خوان جینا به دست می‌آیند، که می‌تواند نسخه‌های ذخیره‌شده را تا 30 روز قبل ارائه کند.

استثنا باید کسب و کارها را بیشتر از علی بابا نگران کند. یک کلید و کد امنیتی که در کد منبع عمومی یک شرکت دیگر افشا شده بود، داده‌های مکان واقعی را برمی‌گرداند، و محققان می‌گویند که نمی‌توانند بگویند که حساب چه کسی برای این درخواست‌ها صورت‌حساب دریافت کرده است.

قاب بندی Tencent از فعالیت به عنوان "ناخواسته" تا آنجا که پیش می رود دقیق است، اما از یک نکته ناخوشایند دور می شود. اگر یک ارزیابی از نمایندگان داده‌هایی را بخواهد که فقط Amap نمایش می‌دهد، در پشت دفاع‌ها یک عامل sandbox بدون مرورگر نمی‌تواند به طور قانونی پاک کند، در این صورت عبور از آن خط به تنها مسیر رسیدن به پاسخ صحیح نزدیک است.

حوادث ایالات متحده شامل موارد مشابهی بود: عوامل OpenAI هنگام جستجوی پاسخ به معیار ExploitGym، Hugging Face را زیر پا گذاشتند، با افشای بعدی نشان داد که آنها از طریق یک تابلوی پیام موقت سازماندهی شدند و تقریبا 700 نفر از آنها در حمله Hugging Face که در نهایت با استفاده از مدل باز Zhipu22 GLM5 استفاده شد، شرکت کردند. Anthropic متوجه شد که سه مدل کلود سازمان‌های واقعی را به خطر انداخته‌اند، پس از یک ارزیابی اشتباه پیکربندی شده دسترسی به اینترنت را باز کرده است، و این ماه فاش کرد که Claude Haiku 4.5 هنگام کاوش در وب‌سایت‌های تصادفی، یک نکته قتل نادرست را به پلیس فیلادلفیا ارسال کرده است.

رویترز پرونده Tencent را کمتر از موارد فاحش قضاوت می‌کند، و Swarmchasers هیچ نشانه‌ای از هماهنگی عوامل پیدا نکردند، به همین دلیل است که آنها آن را یک ناوگان می‌نامند تا یک گروه. با این حال، همانطور که تحلیل‌های اخیر استدلال می‌کنند، Sandbox Escape‌ها اغلب به یک عاملی می‌رسد که در اطراف یک پروکسی مسیریابی می‌کند، و قرض گرفتن مرورگر یک غریبه دقیقا همین است.

پذیرش Tencent در همان هفته فرود آمد، واحد Seed ByteDance یک تیم اختصاصی Alignment & Preparedness ایجاد کرد و شروع به استخدام 10 محقق در سراسر جهان کرد، یک تعهد عمومی نادر به کار ایمنی مرزی توسط یک توسعه دهنده بزرگ چینی. ایمیل داخلی که آن را اعلام می‌کند یک روز قبل از گزارش کامل Swarmchasers منتشر شد و در ترجمه 36Kr، به جای این مورد، به طیف گسترده‌تری از فرارهای عامل اشاره می‌کند، بنابراین این دو علت و معلول نیستند، حتی اگر به یک سمت باشند.

بحث این است که هم‌ترازی بدون توجه به اینکه پرچم چه کسی بر فراز مرکز داده است، حل نشده باقی می‌ماند، و آنها می‌خواهند هر آزمایشگاهی که عامل‌های متصل به اینترنت را اجرا می‌کند، بررسی کند که جعبه‌های شنی آن چه چیزی می‌توانند به آن دسترسی پیدا کنند، یک سوال به ظاهر ساده.

با این حال، این ناوگان نزدیک به یک هفته کار کرد تا اینکه محققان خارجی در یک هکاتون به آن برخورد کردند، سپس چهار روز دیگر پس از عمومی شدن یافته‌های اولیه آنها ادامه یافت و تنسنت هنوز دلیل آن را توضیح نداده است.

خواندن متن کامل در تک‌راداربه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

'Some agents exhibited unintended web-browsing behavior': Tencent admits AI agents it was testing made more than 2,600 attempts in 11 days to slip past Alibaba's map defenses, just to find out which zoo gate people use

Researchers hid a message for a live fleet of rogue AI agents, and the agents wrote back.

همه‌ی اخبار فناوری