کوهر می گوید که مدل Qwen علی بابا سعی کرد پرونده ای را به پکن ارسال کند

شرکت کانادایی هوش مصنوعی Cohere روز دوشنبه اعلام کرد که یکی از جدیدترین مدل‌های هوش مصنوعی علی‌بابا به نام Qwen3.8-Flash-Next را پیدا کرده است که در تلاش برای آپلود فایل در سروری در پکن در طی یک آزمایش معمول امنیت سایبری است، حتی اگر مدل در یادداشت‌های خود گفته بود که از هیچ ابزاری استفاده نخواهد کرد.

این حادثه در ابتدا این نگرانی را ایجاد کرد که این مدل یک وعده اساسی برای کسب‌وکارها را تضعیف کرده است - اینکه میزبانی یک مدل با وزن باز، داده‌ها را در خانه نگه می‌دارد. اما آن ترس های اولیه از جاسوسی شرکتی کوتاه مدت بود. محققان به سرعت این تهدید را رد کردند و گفتند که احتمالا محصول جانبی محیط های آموزشی نامرتب است که باعث می شود مدل ها به طور غیرمنتظره خارج از دستورالعمل های خود عمل کنند و نه تلاشی عمدی برای ارسال مخفیانه اطلاعات حساس به چین.

این حادثه روز جمعه در جریان ارزیابی آغاز شد که در آن از مدل Qwen خواسته شد تا قانونی برای کشف دانلودهای بدافزار بنویسد. طبق یک پست وبلاگی از Cohere، استدلال مکتوب مدل به صراحت بیان کرده است که از هیچ ابزار خارجی استفاده نخواهد کرد. با این حال، در مرحله بعدی، سعی کرد یک رشته آزمایشی (یک قطعه کوتاه از متن مکان نگهدارنده) را قبل از مسدود شدن توسط یک جعبه ایمنی امنیتی به یک سرور خارجی ارسال کند.

کوهر گفت که نمی تواند تشخیص دهد که این رفتار عمدی بوده یا باقی مانده از آموزش آن.

ایوان ژانگ، یکی از بنیانگذاران Cohere، در پاسخ به سوالی درباره بحث در مورد هدف این مدل، به TechCrunch گفت که Cohere دیده است که مدل‌های خود عادت‌های عجیبی را در شبیه‌سازهای آموزشی پیدا کرده‌اند.

ژانگ گفت: "تخصیص قصد یا انگیزه واقعا سخت است. ما ردپای مدل خودمان را خوانده ایم، هک های پاداش دیده ایم، و گاهی اوقات این مدل ها در تلاش برای شکستن جعبه های ماسه ای خود واقعا خلاق هستند." (هک‌های پاداش، میان‌برهایی هستند که مدل برای کسب اعتبار بدون انجام کاری آنطور که در نظر گرفته شده است، پیدا می‌کند.)

شرکت‌هایی مانند علی‌بابا برای آموزش یک مدل هوش مصنوعی به‌عنوان عاملی که به تنهایی اقداماتی را انجام می‌دهد، آن را در هزاران راه‌اندازی تمرینی، شبیه شبیه‌سازهای پرواز برای نرم‌افزار، آموزش می‌دهند. این مدل هر بار که یک کار را در یک شبیه‌ساز به پایان می‌رساند پاداش می‌گیرد و عادت‌هایی را در طول مسیر پیدا می‌کند. اگر این تمرین به طور معمول فایل‌ها را در سرورهای ابری علی‌بابا ذخیره می‌کند، مدل‌ها می‌توانند به طور پیش‌فرض یاد بگیرند که فایل‌ها را در آنجا ذخیره کنند.

منتقدان همچنین استدلال کردند که این حادثه می‌تواند ناشی از روشی باشد که کوهر این رفتار را بررسی می‌کند و مدل را به سمت آن هدایت می‌کند به جای اندازه‌گیری تعداد دفعاتی که Qwen این رفتار را به تنهایی انجام می‌دهد.

برای یافتن آنچه باعث تلاش بارگذاری شده است، Cohere شروع یک فرمان شبکه (دستوری که به یک رایانه می‌گوید به رایانه دیگری متصل شود) ارائه کرد و به مدل اجازه داد آن را تمام کند. از آنجایی که هزاران دستور معمول شبکه را در طول آموزش پردازش می‌کرد، این مدل مانند یک تکمیل خودکار بسیار پیشرفته عمل می‌کرد - اغلب آدرس‌های وب را پر می‌کرد که برخی از آنها برای سرورهای علی‌بابا بود.

کوهر گفت که تلاش اولیه برای آپلود بدون چنین کمکی انجام شده است، اما این رفتار نادر است.

پس از درخواست توسعه‌دهندگان برای شواهد بیشتر، Cohere ردهای خام از آزمایش‌های خود را عصر دوشنبه در پلتفرم توسعه‌دهنده هوش مصنوعی Hugging Face به همراه یک اسکریپت منتشر کرد تا دیگران بتوانند این رفتار را بازتولید کنند.

یکی از بدبینان اولیه، پس از بررسی ردیابی‌ها، شواهدی را قوی ارزیابی کرد که Qwen می‌تواند آدرس‌های وب مشکوک را اختراع کند، اما هیچ مدرکی مبنی بر اینکه علی‌بابا یک درب پشتی کار گذاشته است یا اینکه Qwen عمدا قصد خود را مخفی می‌کند، پیدا نکرد.

این حادثه زمانی رخ می‌دهد که دولت‌ها تصمیم می‌گیرند تا چه حد از هوش مصنوعی چین عقب‌نشینی کنند. هفته گذشته، وزارت امنیت داخلی به آژانس‌های غیرنظامی فدرال دستور داد تا محصولات DeepSeek توسعه‌دهنده هوش مصنوعی چینی را از سیستم‌های خود حذف کنند.

کوهر در پست وبلاگ خود از دولت‌ها خواست تا مشخص کنند که آیا محدودیت‌هایشان بر هوش مصنوعی چینی برای مدل‌هایی که روی رایانه‌های دولتی کار می‌کنند نیز اعمال می‌شود یا خیر.

ژانگ به TechCrunch گفت: «من درخواست تنظیم کامل این مدل‌های وزن باز ندارم» و افزود که شرکت‌ها باید با مدل‌های باز مانند هر برنامه‌ای که از اینترنت دانلود می‌شود رفتار کنند.

Cohere که مدل‌های هوش مصنوعی خود را به دولت‌ها می‌فروشد، اگر مقامات نسبت به جایگزین‌های رایگان چینی محتاط شوند، سود خواهد برد.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

One Pass بخرید، جلد دوم رایگان را در بوت کمپ نهایی سال TechCrunch با آوردن هم بنیانگذار یا شریک خود به صورت کتاب رایگان قبل از انقضای قرارداد BOGO دریافت کنید.

Grok هفت دقیقه اول «Odyssey» آنتونی ها را که توسط هوش مصنوعی ساخته شده است را منتشر می کند

گورستان هوش مصنوعی: فهرستی از پروژه‌ها و استارت‌آپ‌هایی که به لورن فوریستال تبدیل نشدند

اوبر تمام 30000 کارمند خود را در ChatGPT Work Lucas Ropek قرار می دهد

Airbnb کارهای خانه را برای مهمانان محدود می‌کند و با واکنش‌های منفی میزبان لورن فوریستال مواجه می‌شود

تسلا تولید ربات Optimus را در کالیفرنیا با کاهش 43 درصدی سود Kirsten Korosec شان اوکین آغاز کرد.

اینترنت روز بسیار بدی را در زمینه امنیت سایبری سپری می کند سارا پرز