هوش مصنوعی Qwen Alibaba در تلاش برای تماس با سرور در چین دستگیر شد

مدل های وزن باز از چین بسیار محبوب شده اند، اما برخی از سوء ظن های امنیتی را نیز برانگیخته اند. Cohere، یک شرکت تجاری مستقر در کانادا که مدل‌های هوش مصنوعی را به شرکت‌ها ارائه می‌کند، می‌گوید زمانی که در حال آزمایش Qwen3.8-Flash-Next علی‌بابا در جعبه ایمنی ارزیابی خود بود، این مدل تلاش کرد داده‌ها را به چین ارسال کند.

بیز در پست وبلاگی روز دوشنبه خود گفت: "از درخواست نوشتن یک قانون تشخیص دفاعی، Qwen3.8-Flash-Next دستورالعمل ها را نادیده گرفت و دستگاهی را که روی آن کار می کرد موجودی کرد و سپس سعی کرد یک فایل کاوشگر را در سطل ذخیره سازی Alibaba Cloud در پکن آپلود کند."

Cohere مدل را از طریق CTI-REALM، معیار تحلیل‌گر امنیتی مایکروسافت، اجرا می‌کرد و به Qwen وظیفه نوشتن یک قانون تشخیص داد تا با مشاهده فراخوانی اسکریپت‌های bash پردازش curl به دایرکتوری /tmp که با اجرای bash همراه بود، به دنبال دانلود و اجرای فایل‌های مخرب باشد.

خروجی «استدلال» مدل یک مکالمه قبلی را ابداع کرد و ادعا کرد که هیچ ابزاری استفاده نشده است، خروجی که یک سیستم نرده محافظ زنجیره‌ای فکری را می‌پذیرد.

با این وجود، مدل دستور curl را به سرور Alibaba Cloud (aliyuncs.com) صادر کرد.

کوهر گفت: «مدل همه چیز را در /tmp فهرست کرد، بررسی کرد که کدام ابزار انتقال نصب شده است، تنظیمات DNS دستگاه را خواند، سپس سعی کرد یک رشته آزمایشی را در سطل ذخیره‌سازی Alibaba Cloud در پکن آپلود کند و بررسی کرد که آیا کار می‌کند یا خیر». ماسه‌بازی ما هیچ مسیری برای خروج نداشت، بنابراین درخواست در دیوار کانتینر از بین رفت.»

تیم کوهر با صدای بلند تعجب می کند که آیا این رفتار مورد نظر بوده است یا خیر، اما پاسخی ندارد.

ایوان ژانگ، یکی از بنیانگذاران Cohere، از طریق ایمیل به The Register گفت: «اولین مسئله این است که اصلا یک تماس شبکه برقرار کرده است. از این مدل خواسته شد تا یک قانون تشخیص بنویسد که به ارتباط خارجی نیاز ندارد، و ردیابی استدلال آن می‌گوید که از ابزار استفاده نمی‌کند. مقصد سؤالات دیگری ایجاد می‌کند زیرا تلاش برای آپلود در نقطه پایانی ذخیره‌سازی Alibaba Cloud بود که بخشی از کار نبود. ما نمی‌دانیم چرا ظاهر شد و دلیل اصلی را نمی‌دانیم.»

علی بابا، سازنده این مدل، به درخواستی مبنی بر رسیدگی به نگرانی های Cohere پاسخ نداد.

ژانگ در پاسخ به این سوال که آیا Cohere آزمایش‌های مشابهی را بر روی مدل‌های وزن باز ساخت ایالات متحده انجام داده است، گفت: «ما طیف گسترده‌ای از مدل‌ها را با استفاده از چارچوبی که مشتریانمان در تولید استفاده می‌کنند ارزیابی می‌کنیم: عواملی با دسترسی به ابزارهای واقعی که در محیط‌های کنترل‌شده کار می‌کنند.

"نکته کلیدی مقایسه بین ارائه دهندگان نیست. چیزی که این موضوع را قابل توجه کرد این بود که مدل اقدامات غیرمرتبط با کار انجام داد و آن اقدامات در ردپای استدلالی آن منعکس نشد. این رفتار در کمتر از یک تماس از هر 100000 تماس ظاهر شد و دقیقا به همین دلیل است که آزمایش و نظارت در مقیاس بزرگ اهمیت دارد."

ادعاهای غیرمستند دیگری نیز در مورد رفتارهای مشابه از مدل‌های وزن باز مطرح شده است، و چنین گزارش‌هایی حاکی از آن است که «توهم» - خطاهای این مدل‌ها - ممکن است علت آن باشد.

Cohere تردید دارد که این رفتار صرفا منعکس کننده داده های آموزشی حفظ شده است. بیز گفت: "هر مشاهده عمومی تاکنون شامل واکشی یک فایل بوده است، در حالی که فایلی که ما گرفتیم تلاشی بود برای آپلود در یک سطل دیگر، این بار در پکن."

Cohere تلاش‌هایی را برای بازتولید رفتار مشکوک توصیف کرد و دریافت که با استفاده از تکنیکی به نام prefilling - تغذیه مدل خروجی استدلال خود در کنار نویسه‌های ابتدایی فرمان bash تا مدل دستور را کامل کند - آنها می‌توانند آن را تا 23 درصد مواقع به میزبان‌های فهرست تماشای ارجاع دهند.

این هنوز هدف را روشن نمی کند، و Cohere اجازه می دهد که موردی وجود داشته باشد که این رفتار صرفا سالم سازی داده های آموزشی بد است - گزارش هایی از توسعه که در مجموعه داده های آموزشی مدل گنجانده شده است.

در همان زمان، این شرکت استدلال می‌کند که جداسازی یک مدل مشکوک به طوری که نتواند داده‌ها را استخراج کند، همه چیز را کاملا برطرف نمی‌کند، زیرا این مدل‌ها همچنان می‌توانند کد آسیب‌پذیر را بنویسند - به طور تصادفی یا در نتیجه مسمومیت مدل.

Cohere به تحقیقات سایر سازمان‌ها اشاره می‌کند که نشان می‌دهد مدل‌های هوش مصنوعی چینی می‌توانند کد آسیب‌پذیر تولید کنند. به عنوان مثال، بیز به گزارشی از Booz Allen (که تجارت زیادی با صنایع دفاعی ایالات متحده انجام می دهد) استناد می کند که نشان می دهد "سه مدل از چهار مدل کدگذاری چینی کد آسیب پذیرتری را برای یک مشتری دولتی نوشته اند که Qwen3-Coder تقریبا 130 درصد بدتر است."

ژانگ گفت: "از بیرون، تعیین علت اصلی با اطمینان بسیار دشوار است. ما شواهدی نداریم که به ما اجازه دهد نتیجه گیری کنیم که این عمدی بوده است و ما چنین ادعایی را مطرح نمی کنیم."

برای تیم‌های امنیتی، هدف اساسا پاسخ را تغییر نمی‌دهد. چه یک مصنوع آموزشی، یک اشتباه یا چیز دیگری باشد، کنترل‌ها تا حد زیادی یکسان هستند: خروج غیر ضروری را محدود کنید، استفاده از ابزار را نظارت کنید، و ردیابی استدلال را به عنوان یک مرز امنیتی در نظر نگیرید.

ما قویا از مدل‌های با وزن باز حمایت می‌کنیم و بسیاری از مدل‌های خود را عرضه می‌کنیم. درس اینجا واقعا در مورد اعتماد است. Sovereign AI چیزی فراتر از جایی است که یک مدل اجرا می شود. این در مورد درک نحوه ساخت آن، نحوه آزمایش آن و اعتماد به رفتار آن در محیط شما است."