دستیار هوش مصنوعی Meta’s Muse با یک نقص امنیتی جدی راه اندازی شد

مارک زاکربرگ، بنیانگذار و مدیر عامل متا، تمام تلاش خود را کرده است تا امنیت دستیار هوش مصنوعی جدیدش، Muse را به نمایش بگذارد و ادعا کند که این دستیار «از پایه برای حفظ حریم خصوصی و امنیت ساخته شده است». یک آسیب‌پذیری روز صفر که به برنامه‌های اجرا شده محلی و دستورات ترمینال کنترل کامل عامل را می‌دهد، تردیدهای جدی را ایجاد می‌کند. با ایجاد سؤالات بیشتر، آمازون روز یکشنبه شروع به مسدود کردن Muse از سایت خود کرد. متا چند هفته پیش Muse را معرفی کرد.

دستیار «قرار ملاقات‌ها را رزرو می‌کند، فرم‌ها را پر می‌کند و خدمات مشتری را انجام می‌دهد»، «به‌طور پیشگیرانه وظایف را حذف می‌کند» و می‌تواند «خرید کند، تصاویر تولید کند، اسناد ایجاد کند و با برنامه‌ها و خدمات مورد علاقه‌تان ارتباط برقرار کند». برنامه macOS (به طرز عجیبی، نسخه ویندوزی وجود ندارد) همچنین با حساب های WhatsApp، ایمیل، تقویم و رسانه های اجتماعی کاربر کار می کند. هنگامی که یک کار به ابزاری نیاز دارد که وجود ندارد، Muse در حال ایجاد آن است. امنیت Meta Doth Hype Muse بیش از حد البته برای اینکه Muse هر یک از این کارها را انجام دهد، ابتدا کاربران باید به آن اجازه دسترسی به حساب های خود را بدهند.

این شامل احراز هویت دستیار هر سرویس می‌شود و از آنجایی که برنامه در macOS اجرا می‌شود، به آن مجوز برای طیف گسترده‌ای از منابع دستگاه محدود شده توسط سیستم عامل مانند نوشتن فایل‌ها روی دیسک، دسترسی به میکروفون و دوربین، و نظارت بر مکان و تقویم‌ها می‌دهد. اپل سال‌ها صرف توسعه این سیستم‌های دفاعی کرده است تا از دسترسی برنامه‌های نصب شده یا دستورات وارد شده به ترمینال به این منابع جلوگیری کند، زیرا این شرکت آنها را یک تهدید امنیتی می‌داند.

Muse این معیارهای پیش‌فرض را کاملا خنثی می‌کند. روز صفر به هر برنامه یا دستور ترمینال اجازه می‌دهد به توکنی دسترسی پیدا کند که کاربران را به حساب Muse آنها احراز هویت می‌کند. توسعه دهندگان متا دستیار را طوری طراحی کردند که هر برنامه نصب شده محلی یا کد اجرا شده، صرف نظر از مجوزهای macOS که دارد، بتواند فهرست طولانی تنظیمات غیرمستند را تغییر دهد. بسیاری از آنها نسبتا بی ضرر هستند، مانند کنترل حالت تاریک. با این حال، یک تنظیم هر چیزی جز بی ضرر بود. به فرآیندها اجازه داد تا نقطه پایانی را که رونویسی انجام می‌شود تغییر دهند. به طور معمول، این یک آدرس سرور است که توسط متا اداره می شود.

مهاجمان می توانستند با تغییر مکان به نقطه پایانی خود از این نقص سوء استفاده کنند. اگر این اتفاق می افتاد، مهاجمان باید توکنی را در اختیار داشتند که کنترل کاملی بر حساب Muse می دهد. پاتریک واردل، کارشناس امنیت macOS که روز صفر را کشف کرده است، پیش از رفع فوری به Ars گفت: "ما می توانیم عامل را دستکاری کنیم و از امتیازات آن برای انجام هر کاری که می خواهیم استفاده کنیم."

بنابراین به جای اینکه مجبور باشیم یک دزد بدافزار بسیار جامع مک بنویسیم، می‌توانیم از خود دستیار هوش مصنوعی استفاده کنیم. واردل گفت که چندین حمله اثبات مفهوم ایجاد کرده است که کارهایی مانند نوشتن فایل‌های مخرب روی دیسک و گرفتن عکس‌ها را انجام می‌دهد، در بسیاری از موارد بدون هیچ نشانه‌ای حتی برای کاربر هشدار دهنده. بیش از 12 ساعت پس از انتشار این پست، متا گفت که یک Hotfix منتشر کرده است که 0 روز را اصلاح کرده است. متا طی همین چند هفته دو پست منتشر کرده است که در آن تصمیمات طراحی برای اطمینان از ایمن بودن دستیار با چنین دسترسی فوق العاده ای به داده ها و منابع کاربر را مستند می کند.

و خصوصی این پست‌ها در بحبوحه افشاگری‌ها منتشر می‌شوند که آزمایش‌های داخلی مدل‌های Anthropic و Google منجر به نقض امنیتی شبکه‌های خارجی و شخص ثالث شده است که مهندسان درگیر هرگز قصد هدف قرار دادن آن‌ها را نداشته‌اند. در هک سنتی فقط برای انسان، این اقدامات احتمالا می تواند منجر به تشکیل اتهامات جنایی شود. پست‌های متا احتمالا به واکنش‌های ناشی از آن و درخواست‌های کاهش سرعت توسعه هوش مصنوعی در پاسخ توجه دارند. واردل گفت که توسعه دهندگان متا چندین تصمیم برای طراحی گرفتند که بهره برداری او را ممکن کرد.

یکی از این موارد، انتخاب دیکته Muse در فضای ابری است، جایی که متا می‌تواند آن را ثبت کند. macOS مدت‌هاست که ابزار ساده‌ای برای برنامه‌ها برای مدیریت دیکته و رونویسی در فرآیندهایی که به طور ایمن روی دستگاه باقی می‌مانند ارائه کرده است. اگر توسعه‌دهندگان این جایگزین امن‌تر را انتخاب می‌کردند، حمله امکان‌پذیر نبود. یکی دیگر از تصمیمات ناقص این است که هر برنامه ای تمام تنظیمات غیرمستند را کنترل کند. احتمالا Meta برای برنامه‌هایی در نظر گرفته شده است که با Muse کار می‌کنند تا تنظیمات UI را کنترل کنند و به دلایل قابل درک.

توانایی هر برنامه یا دستوری برای کنترل نقطه پایانی که در آن گفتار حساس کاربر پردازش می شود، موضوع کاملا متفاوتی است. با هم، تصمیمات طراحی سوالاتی را در مورد میزان تلاش توسعه دهندگان برای طراحی و آزمایش امنیت و حریم خصوصی دستیار جدید ایجاد می کند. واردل گفت: "از نظر من، نوار از نظر امنیت این برنامه‌ها بی‌نهایت بالاتر است. آنها نباید کامل باشند، اما وقتی به Muse نگاهی می‌اندازید، مثل این است که به نظر من آنها به امنیت فکر نکرده‌اند، که واقعا نگران‌کننده است."

حداقل، آنها باید از همان ابتدا به امنیت فکر کنند، اما اینطور نیست. تقریبا 12 ساعت قبل از اینکه Wardle روز صفر را فاش کند، آمازون شروع به مسدود کردن مردم از استفاده از Muse برای خرید در سایت کرد. کاربرانی که تلاش کردند پیامی دریافت کردند مبنی بر اینکه Muse یک عامل هوش مصنوعی غیرمجاز [که] شرایط استفاده آمازون را نقض می کند. آمازون گفت: "ما فکر می کنیم که برنامه های شخص ثالثی که پیشنهاد خرید از طرف مشتریان سایر مشاغل را ارائه می دهند، کاملا ساده است و به تصمیمات ارائه دهنده خدمات در مورد مشارکت یا عدم مشارکت احترام می گذارند."

د در یک بیانیه ایمیلی. "این به اطمینان از تجربه مشتری ایمن، مطمئن و قابل اعتماد کمک می کند، و نحوه عملکرد دیگران است، از جمله برنامه های تحویل غذا و رستوران هایی که برای آنها سفارش می گیرند، برنامه های خدمات تحویل و فروشگاه هایی که از آنها خرید می کنند، و آژانس های مسافرتی آنلاین و خطوط هوایی که با آن ها بلیط رزرو می کنند. تنها یک کلیک ثابت تمام آن چیزی است که لازم است راه های مختلفی برای کارکرد حملات وجود دارد.

یکی این است که سرور مهاجم به عنوان یک پروکسی بین کاربر Muse و نقطه پایانی متا قرار می گیرد. هنگامی که کاربر وارد اعلان صوتی می شود، سرور مهاجم یک فرمان را اضافه می کند که یک فرمان مخرب را فراخوانی می کند، مانند ارسال یک آرشیو از تمام پیام های WhatsApp برای مهاجم. هنگامی که این اتفاق می افتد، مهاجم کنترل دائمی روی حساب Muse به دست می آورد زیرا توکن به طور خودکار به سرور مخرب نیز ارسال می شود. واردل خالق بنیاد Objective-See، یک سازمان غیرانتفاعی متمرکز بر امنیت macOS است.

او همچنین نویسنده مجموعه کتاب‌های The Art of Mac Malware و کارمند سابق ناسا و آژانس امنیت ملی است. واردل گفت که قصد دارد در کنفرانس امنیتی Objective by the Sea در نوامبر در مورد این آسیب پذیری با جزئیات بیشتر و سایر تهدیدات دستیار هوش مصنوعی صحبت کند. یکی از استدلال‌های متقابلی که توسط توسعه‌دهندگان برنامه‌هایی که می‌توانند پس از در معرض خطر قرار گرفتن دستگاه مورد سوء استفاده قرار گیرند، مطرح می‌کنند این است که وقتی این اتفاق بیفتد، تمام شرط‌های امنیتی خاموش می‌شوند. این استاندارد در این مورد مناسب نیست.

واردل دریافت که یک نوع ساده از حمله ClickFix - تکنیکی که به طور قابل توجهی در فریب دادن افراد به آلوده کردن دستگاه‌هایشان مؤثر شده است - تمام چیزی است که مهاجم برای کنترل حساب Muse لازم است. Wardle با استفاده از یک فرمان ترمینال ساده برای ارسال مخفیانه یک اعلان به نقطه پایانی متا نشان داد که باعث پاسخگویی شد. برای جلوگیری از برش و چسباندن اعلان در حملات زنده توسط مهاجمان، درخواست واردل فقط می‌پرسد که چگونه ممکن است از یک مهاجم غیرمجاز باشد.

میوز به اشتباه پاسخ داد که چنین اقدامی امکان پذیر نیست. بیانیه 12 ساعته متا به راحتی سهولت حملات ClickFix را در راه اندازی اکسپلویت ها نادیده گرفت، سناریویی که من به طور خاص از شرکت خواسته بودم به آن رسیدگی کند. در بیانیه متا آمده است که 0-day "یک سوء استفاده از راه دور" نیست، حتی اگر یک کلاهبرداری مهندسی اجتماعی مؤثر باشد. متا همچنین تصدیق نمی کند که نقصی که باعث از بین رفتن معماری امنیتی شده است که اپل سال ها صرف ساخت آن کرده است.

متا هنوز توضیح نداده است که چرا از رونویسی مبتنی بر ابر به جای گزینه روی دستگاه ساخته شده در macOS استفاده کرده است. همانطور که قبلا اشاره شد، دسترسی فوق‌العاده Muse نیاز به کار به همان شکلی که در نظر گرفته شده است، بار اضافی را بر دوش طراحان آن قرار می‌دهد. مانند بسیاری از این عوامل هوش مصنوعی - و برخلاف ادعای متا - نمی توان به Muse اعتماد کرد. مشخص نیست که چه زمانی می تواند یا نه. این داستان در اصل در Ars Technica ظاهر شد.