پرش به محتوای اصلی

آنتروپیک در حال کار بر روی سیستمی برای اثبات هویت مدل های هوش مصنوعی است

تک‌کرانچ۱۴۰۵ آبان ۱۳, چهارشنبه، ساعت ۰۲:۱۱حدود 3 دقیقه مطالعه

این سیستم که FlashProve نام دارد به هر کسی اجازه می‌دهد تا بررسی کند که پاسخ هوش مصنوعی واقعا از مدلی که ادعا می‌کند از آن گرفته شده است.

بر اساس یک پست وبلاگ منتشر شده در روز سه شنبه، Anthropic در حال کار بر روی یک سیستم منبع باز است تا بررسی کند که کدام مدل هوش مصنوعی خروجی مشخصی را تولید می کند. این سیستم که FlashProve نام دارد، برای ارائه چیزی ساخته شده است که محققان آن را «استنتاج قابل اثبات» می نامند - یک اثبات رمزنگاری، اساسا یک تضمین ریاضی، مبنی بر اینکه خروجی داده شده از یک مدل خاص به دست آمده است. به این منظور به کاربران اجازه می‌دهد تا تأیید کنند که پاسخی که دریافت کرده‌اند واقعا از مدلی است که فکر می‌کنند استفاده می‌کنند.

مشابه امضاهای ایمیل رمزنگاری شده که به گیرندگان اجازه می‌دهد پیامی را که واقعا از فرستنده ادعا شده دریافت شده است، تأیید کنند، FlashProve در برابر کلاهبردارانی که سعی می‌کنند یک مدل را به مدل دیگری مبدل کنند، قوی خواهد بود، حتی زمانی که فریبکار آزمایشگاهی باشد که مدل را ساخته و اجرا می‌کند. به طور خاص، محققان خاطرنشان می‌کنند که این سیستم می‌تواند برای جلوگیری از تعویض مخفیانه یک شرکت هوش مصنوعی در مدل ارزان‌تر برای کاهش هزینه‌ها یا یک مدل گران‌تر برای افزایش نتایج عملکرد آن مورد استفاده قرار گیرد.

FlashProve همچنین می تواند برای تأیید ادعاهای اشخاص ثالث مبنی بر انجام یک کار خاص توسط یک مدل پیشرفته استفاده شود. محققان می‌نویسند: «یک توسعه‌دهنده ممکن است ادعا کند که کتابخانه نرم‌افزار آن‌ها برای آسیب‌پذیری‌ها توسط یک مدل امنیت سایبری مرزی اسکن شده است، یا یک شرکت ممکن است ادعا کند که طرح کسب‌وکارش با یک مدل مناسب مجوز داده شده است». «کاربر چگونه می‌تواند این ادعاها را تأیید کند؟»

برای کار، این سیستم از آزمایشگاه‌های هوش مصنوعی می‌خواهد که از هر مدلی که منتشر می‌کنند «اثرانگشت» منتشر کنند که بعدا می‌تواند با خروجی‌های خاص مطابقت داده شود و به صورت رمزنگاری تأیید شود. مهمتر از همه، اثر انگشت وزن مدل، اعداد داخلی که نحوه رفتار آن را مشخص می کند و سازندگان مدل های بسته مانند Anthropic و OpenAI را خصوصی نگه می دارند، نشان نمی دهد. این بدان معناست که آزمایشگاه‌ها می‌توانند اثر انگشت را بدون صرف نظر از ارزشمندترین دارایی خود منتشر کنند و سیستم را قادر می‌سازد تا با مدل‌های تجاری نیز کار کند. این سیستم همچنین به گونه ای طراحی شده است که سبک وزن باشد، بنابراین تأیید می تواند در یک دستگاه محلی انجام شود.

به عنوان بخشی از این اعلامیه، محققان مشخصات فنی دقیق و کد کار را برای عناصر مختلف سیستم منتشر کردند که تحت یک مجوز منبع باز در GitHub به صورت عمومی در دسترس است. تحقیقات در این سیستم ادامه دارد و هیچ برنامه ای برای استقرار آن در آنتروپیک یا هر آزمایشگاه دیگری وجود ندارد.

محققان در پست اعلامیه توضیح می‌دهند: «این پست تحقیقاتی برای به اشتراک گذاشتن پیشرفت متوسط ​​است، نه یک دستور کار تحقیقاتی کامل». ما این موضوع را به صراحت با این هدف به اشتراک می‌گذاریم که دیگران به کارهایی که ما انجام داده‌ایم نگاه کنند، آن را بگیرند و بهبود بخشند.»

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

One Pass بخرید، جلد دوم رایگان را در بوت کمپ نهایی سال TechCrunch با آوردن هم بنیانگذار یا شریک خود به صورت کتاب رایگان قبل از انقضای قرارداد BOGO دریافت کنید.

Anthropic هشدار می دهد که بسیار نزدیک به قابلیت RSI است، با نام مستعار AI خودساز جولی بورت

نیویورک تایمز و سایر رسانه ها از مرورگر وب Brave به دلیل ادعای حذف محتوای ربکا بلان شکایت کردند.

لوکاس روپک در گزارش FT می گوید انتظار می رود آنتروپیک رتبه "ناخواسته" بالایی را از آژانس های اعتباری پس از IPO دریافت کند.

اولین ماهواره مرکز داده گوگل آنلاین است و تیم فرنهولز شعر می نویسد

بایننس برداشت ها را متوقف می کند زیرا هکرها مظنون به سرقت میلیاردها دلار رمزارز Zack Whittaker هستند.

با کاهش ترافیک جستجو، Reddit اعلام کرد که به تجربه وارد شده به سارا پرز تغییر می کند.

مدیران هوش مصنوعی ممکن است آنقدر دور از دسترس باشند که برای عموم مردم آماندا سیلبرلینگ ساخته شوند

خواندن متن کامل در تک‌کرانچبه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

Anthropic is working on a system to prove AI models’ identity

Called FlashProve, the system would let anyone check that an AI response really came from the model it claims to be from.

همه‌ی اخبار فناوری