OpenAI برای متن هوش مصنوعی، واترمارک سس ضعیفی ارائه می کند

OpenAI اکنون به مشتریان API این گزینه را ارائه می دهد که خروجی برخی از مدل ها را واترمارک کنند تا با قانون هوش مصنوعی اروپا مطابقت داشته باشند. و ظرف چند هفته، بیز قصد دارد شکلی از واترمارک دیجیتال را - چه بخواهیم چه نخواهی - برای خروجی متن ChatGPT و Codex واجد شرایط در اتحادیه اروپا اعمال کند. اما برخلاف رقیب آنتروپیک، از تکنیک واترمارکینگ خود برای محتوای تولید شده در خارج از اروپا استفاده نمی کند، اگرچه مشتریان API می توانند انتخاب کنند که این علامت ها برای محتوا در هر جایی اعمال شود.

علاوه بر این، OpenAI از فناوری استفاده می‌کند که تعداد زیادی از نمونه‌های متن تولید شده توسط هوش مصنوعی را از دست می‌دهد و به راحتی می‌توان آن را فریب داد. قانون هوش مصنوعی اتحادیه اروپا، ارائه دهندگان خدمات هوش مصنوعی مولد را ملزم می کند تا خروجی مدل را به گونه ای قابل شناسایی کنند که توسط ماشین ها قابل خواندن باشد. Anthropic اولین شرکت بزرگ هوش مصنوعی بود که رویکرد خود را برای انطباق با قانون AI اعلام کرد که شامل استفاده از الگوریتم SynthID-Text گوگل است. این کار را در سطح جهانی انجام می دهد.

مایکروسافت و متا روی فناوری مشابهی برای هوش مصنوعی مبتنی بر تصویر کار می‌کنند زیرا اتحادیه اروپا تنها بازاری نیست که مردم در آن نگرانی‌هایی را در مورد منشأ محتوا و پتانسیل استفاده از محتوای تولید شده توسط هوش مصنوعی برای تولید اطلاعات نادرست مطرح کرده‌اند. OpenAI قبلا سیگنال‌های منشأ محتوای دیگری را برای تصاویر، صدا و ویدیوی تولید شده توسط هوش مصنوعی اعمال می‌کند. مطابق با قانون هوش مصنوعی، OpenAI اکنون یک رویکرد واترمارکینگ متنی به نام textGrain [PDF] ارائه می‌کند که «یک سیگنال آماری نامرئی را به انتخاب‌های کلمه مدل اضافه می‌کند.

آشکارساز ما به دنبال آن سیگنال است تا ارزیابی کند که آیا یک متن دارای علامت OpenAI است." واگرایی واژگان این نظریه است، اما در عمل نتایج متفاوت است.

نرخ خطای هدف یک درصد است، اما در قسمت‌های کوتاه 200 کلمه‌ای، آشکارساز ممکن است تنها 80 درصد از واترمارک‌ها را علامت‌گذاری کند، در حالی که این میزان در متن 400 کلمه‌ای 95 درصد است. نتایج همچنین در متون کاربردی بدتر هستند، مانند قسمت‌هایی در مورد ریاضی یا کد، زیرا جایگزینی احتمال بیشتری برای ایجاد خطا دارد. مقاله textGrain به این احتمال اشاره نمی کند که یک انتخاب کلمه از نظر آماری تغییر یافته ممکن است معنای یک قطعه داده شده را تغییر دهد. اگر الگوریتم بخواهد برخی واقعیت یا شکل های برجسته را تغییر دهد، این امکان وجود دارد.

رویکرد Anthropic که با استفاده از الگوریتم متفاوتی جایگزین کلمات خروجی خاصی نیز می شود، خطرات مشابهی را به همراه دارد. در هر صورت، واترمارک OpenAI به راحتی با جایگزینی کلمه شکست می خورد. در آزمایش‌هایی که روی قسمت‌های 400 نشانه‌ای انجام شد، تعویض 10 درصد از کلمات با مترادف، تشخیص واترمارک را از 92 درصد به 66 درصد کاهش داد. و هنگام جایگزینی 25 درصد از کلمات، سیگنال واترمارک تنها در 17 درصد موارد قابل تشخیص است. اکنون شاهد قدرت شلیک این آشکارساز هوش مصنوعی به سختی کافی اما سازگار باشید... ®