گوگل به OpenAI و Anthropic می‌پیوندد تا کنترل‌های خراش‌دهی جدیدی را ارائه کند

دستورالعمل جدید robots.txt از حذف محتوا برای آموزش هوش مصنوعی توسط شرکت ها جلوگیری می کند.

گوگل، آنتروپیک، OpenAI و مایکروسافت متعهد شده‌اند که دستورالعمل جدید robots.txt را رعایت کنند، که به ناشران اجازه می‌دهد اولویت‌های خود را در مورد حذف محتوای خود برای آموزش هوش مصنوعی مولد مشخص کنند. این شرکت‌ها تصمیم گرفته‌اند پیشنهادی را که در IETF، سازمان استانداردهای باز اینترنت، توسط سرپرست فنی استانداردهای Anthropic نوشته شده است، در دست بررسی قرار دهند.

همانطور که OpenAI و Google در اطلاعیه های خود توضیح دادند، صاحبان وب سایت در حال حاضر باید خزنده های جداگانه را شناسایی کرده و قوانین جداگانه ای را برای هر ارائه دهنده اضافه کنند. پیشنهاد Kelley با واداشتن چندین شرکت هوش مصنوعی به شناسایی و احترام به یک سیگنال مشترک، آن را تغییر خواهد داد. ناشران باید یک عامل کاربری جدید را در فایل robots.txt که مخصوص آموزش هوش مصنوعی است راه‌اندازی کنند که به شکل زیر است:

User-Agent: __usage_ai-training غیر مجاز: / مجاز: /press-kit/

این کار خزنده هایی را که به طور خاص برای جمع آوری داده ها برای آموزش هوش مصنوعی طراحی شده اند مسدود می کند. بخش «اجازه دادن» به اپراتورهای وب‌سایت این امکان را می‌دهد که اجازه دهند برای آموزش هوش مصنوعی برای بخش‌های خاصی از صفحه، مانند اگر کیت مطبوعاتی روی آن وجود دارد، خراش دادن را انجام دهند. اما این بخش عامل کاربر جدید به طور کلی از خزیدن یا نمایش محتوا در جستجوی گوگل جلوگیری نمی کند. به عنوان مثال، گوگل به طور خاص آن را به عنوان یک علامت توقف به طور خاص برای عامل کاربر "Google-Extended" تفسیر می کند، که وب سایت ها را برای مطالب مورد استفاده برای آموزش مدل های Gemini می خزند.

نکته دیگری که باید به آن توجه کرد این است که این دستورالعمل نمی تواند هیچ گونه خراش دادن گذشته را که شرکت ها قبلا انجام داده اند خنثی کند. اگر قبلا یک صفحه را خزیده باشند، از قبل محتوای آن را دارند. این فقط از خراشیدن وب سایت ها یا صفحات خاص در آینده جلوگیری می کند. آنتروپیک قبلا پشتیبانی از دستورالعمل جدید را آغاز کرده است، در حالی که مایکروسافت گفته است که پشتیبانی از آن را از 1 فوریه 2027 آغاز خواهد کرد. Google گفت که در اوایل سال 2027 نیز از آن پشتیبانی خواهد کرد، در حالی که OpenAI متعهد شد که سیگنال جدید را در ماه های آینده پیاده سازی کند.