گوگل و مایکروسافت از جمله کسانی هستند که در طرح OpenAI برای یک استاندارد خزیدن وب سایت جدید ثبت نام کرده اند - از جمله انصراف از حذف اینترنت

گوگل، مایکروسافت، OpenAI و Anthropic می گویند که از یک گروه robots.txt به عنوان انصراف بین شرکتی از آموزش هوش مصنوعی تقدیر خواهند کرد.

به جای اینکه ربات‌ها بتوانند آن را بخزند، نحوه استفاده از محتوا را کنترل می‌کند، به طور پیش‌فرض اجازه آموزش را می‌دهد، و برای محتوایی که قبلا حذف شده است، کاری انجام نمی‌دهد.

آنتروپیک اجرای آن را آغاز کرده است، OpenAI قول می دهد این کار را در ماه های آینده انجام دهد، مایکروسافت از اول فوریه 2027 شروع به کار می کند، و گوگل 2027 را هدف قرار می دهد، در حالی که متا حمایت می کند اما متعهد نیست. گوگل و مایکروسافت به OpenAI و Anthropic ملحق شده‌اند و قول داده‌اند که یک خط را در robots.txt رعایت کنند که به توسعه‌دهندگان هوش مصنوعی می‌گوید آیا می‌توان از محتوای یک وب‌سایت برای آموزش مدل‌هایشان استفاده کرد یا خیر.

تا به حال سایتی که می خواست نه بگوید باید برای خزنده هر شرکت و گاهی برای چندین خزنده که توسط یک شرکت اداره می شود یک قانون می نوشت. سیگنال مشترک برای جایگزینی آن پراکندگی با یک ورودی است که هر ارائه‌دهنده شرکت‌کننده به روشی مشابه آن را می‌خواند.

این یک پیشرفت واقعی برای وب مسترهایی است که بیش از حد کار می کنند، اما وعده آن محدودتر از آن چیزی است که بسیاری از پوشش ها نشان می دهند: خط جدید به جای جلوگیری از واکشی ربات ها، اولویتی در مورد نحوه استفاده از محتوا دارد. این یک استاندارد تایید شده نیست، هیچ کاری در مورد محتوایی که قبلا جمع آوری شده است انجام نمی دهد، و هیچ یک از چهار بازیکن اصلی هنوز به طور کامل آن را رعایت نکرده اند.

انجام حداقل ها با تعاریف متفاوت از آنچه تعهد مستلزم آن است

اعلامیه OpenAI توجه زیادی را به خود جلب کرد، اما این شرکت خود را به عنوان یکی از شرکت‌کنندگان در تلاش‌های گروه ضربت مهندسی اینترنت (IETF) معرفی می‌کند و این مکانیسم متعلق به خودش نیست. این از یک پیش نویس اینترنتی منتشر شده در همان روز توسط کوین کلی از Anthropic است که یک نشانه خط مشی، "__usage_ai-training" را در خط User-Agent یک گروه robots.txt معمولی نام می برد.

آموزش توسط گروه کاری اولویت‌های هوش مصنوعی IETF (AIPREF) به عنوان فرآیند تغییر پارامترهای آموخته‌شده یک مدل تولیدی، به استثنای مدل‌هایی که صرفا برای کارهایی مانند طبقه‌بندی یا رتبه‌بندی استفاده می‌شوند، تعریف می‌شود. OpenAI آنچه را که از آن به عنوان "آموزش هوش مصنوعی مولد بنیادی" یاد می کند، توصیف می کند که از تعریف پیش نویس محدودتر به نظر می رسد.

استاندارد نامیدن آن ممکن است زودرس باشد: ردیاب خود IETF سند را یک پیش نویس فردی می نامد که IETF آن را تأیید نکرده است و هیچ جایگاه رسمی ندارد و در 3 مه 2027 لغو می شود مگر اینکه تجدید نظر شود.

Anthropic تنها یکی از چهار بازیگر اصلی هوش مصنوعی است که می گوید شروع به کار کرده است. OpenAI قصد دارد این سیگنال را در چند ماه آینده پیاده‌سازی کند، اما هیچ تاریخی مشخص نکرده است. مایکروسافت از 1 فوریه 2027 به این اولویت مشترک احترام می گذارد، در حالی که گوگل سال 2027 را هدف قرار داده است.

همچنین هر شرکتی خط را به طور متفاوتی به کنترل های خود متصل می کند. گوگل می‌گوید زمانی که سایتی از توکن اشتراک‌گذاری شده برای انصراف بدون تعیین Google-Extended استفاده می‌کند، برنامه‌ریزی می‌کند که با آن برخورد کند «گویی ناشر Google-Extended را غیرمجاز کرده است». از آنجایی که Google-Extended در Gemini Apps نیز بر پایه‌گذاری حاکم است، سایتی که فقط می‌خواهد آموزش را متوقف کند، می‌تواند نقل قول‌ها و کلیک‌های خود را در پاسخ‌های Gemini نیز از دست بدهد، و Search Engine Journal اشاره می‌کند که اسناد Google هیچ راهی برای جدا کردن این دو توضیح نمی‌دهد.

جالب اینجاست که مایکروسافت راه دیگری را پیش می‌برد. این خط مشترک را برای آموزش پذیرفته است، اما یک اولویت جداگانه و در سطح صفحه AI Grounding اضافه می‌کند، از جمله گزینه DisallowExtended که محتوا را برای محصولات خود مانند Copilot در دسترس نگه می‌دارد و در عین حال سرویس‌های زمینی را که به سایر مشاغل می‌فروشد را مستثنی می‌کند.

متا، که یکی از این چهار نفر نیست، نسبت به تعهد خود گرمتر از آن بوده است. معاون ارتباطات آن، اندی استون، سیگنال مشترک را "گامی مهم" نامید، اما SiliconANGLE گزارش می دهد که شرکت متعهد به احترام به آن نیست. زمان بندی ناخوشایند است: متا شرایط تجاری بازنگری شده 20 نوامبر را به عقب انداخته است که به آن اجازه می دهد وب سایت های مرتبط با حساب های تجاری خود را بخزد، پس از واکنش شدید که آن را مجبور به حذف آموزش از موارد ذکر شده کرد.

سام کویگلی از News/Media Alliance ماه گذشته به مرکوری نیوز گفت که آموزش حذف شده اما صراحتا ممنوع نشده است، "هنوز به طور بالقوه روی میز است."

انصراف از خراش دادن داده های هوش مصنوعی: تفکر آرزویی یا گامی در مسیر درست؟

بسیاری از پوشش ها این را به عنوان راهی برای انصراف از خراش دادن به طور کامل اعلام کرده اند، اما واقعا اینطور نیست.

پیش نویس صریح است: "این نشانه سیاست دستورالعملی برای رفتار خزیدن نیست." ربات‌ها می‌توانند به واکشی هر صفحه ادامه دهند، و پیش‌نویس صرفا به خزنده‌ای که محتوا را فقط برای آموزش جمع‌آوری می‌کند اجازه می‌دهد صفحاتی را که نمی‌تواند استفاده کند را رد کند. متوقف کردن خزنده‌ها هنوز هم قوانینی را که سایت‌ها برای هر ربات به آن تکیه می‌کنند، می‌طلبد، به همین دلیل است که OpenAI، Google و Anthropic همگی تاکید می‌کنند که کنترل‌های موجودشان به جایی نمی‌رسد. مایکروسافت به وضوح بیان می کند: "این تنظیمات بر استفاده از محتوا نظارت می کنند، نه دسترسی به خزیدن."

این اخطارهای بیشتر در زمانی اهمیت پیدا می‌کنند که خود تعهد هم داوطلبانه است و هم تفسیرها و تعهدات در سطح کلی متفاوت است، حتی اگر بازیکنان خاصی نسبت به دیگران در معرض دید بالاتری قرار بگیرند.

نیویورک تایمز در دسامبر 2023 از OpenAI و مایکروسافت شکایت کرد و هر دو شرکت در دفاع از خود از استفاده منصفانه استفاده می کنند. Anthropic که مهندس آن پیش‌نویس را نوشته بود، موافقت کرد که 1.5 میلیارد دلار برای رسیدگی به دعاوی نویسندگان در مورد کتاب‌های غیرقانونی مورد استفاده در آموزش بپردازد، و Penske Media، مالک Rolling Stone، در سال 2025 از گوگل به دلیل AI Overviews شکایت کرد.

همچنین متکی به خزنده‌هایی است که برای رعایت آنها انتخاب می‌کنند. این پیش‌نویس اجازه می‌دهد قراردادهای خصوصی آن را لغو کنند، و در سال 2025، Cloudflare Perplexity را متهم کرد که خزنده‌های خود را برای خراش دادن سایت‌هایی که آن را مسدود کرده‌اند، پنهان کرده است، اتهامی که دومی آن را رد کرد.

جایگاه مایکروسافت در ائتلاف احتمالا ناخوشایندترین است: در سال 2024، مصطفی سلیمان، رئیس هوش مصنوعی آن، محتوای وب باز را به عنوان "نرم افزار رایگان" برای آموزش توصیف کرد و تنها سایت هایی را که به صراحت اعتراض می کنند، ایجاد می کند، که تقریبا استثنایی است که این سیگنال اکنون رسمی می کند. پرونده های بدون مهر و موم در پرونده تایمز همچنین نشان می دهد که برنت هشت، مدیر مایکروسافت، در یادداشتی داخلی در سال 2023، خراشیدن هوش مصنوعی را احتمالا "بزرگترین سرقت نیروی کار در تاریخ بشر" توصیف کرده است.

این در حالی است که بازار گسترده تر به جای درخواست های مودبانه به سمت اجرا و پرداخت حرکت کرده است. Cloudflare خزنده‌های هوش مصنوعی را به‌طور پیش‌فرض برای مشتریان جدید از ژوئیه ۲۰۲۵ مسدود کرده است و به سایت‌های شرکت‌کننده اجازه می‌دهد برای هر خزیدن از آن‌ها هزینه دریافت کنند. گوگل همچنین می‌گوید این توکن مشترک با آیین‌نامه اتحادیه اروپا برای هوش مصنوعی همه‌منظوره مطابقت دارد، که robots.txt را به‌عنوان انصراف ماشین‌خوان اولیه ناشران در نظر می‌گیرد، نشانه‌ای از این که تنظیم‌کننده‌ها، نه فقط حسن نیت، آزمایشگاه‌های بزرگ را به شنیدن سوق می‌دهند. برای ربات‌هایی که robots.txt را به طور کامل نادیده می‌گیرند، گزینه‌های سنگین‌تری را گردآوری کرده‌ایم، از دیوارهای ورود به سیستم تا محدود کردن نرخ IP.

در حال حاضر، یک خطی که بزرگترین شرکت‌های هوش مصنوعی با خواندن آن موافقت کرده‌اند، یک گام واقعی رو به جلو برای خزنده‌های صادق و افرادی است که وب‌سایت‌ها را اداره می‌کنند. اما این یک درخواست است تا یک قفل. این فقط به آینده نگاه می کند، و با هیچ یک از ناشران پرداختی که سال ها برای آن مبارزه نکرده اند، ارائه می شود.