چگونه می‌توان ربات‌های هوش مصنوعی را از خراشیدن وب‌سایت خود مسدود کرد

OpenAI، گوگل، مایکروسافت و Anthropic توافق کرده‌اند که از روش جدیدی برای دارندگان وب‌سایت‌ها حمایت کنند تا از استفاده محتوای خود برای آموزش مدل‌های هوش مصنوعی جلوگیری کنند. این شرکت‌ها از یک سیگنال انصراف مشترک در فایل robots.txt یک وب‌سایت پشتیبانی می‌کنند که به خزنده‌های هوش مصنوعی می‌گوید آیا مجاز به استفاده از محتوای آن برای آموزش هستند یا خیر.

مانند کتابخانه مدرن اسکندریه، اینترنت تنها بزرگترین منبع دانش بشری است که وجود دارد. افراد بیشماری عمر خود را صرف فهرست نویسی و آپلود کل تاریخ بشریت برای بهبود همگان کرده اند.

شرکت‌های هوش مصنوعی در این زمینه یک جعبه بزرگ هستند. برای آموزش و توسعه قابلیت‌های بهتر برای مدل‌های خود، شرکت‌های هوش مصنوعی به طور مکرر هر گوشه اینترنت را برای ایجاد آرشیو داده‌های آموزشی می‌کشند. با تغییرات در جستجو و نحوه جستجوی اطلاعات افراد، هوش مصنوعی تهدید می کند که به تنها نقطه دسترسی به اطلاعات تبدیل شود.

اما فقط به این دلیل که شما یک وب‌سایت دارید، به این معنی نیست که می‌خواهید دائما توسط ربات‌هایی که پاسخ‌های شما به سؤالات دشوار زندگی را می‌دزدند، خراشیده شود تا مردم بتوانند در جای دیگری به آنها دسترسی داشته باشند.

خوشبختانه، شما تنها نیستید. خشم کاربران و میزبان‌های وب‌سایت در سراسر اینترنت به روش‌هایی در حال توسعه برای جلوگیری از جمع‌آوری داده‌های شرکت‌های هوش مصنوعی از وب‌سایت‌های شما افزایش یافته است.

مانند لایه‌بندی برش‌های پنیر سوئیسی، این روش‌ها بهترین کار را برای جلوگیری از خراش‌دهنده‌ها در صورت استفاده در حالت دفاعی عمیق دارند. اما برخی از ربات‌های مخرب همچنان راه‌هایی برای حرکت در سوراخ‌ها پیدا می‌کنند. در اینجا چند راه برای دور نگه داشتن ربات های صادق وجود دارد:

(اعتبار تصویر: Shutterstock) 1. Robots.txt

این نکته اصلی روش OpenAI برای احترام به نشانگرهای ضد خراش وب است. فایل متنی «robots.txt» در دایرکتوری ریشه وب سایت شما قرار دارد و راهنمایی هایی در مورد نحوه رفتار ربات ها ارائه می دهد. این می تواند یک راه مفید برای ارائه یک نقشه دیجیتال به خزنده های موتورهای جستجو باشد و همچنین می تواند از بارگیری بیش از حد سرورهای سایت شما توسط درخواست های ربات جلوگیری کند.

اما با افزودن تنها چند کاراکتر به این فایل، می توانید اکثر ترافیک ربات ها را از دسترسی به وب سایت خود مسدود کنید. البته، این متأسفانه فقط در مورد اسکراپرهایی صدق می کند که در واقع از قوانین فایل robots.txt شما پیروی می کنند.

OpenAI برای سایر شرکت های هوش مصنوعی در اینجا سابقه ای ایجاد کرده است و اضافه می کند که "ما سایر ارائه دهندگان هوش مصنوعی را تشویق می کنیم که به سیگنال احترام بگذارند."

چند راه برای مدیریت ربات های خاصی وجود دارد که می خواهید در وب سایت خود اجازه دهید، اما برای مسدود کردن ترافیک هوش مصنوعی می توانید مراحل زیر را انجام دهید: فایل robots.txt خود را باز کنید یا اگر ندارید با استفاده از ویرایشگر متن، یکی ایجاد کنید

با استفاده از عنوان "# خزنده هوش مصنوعی" بخشی را به فایل اضافه کنید

برای مسدود کردن همه خزنده‌های هوش مصنوعی، خطی را در زیر اضافه کنید که «عدم اجازه: /»

برای مسدود کردن یک خزنده هوش مصنوعی خاص، مانند ChatGPT، "User-agent: ChatGPT-User" را در یک خط قرار دهید و "Disllow: /" را در زیر آن قرار دهید.

می توانید با افزودن آدرس وب بعد از "/" از دسترسی خزنده های هوش مصنوعی به صفحات خاصی جلوگیری کنید. به عنوان مثال، من می‌توانم با استفاده از قانون «عدم اجازه: /author/benedict-collins» از دسترسی خزنده‌های هوش مصنوعی به صفحه نویسنده من جلوگیری کنم.

فایل robots.txt خود را در فایل های منبع وب سایت خود به روز کنید 2. مشاهده فقط کاربر

از طرف دیگر، می‌توانید رویکرد برنامه‌ریزی‌شده Reddit را برای مسدود کردن ترافیک هوش مصنوعی با الزام همه کاربران به داشتن یک حساب کاربری برای دسترسی به وب‌سایت خود در پیش بگیرید. این یک راه عالی برای فیلتر کردن ترافیک انسانی از ترافیک ربات است زیرا حساب‌های کاربری معمولا باید با یک ایمیل یا شماره تلفن تأیید شوند - چیزی که بیشتر انسان‌ها دارند.

اما این اخطارهای خاص خود را دارد و Reddit در بازخورد کاربران راه سختی را پیدا می کند. عدم نیاز به حساب کاربری به کاربران از سراسر وب تجربه جستجوی آسان تری می دهد. آنها می توانند اطلاعات مورد نیاز خود را بدون هیچ مانعی و بدون ارائه اطلاعات شخصی به وب سایت دیگری بیابند.

نیاز به ورود به سیستم یا ایجاد یک حساب کاربری برای مشاهده محتوای وب می‌تواند باعث شود که افراد "جهش" پیدا کنند - آنها روی وب سایت شما کلیک می کنند، می بینند که باید یک حساب ایجاد کنند و بلافاصله از سایت شما خارج می شوند تا اطلاعات مورد نیاز خود را در جای دیگری جستجو کنند. بنابراین اگر ترافیک شما برایتان اهمیت دارد، با احتیاط قدم بردارید.

3. محدود کردن IP

ربات های هوش مصنوعی ممکن است به صورت انبوه با استفاده از یک آدرس IP واحد برای دسترسی به وب سایت شما فرود آیند. خدمات شخص ثالث این را به عنوان گزینه ای برای جلوگیری از بمباران شدن سرورهای وب سایت شما با ترافیک سریع ارائه می دهند، اما می تواند هزینه های مالی داشته باشد.

از این روش می توان برای تنظیم تایمر روی آدرس های IP خاصی که به عنوان ترافیک ربات شناسایی می شوند استفاده کرد. به عنوان مثال، اگر یک IP واحد درخواست دسترسی چندگانه را ارسال می کند، می توانید تنظیمات را طوری تنظیم کنید که تنها 5 درخواست از IP در یک دوره 10 ثانیه ای انجام شود.

اما مراقب باشید که برخی از ربات‌های هوش مصنوعی یا وب اسکراپرها از IPهای چرخشی استفاده می‌کنند و بین آن‌ها جهش می‌کنند تا از بلوک شدن یک IP جلوگیری کنند.

4. کپچا

یک روش کمی قدیمی برای تأیید انسانی که بیشتر مردم با آن رابطه عشق/ نفرت دارند. من از شمردن تعداد اتوبوس ها یا دوچرخه ها یا تراز کردن اره منبت کاری اره مویی صحیح با محل آن بدم نمی آید، اما برخی از مردم آن را به عنوان یک مراسم تحقیر آمیز برای اثبات انسانیت خود می بینند.

بدتر از آن این است که برخی از مدل های هوش مصنوعی به اندازه کافی خوب می شوند که خود کپچاها را حل کنند.

می‌تواند به فیلتر کردن تلاش‌های بی‌وقفه از ربات‌های AI و ربات‌های هوش مصنوعی کمک کند، اما همچنین می‌تواند باعث پرش کاربران شود - به‌ویژه کسانی که ترس خاصی از حملات ClickFix دارند و ممکن است یک کپچای پیچیده را راهی برای ربودن دستگاه خود ببینند.

بنابراین با احتیاط از این روش ها استفاده کنید زیرا شمشیر دو لبه هستند. شما می توانید از جمع آوری داده های خود توسط ربات های هوش مصنوعی جلوگیری کنید، اما ممکن است به تجربه کاربران شما نیز آسیب برساند.