یک هنرمند می‌گوید ربات‌های متا وب‌سایت او را تحت تأثیر قرار دادند و او را مجبور کردند برای محافظت از کسب‌وکارش تلاش کند

یک ربات خزنده متا بیش از 550000 بار در 48 ساعت از وب سایت یک هنرمند سن دیگو بازدید کرد و تقریبا تمام ترافیک سایت او را مصرف کرد. Marcin Golba/NurPhoto از طریق Getty Images یک ربات خزنده متا در 48 ساعت بیش از 550000 بار از وب سایت یک هنرمند سن دیگو بازدید کرد.

ربات‌ها در حال حاضر از 100٪ از ترافیک سایت او استفاده می‌کنند و اساسا آن را حذف می‌کنند.

متا به Business Insider گفت که مدیران وب سایت می توانند تصمیم بگیرند که خزنده های ما چگونه با سایت ها تعامل داشته باشند. یک هنرمند ساکن سن دیگو می خواست افراد بیشتری از وب سایت او بازدید کنند.

در عوض، او گفت که بیش از 550000 بازدید از یک ربات متا دریافت کرده است و در تلاش است تا تجارت خود را آنلاین نگه دارد.

چلسی پائولوس، نویسنده و تصویرگر کودکان، به Business Insider گفت که یک بازدیدکننده خودکار منابع میزبانی وب سایت او را تحت تأثیر قرار داده و او را مجبور کرده است تا مشکل را با ارائه دهنده میزبان خود عیب یابی کند.

پائولوس گفت: "این قبلا هرگز اتفاق نیفتاده است." "این یک هفته فوق العاده پر استرس بوده است، حتی با وجود برخی از دانش فنی من برای مدیریت آن."

پائولوس گفت که او یک دهه است که تجارت خود را اداره کرده و سال گذشته یک هنرمند تمام وقت شده است. قبل از آن، او در زمینه فناوری و طراحی وب کار می کرد، بنابراین گفت که وقتی ترافیک وب سایت شروع به انباشته شدن کرد، به سرعت متوجه شد که مشکلی وجود دارد.

پاولوس گفت: «من معتقد نیستم که این حمله عمدی یا بدخواهانه از سوی متا باشد. اما صاحبان مشاغل کوچک باید بدانند که ممکن است این اتفاق بیفتد و ابزارهایی برای جلوگیری از آن در اختیارشان قرار گیرد."

مبارزه برای فعال نگه داشتن صفحه وب

در 24 اکتبر، پاولوس ایمیلی از ارائه دهنده میزبانی خود، SiteGround دریافت کرد که در آن هشدار داده بود که او 80 درصد از منابع CPU اختصاص داده شده خود را استفاده کرده است. چهار وب سایت پائولوس یک طرح میزبانی واحد را به اشتراک می گذارند که توسط شرکت مقر اصلی بلغارستان پشتیبانی می شود.

پائولوس گفت که وقتی دوشنبه بعد داشبورد امنیتی وب‌سایت خود را بررسی کرد، دید که چندین بار در ثانیه درخواست‌ها می‌رسد.

پاولوس گفت: "من به WordFence رفتم و سپس خطوط پیوسته ای را دیدم که هر ثانیه ظاهر می شدند." "در WordFence، می توانید روی جزئیات کلیک کنید تا بتوانید آدرس IP را ببینید. من آن را جستجو کردم و آن آدرس IP از یک مکان متا در دالاس است."

او گفت که بازدیدکننده خود را به عنوان «نماینده خارجی متا» معرفی کرده است، واقعیتی که بعدا توسط اپراتورهای SiteGround، میزبان وب‌سایت او پشتیبانی شد.

با توجه به صفحه وب توسعه دهندگان متا، یک عامل خارجی متا "برای موارد استفاده مانند آموزش مدل های هوش مصنوعی پایه یا بهبود محصولات با نمایه سازی مستقیم محتوا، وب را می خزند."

این پست را در اینستاگرام مشاهده کنید

پست به اشتراک گذاشته شده توسط چلسی پائولوس | هنرمند (@chelsea_ayna_art)

پائولوس گفت که او گاهی اوقات تبلیغات متا را اجرا می کند و قبلا بازدید ربات های فیس بوک را دیده بود، اما این تعداد بازدید کاملا جدید بود.

پائولوس گفت: "من فایل robots.txt خود را ویرایش کردم و یک فایروال قرار دادم، اما ممکن است 24 ساعت طول بکشد تا اعمال شود و من باید فورا ربات ها را متوقف کنم." بنابراین با میزبانم تماس گرفتم.

او افزود: "آنها به من کدی دادند تا به یک فایل مخفی در وب سایت خود اضافه کنم." "این فایل مخفی چیزی نیست که هر کسی که یک فرد عادی وب سایت را اداره می کند، بخواهد آن را لمس کند، اما این تنها راهی است که می توانیم ربات ها را متوقف کنیم."

رفع موقتی بود در اواسط هفته، پائولوس گفت که یک ربات متا دیگر به نام "Meta Web Indexer" وارد شد و میزان استفاده از منابع میزبانی خود را به 100% رساند.

راهنمای توسعه‌دهنده متا، «نمایشگر متا وب» را به عنوان خزنده‌ای تعریف می‌کند که «وب را برای بهبود کیفیت نتایج جستجوی هوش مصنوعی متا برای کاربران هدایت می‌کند».

جستجو برای پاسخ ادامه دارد

یکی از سخنگویان متا روز دوشنبه به Business Insider گفت که مدیران وب سایت فعالیت ربات ها را کنترل می کنند و برای جزئیات در مورد نحوه استفاده از هر ربات به صفحه "مستندات توسعه دهندگان متا وب خزنده" مراجعه می کنند.

یکی از سخنگویان متا گفت: "متا مانند بسیاری از شرکت ها از خزنده های وب برای اهداف مختلف استفاده می کند و مدیران وب سایت می توانند تصمیم بگیرند که چگونه خزنده های ما با سایت های خود از طریق ابزارهایی مانند robots.txt تعامل داشته باشند." ما راهنمایی‌های در دسترس عموم را درباره راه‌های مدیریت robots.txt برای خزنده‌های خود ارائه می‌کنیم و به تنظیمات برگزیده صاحبان سایت احترام می‌گذاریم.

SiteGround به درخواست نظرات پاسخ نداد.

با توجه به تبادل ایمیل اسکرین شات بین SiteGround و Paulus، این شرکت گفت که "محافظت سمت سرور" آن در حال حاضر این تلاش های ربات را محدود می کند.

از روز دوشنبه، پائولوس گفت که وب سایت او هنوز با مشکل مواجه است. او مجبور شد پیوند صفحه وب را از نمایه اینستاگرام خود حذف کند تا از کلیک های انسانی اضافی که می تواند سایت را کاملا آفلاین کند جلوگیری کند.

پائولوس گفت که او ابزاری برای پرداخت هزینه برای افزایش ترافیک سایت خود ندارد زیرا ربات ها مشتری نیستند و درآمد اضافی ایجاد نمی کنند. هیچ قانونی وجود ندارد که مانع از خزیدن یک ربات هوش مصنوعی در یک وب سایت در دسترس عموم شود.

او همچنین گفت که در حال بررسی ابزارهای تأیید انسانی Cloudflare برای جلوگیری از دسترسی ربات‌ها به سایت او است. استفاده از این ابزار در حال حاضر رایگان است.

پائولوس گفت: «متا باید حفاظ‌هایی داشته باشد تا از این اتفاق جلوگیری کند. تصور کنید اگر هوش مصنوعی کنترل‌نشده به این کار ادامه دهد، پلتفرم‌هایی مانند Cloudflare تا کی می‌توانند به ارائه خدمات رایگان ادامه دهند؟»

او افزود: "اگر این اتفاق ادامه پیدا کند، من فرض می‌کنم که کسب‌وکارهای کوچک، یا برای استفاده بیشتر یا برای برنامه‌هایی که بهتر از خودشان محافظت می‌کنند، بیشتر منقضی می‌شوند."

مقاله اصلی را در Business Insider بخوانید