اینترنت به حافظه نیاز دارد

در سال 1996، در سال‌های اولیه وب، می‌توانستم ببینم کسانی از ما که به صورت آنلاین شرکت می‌کردیم، یک رکورد جدید خارق‌العاده از فعالیت‌های انسانی ایجاد می‌کردیم – و اجازه می‌دادیم تقریبا به همان سرعتی که ما آن را ساختیم ناپدید شود.

وب در حال تبدیل شدن به محلی بود که مقامات دولتی در آن وعده می دادند، روزنامه نگاران اطلاعاتی را در جهت منافع عمومی منتشر می کردند و مردم عادی ایده ها را به اشتراک می گذاشتند و زندگی خود را مستند می کردند. با این حال شکننده بود - بخش‌های مساوی نتیجه‌ای و زودگذر.

بسیاری از مردم تصور می کنند زمانی که چیزی به صورت آنلاین منتشر می شود، برای همیشه قابل بازیابی باقی می ماند. این جمله که «اینترنت هرگز فراموش نمی‌کند» یک حس خطرناک خطرناک ماندگاری ایجاد کرده است. در واقعیت، اینترنت به طور مداوم فراموش می کند. وب سایت ها دائما اصلاح، حذف و به کلی متروک می شوند.

به همین دلیل است که 30 سال پیش، آرشیو اینترنت را تأسیس کردم. من می خواستم مکانیزمی برای ماندگاری در عصر اینترنت بسازم. بلافاصله پس از آن، من به ساختن پرمصرف‌ترین منبع اینترنت آرشیو، Wayback Machine کمک کردم، سیستمی که صفحات وب را همانطور که در هر لحظه ظاهر می‌شوند حفظ می‌کند و به خوانندگان آینده اجازه می‌دهد به آن لحظات بازگردند. ایده ساده اما فوری بود: اگر قرار بود اینترنت به پلتفرم اصلی انتشار بشریت تبدیل شود، به آنچه هر سیستم انتشارات بزرگی که پیش از آن آمده بود نیاز داشت.

به کتابخانه نیاز داشت. مردم در سراسر جهان همیشه از ماشین Wayback استفاده می کنند. آنچه به عنوان تلاش برای حفظ وب آغاز شد، به ابزاری ضروری برای روزنامه نگاران، محققان، مورخان و عموم مردم تبدیل شده است.

با این حال آینده این ابزار به شدت آسیب پذیر شده است. نیویورک تایمز اکنون توانایی آرشیو اینترنت برای حفظ مقالات خود را مسدود کرده است. گاردین دسترسی ما را به مقالات منتشر شده خود محدود کرده و مقالاتی را از برخی از رابط های Wayback Machine حذف کرده است. USA Today و تعداد فزاینده ای از سازمان های خبری دیگر نیز موانعی را در مسیر آرشیوداران وب قرار داده اند (حتی، بله، آتلانتیک).

از ماه مه 2026، آزمایشگاه ژورنالیزم نیمن هاروارد بیش از 340 سایت خبری محلی را شناسایی کرده بود که توانایی آرشیو اینترنت را برای حفظ روزنامه نگاری خود محدود می کردند.

ناشرانی که این مراحل را انجام می‌دهند، همگی به یک دلیل اشاره کرده‌اند: استفاده غیرمجاز از کارشان توسط شرکت‌های هوش مصنوعی برای آموزش مدل‌های زبان بزرگ. آنها شکایت دارند که کتابخانه ما به عنوان یک درب پشتی در اطراف دیوارهای پرداخت، مذاکرات صدور مجوز، و محدودیت های فنی عمل می کند. تایمز گفته است که ما را مسدود می کند زیرا ماشین Wayback ظاهرا "دسترسی نامحدود" را به کار خود ارائه می دهد. اما این رویکرد مبتنی بر ترس این را در نظر نمی‌گیرد که آرشیو اینترنت اقداماتی را انجام می‌دهد تا شرکت‌های هوش مصنوعی را از خراشیدن موادی که ما حفظ می‌کنیم جلوگیری کند.

من درک می کنم که چرا ناشران عصبانی هستند. روزنامه نگاری گران است. گزارش دهی نیازمند افراد ماهر، زمان، شجاعت، حمایت قانونی و نهادهایی است که مایل به مقاومت در برابر فشار هستند. روزنامه‌نگاران شاهد ناپدید شدن درآمدهای تبلیغاتی و کاهش رشد اشتراک‌ها بوده‌اند، در حالی که شرکت‌های فناوری محصولات بسیار سودآوری را با استفاده از مواد ایجاد شده توسط دیگران می‌سازند. ناشران کاملا حق دارند که مشاغل تجاری را که به اعتقاد آنها به طور نامناسبی از کار آنها سوء استفاده می کنند به چالش بکشند.

اما مسدود کردن یک کتابخانه غیرانتفاعی پاسخ اشتباهی به این مشکل است. مانع از کار حفظ Wayback Machine نمی‌تواند مانع از جمع‌آوری داده‌های آموزشی توسط شرکت‌های قدرتمند هوش مصنوعی شود. مطمئنا مدل کسب‌وکار مبتنی بر تبلیغات را که از روزنامه‌ها در قرن بیستم حمایت می‌کرد، باز نمی‌گرداند، مدلی کسب‌وکار که مدت‌هاست سقوط کرده است. کاری که انجام خواهد داد این است که مورخان، محققان، دادگاه‌ها، خوانندگان عادی - و جالب‌تر از همه، خود روزنامه‌نگاران - را از مشورت با سوابق دقیق آنچه زمانی در وب ظاهر می‌شد، باز می‌دارد.

کمی کردن مقیاس چیزی که در انتظار از دست دادن هستیم دشوار است. ثبت مداوم فعالیت های وب یک ابزار مسئولیت پذیری بسیار قدرتمند است، به ویژه در زمانی که جستجوی حقیقت و گزارش آن پیچیده تر شده است و محیط اطلاعاتی پیچیده تر می شود.

جو مولین، که یک تحلیلگر ارشد سیاست در بنیاد Electronic Frontier است، قیاس مناسبی را ارائه کرده است: روزنامه ای را تصور کنید که اعلام کند کتابخانه های فیزیکی دیگر اجازه نخواهند داشت نسخه هایی از شماره های گذشته خود را حفظ کنند. این همان چیزی است که در حال حاضر اتفاق می افتد. در سه دهه گذشته، Wayback Machine به عنوان یک کتابخانه برای وب عمومی خدمت کرده است. تخریب آن کتابخانه حفره هایی در پرونده تاریخی ایجاد می کند.

یک واقعیت حیاتی در این بحث، واقعیتی است که خود ناشران بهتر از هرکسی می‌دانند: روزنامه‌نگاران به ماشین راه‌اندازی متکی هستند. آن‌ها از آن برای بازیابی توییت‌های حذف‌شده، تأیید اظهارات عمومی گذشته افراد قدرتمندی که می‌خواهند از بررسی اجتناب کنند، بررسی نسخه‌های قبلی اسناد دولتی استفاده می‌کنند، و مشخص می‌کنند که یک شخص یا مؤسسه در مورد موضوعی قبل از جنجال یا رسوایی که آنها را وادار به تغییر مسیر کند، چه گفته است. روزنامه‌نگاران از Wayback Machine برای دیدن وب‌سایت‌های از بین رفته و آرشیو اتاق‌های خبری بسته استفاده می‌کنند.

آنها زمانی از آن استفاده می کنند که شواهد اولیه یک داستان از وب ناپدید شده باشد.

یک سازمان خبری که ماشین Wayback را مسدود می کند ممکن است معتقد باشد که به نفع روزنامه نگاران خود عمل می کند. اما در عوض یکی از مهمترین ابزارهای تحقیقی روزنامه نگاری را از بین می برد.

استدلال من ساده است: سابقه عمومی نیاز به یک مباشر مستقل دارد. جامعه ای که نمی تواند گذشته خود را بازرسی کند، فریب دادن آسان تر است. در سال 2017، کتی هافنر و گریفین پالمر، که برای نیویورک تایمز می‌نوشتند، با تکیه بر Wayback Machine گزارش دادند که سرمایه‌گذاری سهام خصوصی در حال تغییر شکل شیوه‌های درماتولوژی است - گسترش استفاده از دستیاران پزشک، افزایش حجم نمونه‌برداری‌ها و روش‌ها، اجرای پروتکل‌های تهاجمی‌تر، غربالگری بیماران و درمان‌های تهاجمی‌تر. مشکوک

Wayback Machine یک رکورد تجربی به هافنر و پالمر داد که برای داستان آنها بسیار مهم بود: شواهدی از تغییر در طول زمان. وب‌سایت فعلی جراحی پوست و زیبایی پیشرفته (یکی از شرکت‌هایی که به دنبال آن بودند) یک عمل گسترده با بیش از 180 مکان و 124 دستیار پزشک را نشان داد. اما نسخه‌های قبلی سایت نشان می‌داد که تعداد دستیاران پزشک فهرست‌شده توسط این شرکت از سال 2008 تا 400 درصد افزایش یافته است، در میان بحث‌هایی که در مورد اینکه آیا دستیاران پزشک واجد شرایط تشخیص درست هستند یا خیر.

وقتی با هافنر در مورد داستان صحبت کردم، او به من گفت که نمی‌توانست به اندازه‌ای که بدون ماشین راه‌اندازی می‌توانست حرفش را قوی‌تر بیان کند. سوابقی که او از آرشیو ما بازیابی کرد به او این امکان را داد که مقیاس، سرعت و جهت یک تحول شرکتی را نشان دهد، از جمله رشد سریع یک مدل کسب و کار که بسیاری از پزشکان کمتر آموزش دیده را در کلینیک هایی قرار داد که به بیماران آسیب پذیر خدمت می کنند.

هافنر و پالمر از جمله هزاران خبرنگاری هستند که استفاده از ماشین Wayback به روزنامه نگاری فوق العاده ای کمک کرده است. یک خبرنگار سیاسی ممکن است متوجه شود که یک آژانس بی سر و صدا یک سند یا حتی یک جمله واحد را در مواجهه با انتقاد حذف کرده است. یک خبرنگار شهرداری ممکن است به نسخه قبلی یک صفحه شهرداری حاوی ارقام بودجه، سوابق جلسات و راهنمایی های بهداشت عمومی نیاز داشته باشد. یک گزارشگر فناوری ممکن است نیاز به مقایسه نسخه های متوالی شرایط خدمات یک پلت فرم داشته باشد.

روزنامه نگاری تحقیقی که اتهامات علیه یک شخصیت عمومی را بررسی می کند، ممکن است نیاز به جست و جوی یک صفحه وب ده ساله داشته باشد که از آن زمان حذف شده است.

سازمان‌های دولتی به طور معمول اطلاعات مهم را از سایت‌های خود پاک می‌کنند و Wayback Machine روشی سریع‌تر و عملی‌تر برای کشف نسبت به درخواست قانون آزادی اطلاعات است. اینها مزایای فرضی نیستند. بارها و بارها، Wayback Machine حقایقی را تایید کرده است که بدون یک آرشیو مستقل قابل بازیابی نیست.

نظارت خود ما نشان می دهد که بیش از 100 مقاله خبری در یک ماه معمولی به مطالبی که توسط Wayback Machine حفظ شده است نقل می کنند یا به آنها تکیه می کنند. ما می توانیم به طور منطقی فرض کنیم که ده ها هزار بازدید اضافی از ماشین Wayback در هر ماه وجود دارد، زمانی که یک صفحه آرشیو شده ممکن است به روشن شدن حقیقت کمک کند.

مارک گراهام، مدیر Wayback Machine، اخیرا توضیح داد که از نیویورک تایمز برای ملاقات با روزنامه نگاران و گزارشگران داده بازدید کرده است - و یک محقق ارشد با او تماس گرفته و از او بسیار تشکر کرده است. این محقق گفت که کارکنان تایمز به طور مداوم از ماشین Wayback استفاده می کردند و حتی موادی را در آنجا پیدا کرده بودند که در هیچ جای دیگری نمی توانستند پیدا کنند. معنی آن را در نظر بگیرید. حتی یکی از بهترین سازمان‌های خبری جهان که دارای بهترین منابع است، سوابق کامل و قابل استفاده آسانی از مطالب مورد نیاز خود ندارد.

بسیاری از روزنامه‌نگاران - از جمله در آتلانتیک - از اهمیت ماشین Wayback دفاع کرده و از آن دفاع کرده‌اند. راشل مدو، عضو MS NOW، آرشیو اینترنت را یک گنج ملی خوانده و گفته است که روزانه از آن استفاده می کند. او و صدها روزنامه نگار دیگر بیانیه ای را امضا کرده اند که خواستار حفظ وب شده اند.

این روزنامه نگاران می دانند که کار آنها انباشته است. یک داستان به اسناد، مقالات قبلی، بیانیه‌های عمومی، مجموعه داده‌ها و بسیاری از حقایق قابل تأیید دیگر در پرونده عمومی پیوند دارد. داستان‌های آینده به آن شواهد برمی‌گردند (و بر اساس آن ساخته می‌شوند). هنگامی که پیوندهای زیربنایی از بین می روند، یکی از زنجیره های تأیید به همراه آن می شکند.

در سال 2024، مرکز تحقیقاتی پیو یافته های یک مطالعه را اعلام کرد که 1 میلیون صفحه وب را در یک دوره 10 ساله ردیابی کرد. در پایان مطالعه، یک چهارم آن صفحات دیگر در دسترس نبودند. در میان صفحاتی که در سال 2013، سال اول مطالعه وجود داشت، میزان ضرر 38 درصد بود. حتی در میان صفحاتی که تا سال 2021 جمع آوری شده بود، تقریبا از هر پنج صفحه یکی در عرض دو سال ناپدید شده بود.

این مقیاس زمانی تاریخ باستان نیست. اما این معمولا مقیاس زمانی حرفه سیاسی یک فرد، یک دعوی قضایی طولانی مدت، یا ظهور و سقوط یک شرکت است.

عناصر وب به دلایل مختلف، شرورانه و پیش پا افتاده ناپدید می شوند. شاید یک صفحه در طول طراحی مجدد حذف شود. ممکن است یک انتشارات مالکیت خود را تغییر دهد یا یک سیستم مدیریت محتوا جایگزین شود.

پس از انتشار مطالعه Pew، بایگانی اینترنت نگاهی دقیق‌تر به مجموعه داده‌های آن انداخت تا مشخص کند چه مقدار از مواد از دست رفته توسط Wayback Machine حفظ شده است. تجزیه و تحلیل نشان داد که 16 درصد از URL های ناپدید شده از طریق Wayback Machine قابل دسترسی هستند.

اخبار کوه راکی ​​را در نظر بگیرید. قدیمی‌ترین روزنامه کلرادو که برای نزدیک به 150 سال منتشر می‌شد و به خاطر روزنامه‌نگاری پاسخگوی اجباری که فساد، خرج نادرست پول عمومی و مؤسساتی را که مردمی را که قرار بود به آنها خدمت می‌کردند ناکام می‌گذاشتند، شهرت پیدا کرد. در دهه آخر خود، این روزنامه برنده چهار - تکرار می‌کنم، چهار - جایزه پولیتزر شد: برای پوشش عکاسی تیراندازی در مدرسه کلمباین، برای تصاویرش از آتش‌سوزی‌های ویرانگر کلرادو، و برای نوشتن و عکاسی "سلام نهایی"، گزارشی عمیق از تفنگداران دریایی کشته شده در عراق.

در سال 2015، آدرین لافرانس، روزنامه‌نگار آتلانتیک، داستانی را گزارش کرد که چگونه یکی از فینالیست‌های پولیتزر این روزنامه با موفقیت یک سری تحقیقاتی از خود را که با ناپدید شدن روزنامه از وب ناپدید شده بود، با موفقیت احیا کرد. داستان او با پیوندی به سریالی که او ذخیره کرده بود به پایان رسید. حتی آن لینک هم اکنون مرده است. (اگرچه هنوز هم می توانید سریال را در اینجا پیدا کنید.)

هیچ مؤسسه‌ای، هرچند معتبر، جاودانه نیست. Wayback Machine آثار نشریاتی را در اختیار دارد که دیگر وجود ندارند، مانند اخبار کوه راکی. بایگانی MTV News و BET.com را حفظ می کند، از جمله چندین دهه گزارش فرهنگی که بدون هشدار از وب حذف شده است. این یک رکورد قوی از فرهنگ وب اوایل دهه 2000 از Gawker Media را حفظ می کند.

این امکان دسترسی به کارهای تولید شده توسط Apple Daily و Stand News، پایگاه های خبری هنگ کنگ را فراهم می کند که در سال 2021 به عنوان بخشی از سرکوب دولت مجبور به تعطیلی شدند، و همچنین به روزنامه نگاری مستقل روسی زبان، که برخی از آنها در تبعید تولید می شد. این روزنامه تنها نسخه USA Today را از 11 سپتامبر 2001 در اختیار دارد، زیرا وب سایت روزنامه غرق شده بود و ویراستاران آنلاین آن به طور مداوم داستان ها را بدون حفظ تغییرات ایجاد شده در طول مسیر به روز می کردند. Internet Archive یک شرکت هوش مصنوعی نیست.

یک آزمایشگاه هوش مصنوعی تجاری، یک موتور جستجو، یک پروژه تحقیقاتی و یک کتابخانه غیرانتفاعی ممکن است همگی از سیستم‌های خودکار برای بازیابی صفحات وب در دسترس عموم استفاده کنند. از دیدگاه سرور، هر کدام ممکن است یک ربات به نظر برسند. اما همه ربات ها ربات های بدی نیستند. آنها مأموریت، مدل تجاری یا رفتار یکسانی ندارند.

نگرانی ناشران در مورد خراش دادن نادرست مستحق است. من این را به خوبی می دانم زیرا آرشیو اینترنت خود در معرض ترافیک شدید ماشینی قرار گرفته است. در یک حادثه، یک استارت آپ هوش مصنوعی در هر ثانیه ده ها هزار درخواست ارسال کرد و سیستم های ما را بیش از حد بارگذاری کرد. ما میزبان های متخلف را مسدود کردیم، با شرکت تماس گرفتیم و برای جلوگیری از این رفتار تلاش کردیم.

هنگامی که یک شرکت تلاش می کند مواد را در مقیاس استخراج کند، زیرساخت غیرانتفاعی ما را تحت فشار قرار می دهد و دسترسی کاربران عادی را مختل می کند. ما درک می‌کنیم که چرا ناشران به نحوه استفاده شرکت‌های هوش مصنوعی از کارشان اعتراض دارند. اما تشخیص مشکل، حمله به نهاد اشتباه و نادیده گرفتن منافع عمومی را توجیه نمی کند. به طور خلاصه، Wayback Machine در نبرد بین ناشران و شرکت‌های هوش مصنوعی به آسیب جانبی تبدیل شده است. مسدود کردن آرشیو اینترنت، هوش مصنوعی را متوقف نخواهد کرد.

شرکت‌های تجاری هوش مصنوعی وب زنده را خزیده‌اند، به مجموعه‌های داده بزرگ مجوز داده‌اند، دسترسی از پلتفرم‌ها را خریداری کرده‌اند، مجموعه‌های شخص ثالث را به‌دست آورده‌اند و سیستم‌های بازیابی خود را ساخته‌اند. ناشران می‌توانند از آن شرکت‌ها شکایت کنند، با آن‌ها مذاکره کنند، یا کنترل‌های فنی مخصوصا برای آنها ایجاد کنند. ما قبلا چنین کنترل‌هایی را برای محافظت از مطالب موجود در سایت خود ساخته‌ایم - از جمله مطالبی که از سازمان‌های خبری حفظ می‌کنیم.

آرشیو وب متعلق به یک سنت حقوقی تثبیت شده است. دادگاه ها مکررا تشخیص داده اند که کپی کردن مطالب برای نمایه سازی و جستجو می تواند یک استفاده منصفانه متحول کننده باشد. یک سیستم قابل جستجو بدون تهیه کپی های فنی از مطالبی که نمایه می کند نمی تواند کار کند. در دعوای حقوقی معروف Google Books، که در آن نویسندگان از گوگل به دلیل دیجیتالی کردن میلیون‌ها کتاب شکایت کردند، دادگاه‌ها بر این باورند که اسکن کتاب‌ها برای ایجاد یک ابزار تحقیقاتی قابل جستجو هدفی متفاوت از فروش یا خواندن کتاب‌های اصلی دارد و طبق قانون کپی‌رایت ایالات متحده استفاده منصفانه است.

دفاع از حفاظت مستلزم نادیده گرفتن نگرانی های مشروع ناشران نیست. بایگانی اینترنت بارها و بارها با تغییر وب سازگار شده است. ما از محدودیت‌های نرخ، فیلتر، نظارت و سیستم‌های امنیت شبکه برای پاسخ به دسترسی سوء استفاده می‌کنیم. ما عملکرد انبوه را در زمینه‌های خاص محدود کرده‌ایم و بخش‌های مهم ماشین Wayback را برای استفاده انسانی بهینه‌سازی کرده‌ایم.

این تلاش ها می تواند و باید ادامه یابد. ناشران و بایگانی‌ها می‌توانند مشاوره انسانی معمولی را از استخراج انبوه پایدار تشخیص دهند. ما می‌توانیم روش‌های بهتری را برای شناسایی ترافیک سوءاستفاده‌کننده ایجاد کنیم، ترتیبات دسترسی مسئولانه ایجاد کنیم، ارتباطات را در طول حوادث با حجم بالا بهبود بخشیم، و دسترسی به رابط‌های برنامه‌نویسی برنامه را جدا از حفظ صفحات در دسترس عموم، مورد بحث قرار دهیم. مهم‌تر از همه، ما می‌توانیم سوابق را در حین اعمال حفاظت‌های معقول در برابر دانلود انبوه حفظ کنیم.

مطبوعات نمی توانند آن را به هر دو صورت داشته باشند. روزنامه نگاران کار خود را به عنوان اولین پیش نویس تاریخ توصیف می کنند – اما پیش نویس تاریخ اگر بخواهد تجدید نظر شود، بهبود یابد و درک شود، باید زنده بماند.