فاجعه در OpenAI؛ چتجیپیتی راهنمای کشتار بیشترین تعداد قربانی را به یک تیرانداز داد
مهاجم تامبلر ریج با اضافهکردن کلمهی «فرضی» فیلترهای امنیتی را دور زد و تا صبح روز فاجعه برای کشتار از چتجیپیتی مشاوره گرفت.
مهاجم تامبلر ریج با اضافهکردن کلمهی «فرضی» فیلترهای امنیتی را دور زد و تا صبح روز فاجعه برای کشتار از چتجیپیتی مشاوره گرفت.
ژوئن ۲۰۲۵، OpenAI حساب کاربری فردی به نام جسی ون روتسلار را بست. نوجوان ۱۷ سالهی ساکن تامبلر ریج در کانادا، دربارهی حملهای مسلحانه به یک مرکز خرید واقعی با ChatGPT حرف میزد و سیستم نظارتی شرکت فعالیتش را برای بررسی انسانی فرستاده بود.
روایت ماجرا در همان زمان میتوانست پایان یابد. لایههای ایمنی چتبات درست کار کرده بودند، OpenAI خطر را دید و حساب را بست. ولی ون روتسلار، با حساب دیگری برگشت؛ ماجرای مسدودشدن حساب قبلیاش را برای چتجیپیتی تعریف کرد و پرسید چرا حسابش بسته شده، یا چرا گفتگوهایش حساس بودهاند.
بر اساس تحقیقات جدید Mother Jones ، چتبات پس از توضیح دلایل فعالشدن سیستمهای ایمنی، راههایی را هم برای دورماندن از فیلترها پیشنهاد کرد، مثلاً اینکه سناریوها را تخیلی یا فرضی معرفی کند و نام مکانهای واقعی را کنار بگذارد.
حساب دوم هشت ماه فعال ماند. ون روتسلار در این مدت از اسلحه، مواد منفجرهی دستساز، کشتارجمعی و شهرت پس از حمله حرف زد. گاهی چتجیپیتی درخواستش را رد میکرد و روتسلار با تغییر چند کلمه یا افزودن قید «فرضی»، از همان درخواست به پاسخی مفصل میگرفت. آخرین گفتوگوها به ساعت وقوع تیراندازیهای مدرسهای در آمریکا مربوط میشد. چند ساعت بعد، هشت نفر کشته شدند.
تا چند ماه پس از حادثه، افکار عمومی فقط میدانست OpenAI حساب اول را بسته و موضوع را به پلیس گزارش نکرده بود. تحقیق جدید اما نشان میدهد ماجرا به هشدار محدود نشده و محصول شرکت پس از همان هشدار نیز ماهها به گفتوگو با کاربر ادامه داده است.
تامبلر ریج، شهری معدنی در شمالشرق بریتیش کلمبیا، ۱۰ فوریهی ۲۰۲۶ یکی از مرگبارترین تیراندازیهای جمعی تاریخ کانادا را تجربه کرد. پلیس سلطنتی کانادا ساعت ۱:۲۰ بعدازظهر گزارشی از حضور فردی مسلح در دبیرستان شهر دریافت کرد.
مأموران در مدرسه شش قربانی را یافتند؛ پنج دانشآموز ۱۲ و ۱۳ساله و یک دستیار آموزشی. دو قربانی دیگر، مادر مهاجم و برادر ۱۱ سالهاش، در خانه پیدا شدند. ۲۷ نفر نیز آسیب دیدند و مهاجم ۱۸ساله با شلیک به خود جان باخت.
ماهها پیش از شلیک اولین گلوله، سیستمهای خودکار شرکت نیت شوم مهاجم را شناسایی کرده بودند
پلیس هنگام بررسی ردپای دیجیتال ون روتسلار به OpenAI رسید، اما شرکت از قبل او را میشناخت. نامهی رسمی OpenAI به دولت کانادا تأیید میکند سیستم خودکار شرکت در ژوئن ۲۰۲۵ حساب نخست را شناسایی کرده و بازبینان انسانی نیز مکالمهها را دیدهاند، به همین دلیل حساب او را بستند. مدیران شرکت به این جمعبندی رسیدند که شواهد موجود نشانهی «خطری قریبالوقوع و معتبر» نیست که به پلیس گزارشش دهند.
گزارشهای بعدی حاکی از آن بودند که درون اوپنایآی نیز بر سر همین تصمیم اختلاف وجود داشت. والاستریت ژورنال مینویسد شماری از اعضای تیم ایمنی، گفتوگوها را جدیتر ارزیابی کردند و خواستار تماس با مقامهای مسئول شدند، ولی تصمیم نهایی شرکت به مسدودکردن حساب محدود ماند.
OpenAI میگوید در بررسی آن زمان نشانهای از برنامهای فعال و فوری مشاهده نمیشد؛ شاکیان پروندههای قضایی میگویند مدیران شرکت فرصتی واقعی برای مداخله را کنار گذاشتند. دادگاه هنوز دربارهی این ادعاها حکمی صادر نکرده است.
ChatGPT در حساب دوم، ناخواسته به راهنمای دور زدن فیلترهای امنیتی خودش تبدیل شد
اختلافات امروز فقط دربارهی تصمیمی اشتباه در گذشته نیست. منتقدان سؤالی میپرسند که شرکتهای هوش مصنوعی هنوز پاسخ یکدست و محکمی برایش ندارند. گفتوگوی خصوصی از چه لحظهای به تهدیدی عمومی تبدیل میشود؟
گزارشهای زودهنگام میتواند جان انسانها را حفظ کند، ولی گزارشهای متعدد و بیش از حد نیز حریم خصوصی افراد را مخدوش میکند، یا باعث میشود داستانهای تخیلی و حرفهای آشفتهی افراد در بحرانهای روزمره، پای پلیس را وسط بکشد. اوپنایآی در این زمینه آستانهی تصمیمگیریاش را بالا گذاشته بود و حادثهی تامبلر ریج هزینهی خطای شرکت را نشان داد.