یک پسر 13 ساله از هوش مصنوعی درباره خودکشی در لپ تاپ مدرسه اش پرسید. هفته‌ها پرچم‌گذاری نشد

این شکایت ادعا می‌کند که گوگل و شرکت مادر آلفابت در ارائه مدل جمینی سهل انگاری کرده‌اند و مدعی شده‌اند که چت ربات هوش مصنوعی به نوجوان کارولینای شمالی «مربی» کرده تا به فکر خودکشی باشد. این مورد، که قبلا توسط نیویورک تایمز گزارش شده بود، یکی از مواردی است که ادعا می‌کند آسیب ناشی از استفاده از ربات چت هوش مصنوعی، از جمله ادعای توهم و خودکشی، وجود دارد.

اما همچنین محدودیت‌های ابزارهای نظارتی را که هزاران مدرسه در سال‌های اخیر اتخاذ کرده‌اند، نشان می‌دهد که ظاهرا برای محافظت از دانش‌آموزان در هنگام مرور و چت آنلاین طراحی شده‌اند. اندرو لیدل، وکیل خانواده، به WIRED می‌گوید که طبق اطلاعاتی که مدرسه در اختیار خانواده قرار داده است، این هشدار به تلفن شخصی مشاور سابق که 9 ماه قبل مدرسه را ترک کرده بود، رسیده است. او می‌گوید که کارمند سابق در انتقال هشدار به کارکنان فعلی کوشا بود و آنها سپس به مادر دختر اطلاع دادند.

نکته ای دارید؟

آیا شما یک کارمند فعلی یا سابق Google هستید که می خواهید در مورد آنچه اتفاق می افتد صحبت کنید؟ ما می خواهیم از شما بشنویم. با استفاده از تلفن یا رایانه غیر کاری، با خبرنگاران به صورت ایمن در Signal در carolinehaskins.61 و peard33.24 تماس بگیرید.

از آنجایی که کلاس‌های درس همچنان به پیشنهادات کم‌هزینه Google، از جمله Gemini تکیه می‌کنند، توانایی آن‌ها برای همگام شدن با خطرات احتمالی در اولویت قرار دارد. همین هفته گذشته، گروه‌های والدین و معلمان در سراسر کشور از الزامات جدید گوگل مبنی بر اینکه مدارس باید ویژگی‌های مولد هوش مصنوعی را فعال کنند، انتقاد کردند.

سناتور آمریکایی اد مارکی به شکایت اما در نامه‌ای به گوگل اشاره کرد که از این شرکت خواسته بود به مدارس اجازه دهد حالت هوش مصنوعی و مرورهای هوش مصنوعی را غیرفعال کنند و نوشت: «گوگل بی‌احتیاطی هوش مصنوعی را به مدارس تحمیل می‌کند و با بچه‌ها مانند آسیب‌های جانبی رفتار می‌کند». بر اساس این دادخواست، دختر کارولینای شمالی که به نام اما دو شناخته می‌شود، پس از اینکه جستجوی گوگل او را در گوگل کروم‌بوک مدرسه‌اش به Gemini هدایت کرد، دچار «بحران روانی شدید» شد.

اگرچه مدرسه اما وب‌سایت مستقل Gemini را مسدود کرده بود، اما در شکایت ادعا شده است که او از طریق حالت هوش مصنوعی با ربات چت ارتباط برقرار کرده است، که به افراد اجازه می‌دهد سؤالات بعدی درباره یک پرس و جو بپرسند یا یک مکالمه نامرتبط را شروع کنند. اما از دسامبر گذشته از حالت هوش مصنوعی در مورد مسائل مربوط به سلامت روان سؤال کرد. او در مورد "افسردگی شدید" و "دلایل زندگی" پرسید، و در اواخر ژانویه او در مورد خودکشی، بر اساس دادخواست، سوال کرد.

در طول دو روز در حوالی روز ولنتاین، او شروع به نوشتن یک مداحی 1500 کلمه ای برای خودش با کمک حالت هوش مصنوعی در یک سند گوگل با عنوان "تدفین" کرد. دعوا می گوید که او بیش از چهار هفته روی این سند کار کرده و در عین حال هزاران بار به تعامل با ابزار Gemini ادامه داده است. بعد از مدرسه در روز سنت پاتریک، او بیشتر فایل را حذف کرد و دوباره راه اندازی کرد. اما لیدل می‌گوید که مضامین و افکاری که دختر بیان می‌کرد تغییر مادی نداشت.

در این دادخواست آمده است که حوالی ساعت 7:30 بعد از ظهر، مادرش ظاهرا پیامی از مدرسه دریافت کرد که نشان می داد دخترش در "خطر قریب الوقوع" است. طبق این دادخواست، مادرش از تلفن خود برای ورود به حساب مدرسه اما استفاده کرد و «دخترش را در حال نوشتن یادداشت خودکشی در زمان واقعی تماشا کرد». سخنگوی گوگل، خوزه کاستاندا، می گوید که این شرکت به طور جدی در حال بررسی ادعاهای مطرح شده در دادخواست است و هدف سیستم های آن، از جمله حالت هوش مصنوعی، جلوگیری از مشارکت کاربران در مکالمه مضر است. "ما به طور گسترده با متخصصان پزشکی و کارشناسان دانشگاهی برای ایجاد ویژگی ها کار کرده ایم

کاستاندا می‌گوید که به جوانان کمک می‌کند در صورت نیاز، حمایت حیاتی و منابع قابل اعتماد پیدا کنند. وکلای خانواده به دنبال حفظ نام مدرسه برای محافظت از حریم خصوصی اما هستند. WIRED توانست مدرسه را شناسایی کند، که درخواست‌هایی را برای اظهار نظر پاسخ نداد. طبق بررسی WIRED از آرشیو اینترنت، در ماه‌های اخیر، مدرسه پیوندهایی را به منابع پیشگیری از خودکشی در پایین وب‌سایت خود اضافه کرده است. لیدل به WIRED می‌گوید که مدرسه اما فقط از بحران سلامت روانی او مطلع شد زیرا از حداقل یک سیستم نظارت بر فعالیت دانش‌آموزی شخص ثالث استفاده می‌کرد.

او با استناد به اطلاعاتی که گفته می‌شود قبلا در اختیار والدین مدرسه قرار گرفته بود، می‌گوید که این اطلاعات ممکن است شامل محصولاتی از شرکت‌های GoGuardian و Gaggle باشد. لیدل می گوید که خانواده فاقد پاسخ قطعی است زیرا "پنجره همکاری" مدرسه با آنها کوتاه بود. ناتالیا سویتالا، سخنگوی GoGuardian به WIRED می‌گوید که این شرکت نمی‌تواند به دلیل «تعهدات حفظ حریم خصوصی دانش‌آموزان» در مورد هر دانش‌آموز یا منطقه‌ای بحث کند. Gaggle بلافاصله درخواست WIRED برای اظهار نظر را برنگرداند. ابزارهای غربالگری معمولا با گرفتن کلید یا اسکن فایل ها و استفاده از الگوریتم کار می کنند

ریتم ها و بررسی انسانی برای شناسایی محتوای بالقوه مرتبط. مشخص نیست که آیا ابزارهای غربالگری شخص ثالث مدرسه بر تعاملات حالت هوش مصنوعی نظارت می کنند یا اگر انجام می دهند، واقعا چقدر خوب کار می کنند. GoGuardian در یک پست وبلاگ ژوئیه 2025 نوشت که محصول پرچمدار آن مکالمات با چت ربات های هوش مصنوعی، از جمله Gemini را نظارت می کند، اما به طور خاص به حالت AI اشاره نکرد. اگرچه دقیقا مشخص نیست که ابزارهای نظارت دانش آموز چقدر در محافظت از دانش آموزان مؤثر هستند، مطالعات نشان می دهد که مربیان آنها را مفید می دانند.

یک مقاله سفید در سال 2022 از مرکز تحقیقات EdWeek نشان داد که در یک نظرسنجی از 1000 مربی آمریکایی K-12، 96 درصد از کاربران Gaggle معتقد بودند که به "ایمن نگه داشتن دانش آموزان از خودکشی و/یا آسیب رساندن به خود" کمک می کند. در حالی که این مطالعه توسط Gaggle حمایت مالی شد، یافته‌ها برای معلمانی که از جایگزین‌ها استفاده می‌کردند مشابه بود. به نظر می رسد این ادعا که تعاملات فزاینده اما با جمینی برای تقریبا دو ماه مورد توجه قرار نگرفت، پس از اینکه وی به صراحت در مورد "آویز کردن، خفگی و مصرف بیش از حد" سوال کرد، به نظر می رسد نشان می دهد که مکالمات ربات چت تعبیه شده در جستجوی Google ممکن است نقطه کوری باشد. مدنی

گروه‌های حقوقی از ابزارهای نظارت بر دانش‌آموز، از جمله فراخوانی تاکتیک‌های بازاریابی و تجاوز به حریم خصوصی دانشجویان انتقاد کرده‌اند. کارشناسان همچنین نگران هستند که نرم افزارهای نظارتی توانایی دانش آموزان را برای اعتماد به معلمان خود تضعیف می کند، همان افرادی که ممکن است بتوانند به یک کودک در بحران کمک کنند. بنجامین بودرو، محقق سیاستی در رند که موضوعاتی مانند نظارت دانش‌آموزان را مطالعه می‌کند، به WIRED می‌گوید که می‌ترسد برخی مدارس برای استفاده از ابزارها بدون در نظر گرفتن محدودیت‌ها و فرآیندهای مناسب برای اقدام بر اساس هشدارها عجله کرده‌اند. او انتظار دارد که شکایت اما باعث اعتراض بیشتر شود

والدین، معلمان و دانش آموزان برای فرصت های آموزشی بدون هوش مصنوعی و نظارت و سرشار از همدلی. او می‌گوید: «واقعا تنها از طریق ارتباط انسانی است که می‌توانیم به مسائل ریشه‌ای رسیدگی کنیم.» اگر شما یا کسی که می‌شناسید به کمک نیاز دارید، با پشتیبانی 24 ساعته رایگان و رایگان از خط ملی پیشگیری از خودکشی با 988 تماس بگیرید. همچنین می توانید برای خط متن بحران، HOME را به 741-741 پیامک کنید. در خارج از ایالات متحده، از انجمن بین المللی پیشگیری از خودکشی برای مراکز بحران در سراسر جهان بازدید کنید.