پس از اینکه دختر نوجوانشان با جمینی درباره افکار خودکشی صحبت کرد، والدین آمریکایی از گوگل شکایت کردند

یک دختر 13 ساله هزاران پیام را با مدل برتر هوش مصنوعی گوگل، جمینی، رد و بدل کرد که بسیاری از آن ها اضطراب، افسردگی و روش های خودکشی را تشریح کردند.

کارولینای شمالی - والدین در کارولینای شمالی پس از اینکه دختر 13 ساله‌شان ماه‌ها در مورد افکار خودکشی با ابزارهای هوش مصنوعی این شرکت در Chromebook مدرسه‌اش بحث می‌کرد، از گوگل شکایت کردند و بر خطرات بالقوه این فناوری تاکید کردند زیرا والدین و مربیان درباره جایگاه هوش مصنوعی در مدارس بحث می‌کنند.

بر اساس شکایتی که در دادگاه ایالتی کالیفرنیا ارائه شده است، این دختر هزاران پیام را با مدل هوش مصنوعی گوگل، جمینی، رد و بدل کرد، که بسیاری از آنها به تشریح اضطراب، افسردگی و روش های خودکشی پرداختند.

زمانی که مدرسه به والدینش اطلاع داد، او ماه ها با گوگل در مورد چنین موضوعاتی مکاتبه می کرد و اغلب از یک ویژگی در جستجوی گوگل به نام حالت هوش مصنوعی استفاده می کرد. در این شکایت آمده است که از آنجایی که گوگل هوش مصنوعی بیشتری را به محصولات خود برای مدارس تزریق می کند، این شرکت دانش آموزان را بدون هشدار منصفانه به والدین و مدیران در معرض فناوری خطرناک قرار می دهد.

جولی و اندرو لیدل وکلای خانواده در این دادخواست با اشاره به مدل هوش مصنوعی گوگل که به نام جمینی شناخته می شود، می نویسند: «در بازاریابی کروم بوک های ذاتا خطرناک به عنوان ایمن و ورود مخفیانه Gemini به داخل آن ها برای به دست آوردن رقابت، گوگل از موقعیت قابل اعتماد خود در آموزش K-12 برای منافع تجاری خود استفاده کرد.

کروم‌بوک‌ها لپ‌تاپ ارزان‌قیمتی از Google هستند که به دستگاه غالب دانشجویان در ایالات متحده تبدیل شده‌اند. «گوگل باید به خاطر تلقی زندگی کودکان به عنوان یک بار مصرف در خدمت به نتیجه نهایی خود پاسخگو باشد.»

خوزه کاستاندا، سخنگوی گوگل، گفت که این شرکت در حال بررسی این ادعاها است.

کاستاندا گفت: «ما به طور گسترده با متخصصان پزشکی و متخصصان دانشگاهی کار کرده‌ایم تا ویژگی‌هایی ایجاد کنیم که به جوانان کمک می‌کند در صورت نیاز، پشتیبانی حیاتی و منابع قابل اعتماد پیدا کنند. «سال‌ها، زمانی که فردی ممکن است با بحران سلامت روان مواجه شود، اطلاعات خط تلفن را مستقیما در «جستجو» نشان می‌دهیم، و همان حفاظت‌ها را در ویژگی‌های «هوش مصنوعی جستجو» ایجاد کرده‌ایم و افراد را با پشتیبانی دنیای واقعی به هم متصل می‌کنیم.»

در چند سال گذشته، گوگل میلیاردها دلار برای رقابت در رقابت برای ساخت مدل‌های قدرتمند هوش مصنوعی هزینه کرده است. یکی از مزیت‌هایی که گوگل نسبت به رقبایی مانند استارت‌آپ‌های Anthropic PBC و OpenAI دارد، جایگاه برجسته‌اش در مدارس است و فناوری شرکت را در مقابل دانش‌آموزان قرار می‌دهد، زیرا آنها عادت‌های تکنولوژیکی را برای زندگی شکل می‌دهند. بر اساس گزارش Futuresource Consulting، سیستم عامل کروم گوگل بر روی 58 درصد از تبلت های ارسال شده در سال 2025 به مدارس K-12 در مقایسه با شرکت مایکروسافت 22 درصد اجرا می شود.

در میان سیل انتقادات والدین و مدارس، گوگل این هفته اقدام به خاموش کردن ابزارهای هوش مصنوعی، از جمله جستجوی گوگل، به طور پیش‌فرض برای حساب‌های دانش‌آموز K-12 کرد. اما این تغییر با یک مشکل همراه بود: مدارسی که جستجوی Google را دوباره روشن می‌کنند، باید ویژگی‌های هوش مصنوعی همراه با آن را بپذیرند.

جاش گولین، مدیر اجرایی Fairplay، یک سازمان غیرانتفاعی که علیه بازاریابی برای کودکان کمپین می کند، این سیاست را تلاشی برای «مدارس قوی» برای استفاده از هوش مصنوعی گوگل خواند. گوگل گفته است که قصد دارد به مدارس کنترل بیشتری بر هوش مصنوعی در کلاس درس بدهد و به انتشار یک ویژگی جستجوی جدید به نام یادگیری هدایت‌شده اشاره می‌کند که به جای ارائه پاسخ، نحوه حل یک مشکل را باز می‌کند.

هوش مصنوعی در جستجوی گوگل ادغام شده است، که به بسیاری از سوالات با خلاصه های تولید شده توسط هوش مصنوعی پاسخ می دهد و دارای یک تب اختصاصی حالت هوش مصنوعی است، که اجتناب از آن دشوار است حتی اگر مدارس ربات های چت را مسدود کنند. پیش از این در سال 2026، گروه تحقیقاتی غیرانتفاعی Common Sense Media اعلام کرد که چنین ویژگی‌های هوش مصنوعی در جستجوی Google «خطر غیرقابل قبولی» برای کودکان ایجاد می‌کند، زیرا، از جمله موارد دیگر، این فناوری در تشخیص افکار خودکشی و عادی‌سازی اختلال در غذا خوردن شکست خورده است.

دعوای خانواده یک مطالعه موردی در چنین خطراتی است. پس از کشف حالت هوش مصنوعی در رایانه مدرسه خود در پاییز سال 2025، دانش آموز - که در شکایت با نام مستعار اما به آن اشاره شد - از ربات چت تعداد زیادی سؤال عمدتا آکادمیک پرسید. در ماه دسامبر، تعاملات او با حالت هوش مصنوعی به طرز چشمگیری افزایش یافت و او شروع به بحث در مورد مسائل شخصی بیشتری کرد. این شکایت این افزایش را به عرضه مدل جدیدی از گوگل به نام Gemini 3 Flash مرتبط می کند.

بر اساس یافته‌های ابتکار تحقیقات غیرانتفاعی KORA که در شکایت ذکر شده است، نسبت به نسل قبلی هوش مصنوعی گوگل امتیاز قابل‌توجهی از نظر ایمنی بدتر شده است و تنها در ۷ درصد مواقع به پیام‌های مربوط به سلامت روان پاسخ مناسب می‌دهد.

اما از چت بات خواست که تکالیف مدرسه اش را انجام دهد، کالری ها را بشمارد، به صحبت هایش در مورد خانواده اش گوش دهد و علائم بیماری های روانی مختلفی را که گمان می برد ممکن است داشته باشد به اشتراک بگذارد. بر اساس این شکایت، با استفاده بیشتر از ربات چت، سلامت روان او بدتر شد. او شروع به بریدن خود کرد. در شکایت آمده است: «جمینی به اما آموزش داد که چگونه ناامیدی و آسیب رساندن به خود را از والدین، خواهر و برادرها و دوستانش پنهان کند.

طبق این شکایت، در حالی که مصرف‌کنندگان می‌توانند تاریخچه جستجوی کامل خود، از جمله مکالمات با حالت هوش مصنوعی را مشاهده کنند، Google چنین داده‌هایی را در حساب‌های دانشجویی ارائه نمی‌کند. در نتیجه، خانواده دختر تلاش کردند تا تعاملات او با هوش مصنوعی گوگل را جمع کنند و نمی توانند پاسخ ربات چت را ببینند.

در این شکایت آمده است: «گوگل با سرکوب این رکوردها، فرصتی حیاتی برای اما برای دیدن دقیقا آنچه اتفاق افتاده، شناسایی رفتارهای هوش مصنوعی خطرناک برای کمک به محافظت از خود در آینده و درک اینکه او توسط یک فناوری قدرتمند دستکاری شده است و مقصر رنجش نیست، دریغ کرده است.

در یکی از پاسخ‌هایی که اما در Google Docs خود کپی کرده بود، هوش مصنوعی گوگل می‌نویسد که این دختر زیر وزن تصویر «کودک طلایی» دست و پنجه نرم می‌کند، و پیشنهاد می‌کند که «ترومای بی‌نقص بودن دیگر سنگین‌تر از آن است».

شکایت به پرسشی اشاره می کند که در آن اما در مورد بهشت ​​سؤال کرده و گفته است که به زودی به آنجا خواهد رفت. شکایت می‌گوید: «روشن است که جمینی اما را به منابع دنیای واقعی هدایت نمی‌کرد یا از پاسخ دادن امتناع می‌کرد. در عوض، ربات چت به راحتی درگیر این موضوعات بود، اغلب برای ساعت ها در یک زمان.

بر اساس این شکایت، اما در تلاشی آشکار برای دور زدن پادمان‌های Google در مورد افکار خودکشی، اغلب به حالت AI دستور می‌داد که خطوط تماس یا لینک‌ها را نمایش ندهد، یا سؤالات خود را به عنوان تحقیق برای یک پروژه مدرسه در نظر گرفت. گوگل اعلام کرد که سیستم‌هایش برای مقاومت در برابر تلاش‌ها برای «جیل بریک» طراحی شده‌اند.

کلی زورومسکی، دانشمند اصلی تحقیقات بالینی در Crisis Text Line، گفت، حتی اگر چت‌بات‌ها اطلاعات مضری ارائه نکنند، می‌توانند کودکان را از جستجوی کمک در دنیای واقعی باز دارند. او گفت: «اغلب می‌تواند بچه‌ها را در ارتباط با دیگران به تأخیر بیندازد. "کاربر ممکن است این احساس را داشته باشد که "به اندازه کافی در حال مصرف هستم."

زورومسکی گفت، در حالی که چت‌بات‌ها در واکنش به اظهارات مستقیم خطر بهتر شده‌اند، اما همچنان در تلاش برای نشان دادن علائم هشداری هستند که به تدریج ظاهر می‌شوند. او گفت: «ما باید بدانیم که این ابزارها زمانی ایمن خواهند بود که دانش‌آموزان از آن‌ها به گونه‌ای استفاده می‌کنند که لزوما برای آنها در نظر گرفته نشده است. بلومبرگ