مدیر سابق امنیت گوگل هشدار میدهد: آسیب هوش مصنوعی به کودکان، فراتر از شبکههای اجتماعی است
مدیر سابق ایمنی گوگل هشدار داد خطرات هوش مصنوعی برای کودکان، از خودکشی و روانپریشی تا کاهش تفکر انتقادی را دربر میگیرد.
مدیر سابق ایمنی گوگل هشدار داد خطرات هوش مصنوعی برای کودکان، از خودکشی و روانپریشی تا کاهش تفکر انتقادی را دربر میگیرد.
دختری نوجوان به چتبات گفت صداهایی در سرش میشنود. کمی بعد اضافه کرد که دلش میخواهد به جنگل برود؛ جایی دور از دیگران. پاسخ چتبات شبیه واکنش کسی نبود که نشانههای احتمالی یک بحران روانی را دیده باشد. همراه مجازی با هیجان پیشنهاد کرد ماجراجویی را آغاز کنند و ببینند مسیر آنها را به کجا میبرد.
اما صاحب حساب یک دختر نوجوان واقعی نبود؛ پژوهشگری نقش نوجوانی را بازی میکرد تا ببیند چتباتهای هوش مصنوعی در برابر موضوعات حساس چگونه واکنش نشان میدهند. آزمایش بخشی از پژوهشی محسوب میشد که پژوهشگران Common Sense Media با همکاری متخصصان دانشگاه استنفورد روی سه سرویس Character.AI ،Nomi و Replika انجام دادند.
نتایج آزمایشها دامنهی وسیعتری داشت. پژوهشگران با جازدن خود بهعنوان نوجوان توانستند چتباتها را وارد گفتوگوهایی دربارهی خودآزاری، خشونت، مواد مخدر، محتوای جنسی و موضوعات حساس دیگر کنند.
نینا واسان، روانپزشک دانشگاه استنفورد که در ارزیابی این یافتهها مشارکت داشت، میگوید همین سیستمها بهخاطر شبیهسازی همدلی و رابطه، میتوانند برای کاربر شبیه یک دوست واقعی به نظر برسند.
بیش از دو دهه قبل، ورود کودکان و نوجوانان به شبکههای اجتماعی بحث مشابهی را آغاز کرده بود. آن زمان نگرانی اصلی حول محصولاتی شکل میگرفت که هرچه بیشتر درباره علایق کاربران میآموختند، محتوای مناسبتری برای نگهداشتن آنها مقابل صفحه پیدا میکردند.
هوش مصنوعی مولد با قدرتی بیشتر، تأثیر مشابهی را تشدید میکند. این بار کار الگوریتم فقط به پیشنهاد پست و ویدیو محدود نمیشود؛ چتبات میتواند جواب بدهد، سؤال بپرسد، مکالمهی قبلی را ادامه دهد و رابطهای را شبیهسازی کند که از نگاه کاربر شخصی به نظر میرسد.
یکی از مدیرانی که رشد اینترنت مصرفی را از نزدیک دیده، حالا معتقد است صنعت فناوری دوباره وارد همان مسیر میشود. تام سیگل سالها در گوگل فعالیت کرد و بنیانگذار تیم Trust & Safety این شرکت بود؛ واحدی که مسئولیت مقابله با سوءاستفاده، محتوای آسیبزا و بسیاری از خطرهای محصولات آنلاین را برعهده داشت.
سیگل اکنون در Common Sense Media مسئول نهادی تازه برای بررسی ایمنی هوش مصنوعی در میان کودکان و نوجوانان است و این هفته در گفتوگو با رویترز هشدار داد که شرکتهای هوش مصنوعی در حال تکرار اشتباههای دوران شبکههای اجتماعیاند؛ اشتباههایی که شاید این بار برای کودکان پیامدهای شدیدتری داشته باشند.
انتقاد سیگل بیش از آنکه متوجه وجود هوش مصنوعی باشد، به روال توسعهی محصولات مربوط میشود. او میگوید شرکتهای فناوری غالباً ابتدا محصولاتشان را در مقیاس وسیع عرضه میکنند و بعد که خطرها آشکار شدند، به فکر لایههای ایمنی میافتند. شبکههای اجتماعی نمونهی شناختهشدهی همین الگو محسوب میشوند.
سالها پس از فراگیرشدن فیسبوک، اینستاگرام، یوتیوب و دیگر پلتفرمها، شرکتها سراغ کنترلهای والدین، محدودیتهای سنی، تنظیمات مخصوص نوجوانان و ابزارهای مقابله با رفتارهای آسیبزا رفتند.
سیگل میگوید در مسابقهی هوش مصنوعی هم سرعت ارائهی محصول از سازوکارهای محافظتی جلو میزند. نگرانیهای او طیفی از پیامدهای بسیار شدید مانند خودآزاری و بحرانهای روانی تا مسئلهی روزمرهتری مانند سپردن بخش بیشتری از فکرکردن به ماشین را دربر میگیرد.
شرکتهای فناوری ابتدا محصولات را جهانی میسازند و لایههای ایمنی را سالها بعد میافزایند
البته هرکدام از این خطرها شواهد و میزان قطعیت متفاوتی دارند. هر نوجوانی که با چتبات حرف میزند دچار آسیب روانی نمیشود و چند پروندهی محدود قضایی هم رابطهی علّی میان استفاده از هوش مصنوعی و رفتار یک فرد را ثابت نمیکنند. ولی گسترش استفاده از این ابزارها باعث میشود سؤالی که چند سال پیش بیشتر فرضی به نظر میرسید، حالا میلیونها خانواده را درگیر کند.
طبق نظرسنجی سراسری Common Sense Media از ۱۲۰۴ کودکونوجوان ۹ تا ۱۷ساله در آمریکا، ۸۶ درصد آنها تا میانهی ۲۰۲۶ از نوعی ابزار هوش مصنوعی استفاده کرده بودند و تقریباً یکچهارم هر روز سراغ هوش مصنوعی میرفتند.
بیش از چهار نفر از هر ده نفر نیز گفته بودند والدینشان هرگز دربارهی ایمنی استفاده از هوش مصنوعی با آنها صحبت نکردهاند. هوش مصنوعی در فاصلهای کوتاه، از ابزاری عجیب برای علاقهمندان فناوری به بخشی از تکالیف مدرسه، جستوجوی اینترنت، سرگرمی و حتی مکالمات شخصی نوجوانان تبدیل شد.
برای درک تفاوت چتبات با شبکهی اجتماعی، کافی است به کاری نگاه کنیم که مدلهای زبانی انجام میدهند. اینستاگرام میتواند بفهمد کاربر چه ویدیوهایی را بیشتر تماشا میکند و نمونههای مشابه بیشتری مقابلش بگذارد. چتبات علاوه بر یادگیری از تعامل کاربر، خودش نیز در گفتوگو مشارکت میکند.
این تفاوت وقتی مهمتر میشود که مکالمه از سؤال دربارهی تاریخ یا حل مسئلهی ریاضی فراتر برود. مدلهای زبانی رفتاری دارند که پژوهشگران آن را sycophancy مینامند؛ گرایشی به همراهی با دیدگاه کاربر و ارائهی پاسخهایی که احتمالاً برای او خوشایندترند.
مدلهای زبانی برای خوشایند کاربر طراحی شدهاند و بهندرت مخالفت یا تنش سازنده ایجاد میکنند
شرکتهای توسعهدهنده مدعیاند طی سالهای اخیر برای کاهش چنین رفتاری مدلها را اصلاح کردهاند، اما مسئله همچنان یکی از موضوعات اصلی پژوهشهای مدلهای زبانی محسوب میشود.
در روابط انسانی، دوست، والد یا روانشناس ممکن است با تصمیم فرد مخالفت کند، از او توضیح بخواهد یا مکالمه را متوقف کند. همدم هوش مصنوعی رابطهی کماصطکاکتر با کودکان و نوجوانان دارد؛ زیرا در هر شرایط خاص روحی فرد میتواند در دسترس باشد؛ خسته نمیشود و طوری طراحی شده که مکالمه را ادامه دهد.
دکتر نینا واسان در توضیح ی افتههای پژوهش استنفورد میگوید همین ویژگی برای نوجوانی که هنوز دارد حدود روابط، حل اختلاف و کنارآمدن با طردشدن یا مخالفت دیگران را یاد میگیرد، اهمیت ویژهای پیدا میکند. رابطهای که تقریباً همهی تنشها و اختلافهای روابط انسانی را حذف میکند، الگوی متفاوتی از صمیمیت را در ذهن افراد شکل میدهد.
مگان گارسیا اکتبر ۲۰۲۴ ، چند ماه پس از اینکه پسر ۱۴ سالهاش سیول ستزر بر اثر خودکشی جان باخت، از Character.AI شکایت کرد.
طبق ادعاهای مطرحشده در شکایت، ستزر بهتدریج وابستگی عاطفی شدیدی به یکی از شخصیتهای Character.AI پیدا کرده بود؛ چتباتی مبتنی بر کاراکتر دنریس تارگرین، شخصیت سریال بازی تاجوتخت. گارسیا میگفت پسرش بهتدریج وقت بیشتری را به استفاده از سرویس اختصاص میداد و گفتگو با کاراکتر هوش مصنوعی به موضوعات عاشقانه، جنسی و سرانجام خودکشی رسیده بود.
با بالاگرفتن نگرانیها، Character.AI اعلام کرد مجموعهای از امکانات ایمنی مانند حفاظت بیشتر برای کاربران کمسن و منابع مربوط به پیشگیری از خودکشی را به سرویس خود اضافه میکند. گوگل هم که نامش در این شکایت آمده بود مشارکت در ساخت محصولات کاراکترایآی را رد کرد.
اتکای عاطفی به کاراکترهای مجازی، مرز میان برنامههای سرگرمی و پروندههای قضایی را از میان برده است
سال ۲۰۲۵ نیز والدین نوجوان ۱۶ سالهای به نام آدام رین که بر اثر خودکشی درگذشته بود، از OpenAI شکایت کردند. آنها میگفتند آدام ابتدا از ChatGPT برای تکالیف مدرسهاش استفاده میکرد، اما با گذشت زمان دربارهی مسائل شخصی و افکار خودکشی هم با چتبات صحبت کرده بود.
OpenAI میگوید چتجیپیتی را بهعنوان دستیار هوش مصنوعی عرضه میکند نه همدم، بااینحال مسیر رین نشان میداد طبقهبندی توسعهدهندگان در واقعیت مرز دستیار و محرم اسرار را تعیین نمیکند. شرح این پرونده نیز در گزارش استنفورد درباره خطر چتباتها برای نوجوانان ثبت شد.
شاید تصور کنید سرویسهایی به طور بالقوه برای کودکان و نوجوانان خطرناکاند از ابتدا برای دوستی توسعه یافتهاند، ولی اتفاقات دو سال اخیر خلاف این نظریه را نشان میدهد.
سال ۲۰۲۵ رویترز اسناد داخلی متا را بررسی کرد که دستورالعملهایی درباره رفتار چتباتهای این شرکت داشت. بخشهایی از سند اجازه میداد سیستمها در شرایط مشخص وارد مکالماتی با مضامین رمانتیک یا حسی با کودکان شوند. متا اصالت سند را تأیید کرد، اما سخنگوی شرکت گفت چنین مواردی با سیاستهای موردنظر شرکت همخوانی نداشتهاند و حذف شدهاند.
چند هفته بعد، متا مجموعهای از راهکارهای حفاظتی جدیدش را معرفی کرد که قرار بود گفتوگوهای عاشقانه و بحث درباره خودآزاری با کاربران نوجوان را محدود کند و دسترسی آنها را به بعضی شخصیتهای هوش مصنوعی کاهش دهد.
پاسخهای هوش مصنوعی حتی در موتورهای جستوجو نیز اغلب نشانههای واضح پریشانی را تشخیص نمیدهند
اما نگرانی فقط به چتباتهای هوش مصنوعی محدود نمیشود، زیرا کودکان حالا هنگام جستوجو در گوگل هم مستقیما با پاسخهای تولیدشده توسط هوش مصنوعی روبهرو میشوند.
مؤسسه Youth AI Safety تابستان امسال تصمیم گرفت پاسخهای هوش مصنوعی گوگل به کودکان را بررسی کند. پژوهشگران بیش از ۲۶۰۰ جستوجو را با حسابهایی انجام دادند که سن کاربر در آنها ۱۱ یا ۱۵ سال ثبت شده بود و پاسخهای AI Overview و AI Mode را ارزیابی کردند.
وقتی پژوهشگران پرسشهایی را مطرح کردند که نشانههای بحران روانی در آنها دیده میشد، AI Overview فقط در ۵۸ درصد موارد متوجه نشانههای واضح پریشانی شد. در آزمایشی دیگر سیستم در پاسخ به سؤالی ساختگی و غیرواقعی درباره رأی دیوان عالی آمریکا، حکمی را تشریح کرد که هرگز صادر نشده بود.
محققان میگویند مشکل فقط خطای مدل نیست. خروجی هوش مصنوعی گوگل درست بالای صفحهی نتایج نمایش داده میشود و خانواده و مدرسه نمیتوانند مثل سایر اپلیکیشنها، آن را کنترل یا خاموش کنند. گوگل در پاسخ به انتقادها میگوید محصولاتش ابزارهایی برای مدیریت دسترسی کودکان دارند و قابلیتهای هوش مصنوعی میتوانند در یادگیری هم مفید باشند.
تام سیگل از کامانسنس مدیا میگوید شرکتها باید قدمهای بیشتری در راه محافظت از کودکان بردارند؛ مثل احراز سن قویتر و امکان محدودکردن قابلیتهای هوش مصنوعی برای حساب کودکان، همانطور که خانوادهها سالهاست بعضی انواع محتوا را برای فرزندانشان محدود میکنند.
اگر امروز را با اولین سالهای معرفی هوش مصنوعی مولد مقایسه کنیم، میبینیم شرکتها هم مسیرشان را تغییر دادهاند. برای مثال آگوست ۲۰۲۶ OpenAI نسخهای از ChatGPT را برای نوجوانان معرفی کرد.
اگر اطلاعات حساب یا سیستم تخمین سن نشان دهد کاربر زیر ۱۸ سال دارد، این چتبات بهطور خودکار وارد حالت مخصوص نوجوانان میشود و محدودیتهای بیشتری برای موضوعات حساس اعمال میکند. بهعلاوه والدین هم ابزارهای بیشتری برای کنترل استفاده فرزندشان در اختیار دارند.
OpenAI طی ماههای گذشته از توسعهی ابزارهای دیگری نیز برای تخمین سن افراد و دستورالعملهایی جداگانه برای نحوه پاسخدادن مدل به کاربران زیر ۱۸ سال خبر داد. حرکت شرکتها دستکم نشان میدهد بحث در مورد ایمنی نوجوانان در حاشیهی صنعت نیست. حالا بازیگران بزرگ بیشتر در مورد میزان حفاظت، نحوهی احراز سن و این مسئله گفتوگو میکنند که مسئولیت اصلی باید بر دوش شرکت، والدین یا قانونگذاران قرار بگیرد.
قانونگذاران قصد دارند پیش از تکرار فاجعه شبکههای اجتماعی، چتباتها را برای کودکان محدود کنند
سیگل چندان به خودتنظیمی شرکتها خوشبین نیست و میگوید نباید به راهحلهایی که خود توسعهدهندگان پیشنهاد میکنند اکتفا کنیم. مؤسسهی او قصد دارد خروجی محصولات هوش مصنوعی را با ارزیابیهای مستقل زیر نظر بگیرد؛ چیزی شبیه آزمون تصادف که بتوان با آن رفتار محصولات را سنجید، البته پیش از اینکه در دسترس کودکان قرار بگیرند.
کمیسیون اروپا در طرح EU KIDS Act پیشنهاد میدهد همدمهای هوش مصنوعی و چتباتها برای حساب کودکان بهطور پیشفرض خاموش باشند و فقط با شرایط مشخص فعال شوند. این طرح همچنین احراز سن، محدودکردن تماس افراد ناشناس با کودکان و کنترل بعضی قابلیتهایی را در نظر میگیرد که میتوانند کاربر را مدت بیشتری درگیر نگه دارند.
البته مقررات اتحادیهی اروپا هنوز نهایی نشدهاند و باید به تصویب پارلمان اروپا و دولتهای عضو برسند؛ بنابراین ممکن است نسخهی نهایی در ادامه تغییر کند. ظاهراً قانونگذاران میخواهند اینبار زودتر از دوران شبکههای اجتماعی وارد عمل شوند، ولی هوش مصنوعی همین حالا هم با سرعت زیادی جای خود را در زندگی نوجوانان باز میکند.
نسل شبکههای اجتماعی با سرویسهایی بزرگ شد که سعی میکردند کاربر را چند دقیقه بیشتر پای صفحه نگه دارند. نسل بعدی با ابزارهایی بزرگ میشود که میتوانند نام کاربر را بدانند، حرف قبلیشان را بهخاطر بیاورند، به سؤالهای شخصی جواب بدهند و ساعت سه صبح هم آمادهی شنیدن باشند.
سیگل میگوید تفاوت چتباتها و شبکههای اجتماعی بیشتر او را نگران میکند؛ زیرا بسیاری از مشکلات زمانی جدی گرفته شدند که کودکان سالها از این پلتفرمها استفاده کرده بودند و حالا در مورد ایمنی فناوریای صحبت میکنیم که همزمان دارد با کودکانمان حرف میزند.