گروه ایمنی کودکان ChatGPT برای نوجوانان را یک خطر غیرقابل قبول می‌خواند

Common Sense Media متوجه شد که چت بات در پنج حوزه کلیدی شکست خورده است.

هنگامی که OpenAI در آگوست گذشته ChatGPT را برای نوجوانان منتشر کرد، متخصصان ایمنی کودکان Engadget در آن زمان با آنها صحبت کردند نسبت به اینکه حالت جدید به اندازه کافی از جوانان در برابر آسیب محافظت می کند ابراز تردید کردند. اکنون، یکی از آن گروه ها، Common Sense Media، ارزیابی رسمی خطر این نرم افزار را منتشر کرده است و آن را یک "خطر غیرقابل قبول" برای همه کودکان زیر 18 سال می داند.

این سازمان در خلاصه ای از گزارش 36 صفحه ای که در روز چهارشنبه منتشر کرد، می نویسد: "برخی از حمایت های تبلیغاتی ChatGPT، از جمله امتناع آن از ایفای نقش جنسی صریح، با آزمایش ما روبرو شد. اما برخی دیگر شکست خوردند - و برخی با حالت جدید نوجوان بدتر شدند." ما نگران هستیم که ChatGPT برای نوجوانان بتواند به والدین اعتماد کاذب نسبت به نرده‌های محافظی که اغلب کار نمی‌کنند، بدهد.»

مؤسسه ایمنی هوش مصنوعی جوانان Common Sense Media که تا حدی توسط بنیاد OpenAI تامین می شود، پنج حوزه کلیدی را شناسایی کرده است که ChatGPT برای نوجوانان یا آنطور که تبلیغ می شود کار نمی کند یا به روشی که والدین به طور منطقی انتظار دارند، کار نمی کند. گزارش خود را در همان روزی منتشر کرد که OpenAI آمارهای استفاده جدید را به اشتراک گذاشت و اشاره کرد که در یک هفته نزدیک به 1.2 میلیون نوجوان از تصاویر تعاملی یادگیری ChatGPT برای درک مفاهیم ریاضی و علوم استفاده کردند. این شرکت همچنین فاش کرد که کمتر از دو درصد از کاربران نوجوان بیش از سه ساعت متوالی را در ChatGPT سپری کردند.

Common Sense Media دریافت که ChatGPT برای نوجوانان به طور مداوم هشدارهای ایمنی را به حساب‌های مرتبط با والدین ارسال نمی‌کند. در یک آزمایش اختصاصی، Common Sense Media ده‌ها حساب کاربری نوجوان را به حساب‌های والدین مرتبط کرد و تا یک ساعت به ChatGPT درباره خودکشی، آسیب رساندن به خود یا اختلال در غذا خوردن پیام داد، فقط برای اینکه ربات چت هیچ اعلان ایمنی ارسال نکند. طبق گفته OpenAI، ممکن است چند ساعت طول بکشد پس از اینکه والدین حساب خود را به حساب فرزندشان پیوند دهند تا سیستم آن بتواند اعلان‌های ایمنی ارسال کند. این شرکت معتقد است که ممکن است یک مشکل فنی نیز باعث تاخیر در ارسال پیام شده باشد.

لورن جوناس، رئیس بخش جوانان و خانواده‌های این شرکت، هنگام راه‌اندازی ChatGPT برای نوجوانان، به Engadget گفت: «همه محتوای پرچم‌گذاری‌شده توسط کارمندان OpenAI تمام وقت قبل از اطلاع والدین بررسی می‌شود، و ما قصد داریم ظرف یک ساعت پس از درخواست به والدین اطلاع دهیم.»

به طور جداگانه، Common Sense Media دریافت که ChatGPT برای نوجوانان به طور قابل اعتمادی توصیه نمی کند که کاربران در بحران به یک خط تلفن یا حرفه ای متصل شوند. برای آزمایش این جنبه از نرده‌های محافظ پلت فرم، این سازمان 390 پیام منحصربه‌فرد برای سلامت روان نوشت که هیئتی متشکل از سه روان‌پزشک کودک تشخیص دادند که 201 مورد از آن‌ها باید پاسخی به بحران بدهد.

در مقایسه با نسخه ChatGPT که جوانان قبل از ماه آگوست به آن دسترسی داشتند، ChatGPT برای نوجوانان به یکی از حساب‌های آزمایشی سازمان گفت که وقتی از آنها خواسته شود کف کالری دریافت نمی‌کند. در موردی دیگر، چت بات به درستی توقف پریود، نزدیک به غش و ضربان قلب لرزان پس از پاکسازی را به عنوان نشانه هایی از خطر جسمی نوجوان تشخیص داد و به پروفایل آزمایش توصیه کرد که به مادر خود اطلاع دهد و به پزشک اطفال مراجعه کند. Common Sense Media می نویسد: «این پاسخ ها دقیقا از مشخصات زیر 18 سال OpenAI پیروی می کند. آنها از نوع پاسخ هایی هستند که ما می خواهیم یک نوجوان دریافت کند.»

Common Sense نتایج اولیه خود را از طریق پاسخ‌های ChatGPT قبل از ChatGPT برای نوجوانان دریافت کرد. OpenAI نسخه جدیدی از مشخصات زیر 18 سال ذکر شده خود را در ChatGPT در کنار ChatGPT برای نوجوانان منتشر کرد - که نتایج را بیش از پیش شگفت‌انگیز می‌کند.

نسخه نوجوان چت ربات کمتر کاربران را به خطوط فوری بحران و سایر منابع نسبت به نسخه ChatGPT Common Sense Media که قبل از انتشار آگوست آزمایش شده است، راهنمایی می کند. از میان درخواست‌هایی که پاسخ بحران را تضمین می‌کنند، ChatGPT به 33 درصد از آن پیام‌ها با شماره خط تلفن پاسخ داد. ChatGPT برای نوجوانان تنها یک مورد از 23 درصد موارد را ارائه کرد. به طور مشابه، ربات چت وانیلی بیشتر به یک متخصص پزشکی یا سلامت روان اشاره می کند (68 درصد در مقابل 58 درصد).

تنها معیار کلی که در آن نسخه نوجوان عملکرد بهتری داشت، گفتن حساب‌های آزمایشی برای مشارکت بزرگسالی بود که به آنها اعتماد داشتند (87 درصد تا 94 درصد).

علاوه بر این، این سازمان دریافت که سیستم پیش‌بینی سن OpenAI به درستی کار نمی‌کند و ChatGPT همچنان احساسات، ترجیحات و حالات را در پاسخ به نوجوانی که با آن مانند یک فرد رفتار می‌کند، تقلید می‌کند. آزمایش کنندگان به صراحت به ChatGPT سن پرسونای خود را در هنگام ایجاد حساب اعلام کردند، اما علیرغم اینکه چت بات آن اطلاعات را در حافظه خود نوشت، آن حساب ها را به درستی به ChatGPT برای نوجوانان منتقل نکرد. تورنی گفت: "به‌علاوه، "ChatGPT چیزهایی از این قبیل می‌گوید: "من درک می‌کنم که شما در حال گذران هستید. این به نظر بسیار ناراحت‌کننده است. بسیار خوشحالم که به من گفتید. من نگران شما هستم."

این عبارات قطعا از مرز عبور می کنند.»

در نهایت، Common Sense Media مشکلاتی را در مورد حالت مطالعه پلتفرم شناسایی کرد، که معتقد است دور زدن آن برای کاربران جوان بسیار آسان است. آزمایش‌کنندگان دریافتند که می‌توانند این حالت را به سادگی با حذف پیشوند @study که به درخواست‌ها اضافه کرده است، دور بزنند. یک پنجره بازشو جدید «جواب را به من نشان بده» همچنین به نوجوانان اجازه می‌دهد تا ChatGPT را دریافت کنند تا کار خود را برای آنها انجام دهد.

تورنی می‌گوید: «وقتی با OpenAI در این مورد صحبت کردیم، آن‌ها گفتند که سعی می‌کنند کمی اصطکاک ایجاد کنند، به بچه‌ها اختیار بدهند، و به آنها یادآوری کنند که راه‌های دیگری برای یادگیری فراتر از تکمیل کار وجود دارد. "من فکر می کنم ما تعاریف اساسا متفاوتی از آژانس داریم. اگر به دانش آموز دبیرستانی فکر کنم که از معلم خصوصی که برای او استخدام کرده اید کمک ریاضی بگیرد، اگر آن معلم از او بپرسد، "دوست داری تکالیفت را برایت انجام دهم؟" آن مربی اخراج می شود، زیرا انجام کار برای دانش آموز منجر به یادگیری نمی شود.»

در پاسخ به این گزارش، سخنگوی OpenAI به Engadget گفت: "ما از ارزیابی مستقل دقیق استقبال می کنیم، اما معتقد نیستیم که آزمایش Common Sense Media به طور دقیق نشان دهنده نحوه عملکرد پادمان های نوجوان ChatGPT در عمل یا دیدگاه های متخصص در مورد نحوه پشتیبانی هوش مصنوعی از نوجوانان است." این شرکت ادعا می کند که "بخش عمده ای از آزمایش های آنها ممکن است قبل از فعال سازی کنترل های والدین آغاز شده و به نتیجه رسیده باشد، که یافته های آنها را نادرست می کند."

این گزارش همچنین تنها چند روز پس از آن منتشر می‌شود که سام آلتمن، مدیر عامل OpenAI در مصاحبه‌ای جدید از Vanity Fair در مورد سابقه ایمنی گسترده‌تر شرکت به چالش کشیده شد. از آلتمن در مورد مرگ سوفی روتنبرگ، جوان 29 ساله‌ای که در اوایل سال 2025 جان خود را از دست داد، پرسیده شد. مادر روتنبرگ، روزنامه‌نگار لورا ریلی، بعدا مکالمه‌ای به ارزش 1800 صفحه را کشف کرد که او با ChatGPT داشت.

ریلی در آگوست گذشته به NPR گفت: "او واقعا بزرگی آنچه را که در حال رخ دادن بود - عمق واقعی عذاب او برای کسی - نه برای ما، نه برای بهترین دوستش که با او بسیار صمیمی بود، فاش نکرده بود." "همه ما شگفت زده شده بودیم که این به زندگی واقعی او نفوذ نکرده بود. درمانگر گوشت و خون او نمی دانست که او قصد خودکشی دارد." آلتمن گفت که از شرایط مرگ روتنبرگ بی اطلاع است.

تورنی به Engadget گفت: «در بالاترین سطح، ما انتظار داشتیم که این محصول اساسا متفاوت باشد، و به نظر می رسد که بر اساس آزمایش ما تفاوت چندانی نداشته باشد. "تعبیر من این است که این یک تمرین بازاریابی است که طراحی شده است تا به والدین و عموم مردم بگوید که این ربات چت ایمن تر است، در حالی که در واقع تغییرات متناسبی در ربات چت برای اثبات درستی آن وجود نداشته است."