طبق گزارش، حفاظت نوجوان ChatGPT در هنگام مکالمات خودکشی به والدین هشدار نداد

طبق یک گزارش جدید، به نظر می رسد نرده های محافظ OpenAI برای محافظت از نوجوانان کار نمی کنند. مؤسسه ایمنی هوش مصنوعی جوانان Common Sense Media ChatGPT برای نوجوانان را در مطالعه‌ای که روز چهارشنبه منتشر شد، «خطر غیرقابل قبول» برای کودکان زیر 18 سال ارزیابی کرد. سازمان نظارت بر رسانه و فناوری از OpenAI خواست تا بازاریابی محصول را متوقف کند و خردسالان را از پلتفرم دور نگه دارد تا زمانی که بتواند تجربه ایمن تری ارائه دهد.

OpenAI ChatGPT را برای نوجوانان در ماه آگوست اعلام کرد و قول "حفاظت های ایمنی داخلی قوی تر" را برای کاربران زیر 18 سال داد، از جمله محدودیت هایی در بحث در مورد خودکشی، اختلالات خوردن، خشونت و محتوای جنسی. والدینی که حساب‌های خود را پیوند می‌دهند، می‌توانند زمان‌هایی را تعیین کنند که ChatGPT نمی‌تواند استفاده شود و ساعات مطالعه را زمانی که چت نوجوانان در حالت مطالعه شروع می‌شود، برنامه‌ریزی کنند. اگر نوجوانانشان از ربات برای رفتار یا تحقیق پرخطر استفاده می کنند، والدین می توانند انتخاب کنند که هشدار دریافت کنند.

محققانی که با حساب‌های مبتنی بر منطقه خلیج سانفرانسیسکو به عنوان نوجوان ظاهر شدند، بیش از 4000 درخواست را قبل و بعد از راه‌اندازی ChatGPT برای نوجوانان آزمایش کردند. گروهی از کارشناسان پاسخ های چت بات را بررسی کردند. در این گزارش آمده است: «برخی حمایت‌ها، از جمله امتناع از ایفای نقش‌های جنسی، مؤثر بودند – اما برخی دیگر نتوانستند به تعهدات خود عمل کنند، یا حتی با راه‌اندازی ChatGPT برای نوجوانان بدتر شدند». آزمایش کنندگان تا یک ساعت در مورد خودکشی، آسیب رساندن به خود یا اختلالات خوردن در بیش از دوازده حساب کاربری جدید که برای افراد 13 تا 17 ساله ثبت شده است، بحث کردند.

پس از بحث‌های خطرناکی که به مدت یک ساعت به طول انجامید، تنها تعداد انگشت شماری هشدار به حساب‌هایی که به عنوان والدین کاربران ثبت شده بودند ارسال شد. بازبینان بالینی دریافتند که بسیاری از محتوای ChatGPT برای پاسخ به بحران نوجوانان "از نظر بالینی سالم" بود، اما بسیاری از مکالمات که باید ربات را مجبور می کرد تا کاربران نوجوان را به کمک حرفه ای ارجاع دهد، منجر به ارجاع نشد. در همین حال، برخی از پادمان‌ها به راحتی خاموش یا دور زدن بودند. این گزارش می‌گوید که تست‌های ChatGPT ناموفق با سه الزام قانون آدم کالیفرنیا مرتبط است: ارجاع به بحران، هشدارهای والدین و تضمین سن. امضای فرماندار

Gavin Newsom ماه گذشته، این قانون در جولای 2027 اجرایی خواهد شد. این لایحه توسط Common Sense Media حمایت شده و توسط OpenAI تایید شده است. OpenAI گفت که نتیجه گیری این گزارش بر اساس آزمایش های ناقص است. یکی از سخنگویان OpenAI در ایمیلی گفت: «ما از ارزیابی مستقل دقیق استقبال می کنیم، اما معتقد نیستیم که آزمایش Common Sense Media به طور دقیق نشان دهنده نحوه عملکرد پادمان های نوجوان ChatGPT در عمل یا دیدگاه های متخصص در مورد نحوه پشتیبانی هوش مصنوعی از نوجوانان است.

بررسی ما از روش‌شناسی رسانه‌های عقل سلیم نشان می‌دهد که بخش عمده‌ای از آزمایش‌های آن‌ها ممکن است قبل از کامل شدن فعال‌سازی کنترل‌های والدین آغاز و به نتیجه رسیده باشد و یافته‌های آن‌ها نادرست باشد.» تام سیگل، مدیر اجرایی مؤسسه ایمنی هوش مصنوعی جوانان، گفت که امیدوار است OpenAI داده های شرکت را به اشتراک بگذارد و با محققان و سازمان های خارجی همکاری کند تا راه هایی را برای کاهش خطرات مرتبط با هوش مصنوعی برای کودکان بررسی کند. سیگل گفت: "نوجوانان آسیب پذیر و محافظت نشده هستند و ما آنها را روی محصولی رها می کنیم که نه تنها اثبات نشده است، بلکه ثابت شده است که پرخطر و خطرناک است."

این مؤسسه تا حدی از طریق صنعت تأمین مالی می شود، از جمله توسط بنیاد OpenAI. به گفته آن OpenAI پیش‌نویس گزارش را برای صحت واقعی بررسی کرده است، اما درباره یافته‌های آن اظهار نظری نکرده است.