محققان هشدار می دهند پلیس با استفاده از هوش مصنوعی خطر تبعیض را بدتر می کند

محققان می گویند هوش مصنوعی می تواند سوگیری های موجود در داده های پلیس گذشته را بزرگ کند

آدریان دریج، نویسنده جوان علمی بریتانیایی، در مقاله‌ای که برنده جایزه شده بود، درباره مشکلات بالقوه هوش مصنوعی و پلیس نوشت.

این مقاله برنده جایزه نویسنده جوان علم 2026، خارجی، که هر سال توسط انجمن نویسندگان علم بریتانیا انتخاب می‌شود، شد. در اینجا یک نسخه ویرایش شده از ورودی است.

محققان هشدار داده اند که استفاده فزاینده از هوش مصنوعی در پلیس باعث افزایش تبعیض علیه گروه های اقلیت می شود.

مطالعات نشان می‌دهد که پیش‌بینی‌ها در مورد کانون‌های جرم و جنایت در آینده ممکن است بر اساس داده‌های مغرضانه باشد، که می‌تواند تعصب موجود را بزرگ‌تر کند و یک حلقه بازخورد خطرناک ایجاد کند.

کارشناسان خواهان بازنگری استفاده از هوش مصنوعی در پلیس با نظارت بیشتر انسانی هستند.

به گفته دکتر کارولین مک کی، دانشیار و محقق عدالت دیجیتال در دانشکده حقوق دانشگاه سیدنی، این شامل بررسی داده هایی است که نیروها برای یافتن و حذف هرگونه سوگیری استفاده می کنند.

او می‌گوید: «کارکردهای عمومی پلیس دولتی باید تحت نظارت و بررسی انسانی باشد.

به گفته مک‌کی، مشکل این است که سیستم‌های هوش مصنوعی بر روی داده‌هایی آموزش می‌بینند که از قبل حاوی سوگیری‌های انسانی هستند و این می‌تواند به پیش‌گویی‌های خود تحقق‌بخش منجر شود.

هوش مصنوعی را به عنوان یک نقشه‌ساز در نظر بگیرید که از او خواسته شده تا نقشه شهری را که هرگز ندیده‌اند ترسیم کند. آنها در یک اتاق بدون پنجره قفل شده اند و نمی توانند بیرون بروند. همه آنها نقشه های 50 ساله است.

هر کسی که نقشه جدید را دنبال می‌کند، متوجه می‌شود که در دیوارهایی که سال‌ها پیش خراب شده‌اند توقف می‌کنند و به دنبال جاده‌هایی می‌گردند که دیگر وجود ندارند. سازنده نقشه چیز جدیدی ساخته نیست. آنها فقط نقشه های قدیمی را کپی کرده اند.

می‌توان هوش مصنوعی را با تکیه بر یک نقشه قدیمی به‌عنوان چرخش‌های اشتباه در نظر گرفت

حال فرض کنید فهرستی از جنایات گذشته و محل وقوع آنها به نقشه‌ساز داده می‌شود، و از او خواسته می‌شود تا در جایی که احتمال وقوع جنایات بعدی وجود دارد، پنهان شود. پلیس سپس در مناطق سایه بان گشت می زند.

جرایم بیشتری در آنجا ثبت می شود فقط به این دلیل که افسران بیشتری آنجا هستند تا آن را ببینند. به نظر می رسد مناطق خارج از سایه، جرم کمتری دارند، زیرا افراد کمتری به دنبال آن هستند. هنگامی که نقشه بعدی ترسیم می شود، همان مناطق حتی تاریک تر می شوند.

بنابراین ارقام جنایات فهرست کاملی از جرایم نیستند. آنها تا حدی سابقه ای از جایی هستند که پلیس انتخاب کرده است.

مشکل به قدمت پلیس است، اما هوش مصنوعی ممکن است سرعت آن را افزایش دهد.

سارا برین، جامعه شناس دانشگاه تگزاس در آستین، مدتی را در اداره پلیس لس آنجلس صرف مطالعه نحوه استفاده از داده های بزرگ کرد. او در مقاله تحقیقاتی خود که در American Sociological Review منتشر شد، دریافت که این نیرو به طور فزاینده ای از داده ها برای پیش بینی جرم استفاده می کند، نه فقط برای پاسخ به آن.

او همچنین دریافت که داده‌های وارد شده به این سیستم‌ها ناهنجار است. جنایات در مکان‌های عمومی بیشتر دیده و ثبت می‌شدند و تمرکز پلیس به طور نامتناسبی بر محله‌های سیاه‌پوست بود. او می نویسد هنگامی که این به سیستم وارد می شود، "پیش بینی ها بی طرفانه به نظر می رسند".

او می‌گوید این مدل‌ها «یک حلقه بازخورد» ایجاد می‌کنند که در آن نه تنها رویدادهایی مانند جنایت یا تماس پلیس را پیش‌بینی می‌کنند، بلکه در وقوع آنها در آینده نیز نقش دارند.

اما این دیدگاهی است که توسط دکتر دیمیتریوس کولیاس، دانشیار هوش مصنوعی چندوجهی در دانشگاه کوئین مری لندن (QMUL) به چالش کشیده شده است. او می گوید که این فناوری به سمت در نظر گرفتن سوگیری داده های تاریخی حرکت کرده است.

او به بی‌بی‌سی نیوز گفت: «قیاس نقشه قدیمی برای توضیح اینکه چگونه سوگیری تاریخی را می‌توان به ارث برد، مفید است، اما محدودیت‌هایی دارد.

سیستم‌های هوش مصنوعی مدرن به سادگی نمونه‌های آموزشی خود را بازیابی یا کپی نمی‌کنند؛ آنها می‌توانند اطلاعات آموخته‌شده را به روش‌های جدید ترکیب کنند و خروجی‌ها و راه‌حل‌هایی تولید کنند که به صراحت در آن نمونه‌ها وجود نداشت.»

کولیاس می‌افزاید، اما این بینش‌های جدید خطر جداگانه‌ای دارند.

او گفت: «از آنجایی که سیستم‌های هوش مصنوعی توانایی بیشتری در ایجاد تصمیم‌های جدید و عمل با استقلال بیشتر پیدا می‌کنند، باید اطمینان حاصل کنیم که رفتار آنها ایمن، قابل اعتماد و تحت کنترل معنادار انسانی باقی می‌ماند.

اما مسلما یک مشکل حل نشدنی تر، رسیدگی به اطلاعات گاهی ناقص ذخیره شده توسط مقامات و سیستم های هوش مصنوعی است.

محققان دانشگاه نیویورک گفتند که بسیاری از پیش‌بینی‌های آنها ممکن است بر آنچه که آنها «داده‌های کثیف» می‌نامند تکیه کند. آنها می گویند که اینها سوابق پلیسی است که بر اثر اعمال فاسد، جانبدارانه یا غیرقانونی، از جمله چهره های جنایت تقلبی و دستگیری افراد بی گناه شکل گرفته است.

محققان در مطالعه خود دریافتند که در 9 منطقه از 13 منطقه ایالات متحده که بررسی کردند، داده های پلیس از دوره های پلیس غیرقانونی یا مغرضانه برای آموزش این سیستم ها در دسترس است.

به گفته محققان، سیستم نمی تواند تشخیص دهد که این داده ها ناقص هستند. به سادگی آن را به عنوان الگویی برای تکرار در نظر می گیرد. گویی قطب نمای نقشه ساز فقط به جایی اشاره می کند که قبلا جرم و جنایت ثبت شده است. نقشه‌ساز فکر می‌کند که یک کانون جنایت جدید پیدا کرده‌اند، در حالی که تنها کاری که انجام داده‌اند این است که تعصبات افسران قبلی را دنبال کنند.

پاسخ مک کی این است که از شخصی مستقل بخواهید قبل از استفاده از نقشه نقشه را بررسی کند و خطوط اشتباه را پاک کند.

اما پاک کردن داده های کثیف آسان نخواهد بود. اشتباهات چند علامت مداد سرگردان نیست. کل نقشه بالای آن ها کشیده شده است. محققان دانشگاه نیویورک می گویند که تعمیرات فنی ارائه شده توسط شرکت های فروش این سیستم ها کافی نیست مگر اینکه شخصی به طور مستقل نحوه تولید داده ها را در وهله اول بررسی کند.

از آنجایی که هوش مصنوعی می تواند دنیا را تنها از طریق داده هایی که داده می بیند، می تواند اشتباهات جدی مرتکب شود که می تواند به افراد آسیب برساند.

به عنوان مثال، یک مطالعه در سال 2019 در مجله Science به یک سیستم هوش مصنوعی مورد استفاده در مراقبت های بهداشتی ایالات متحده برای کمک به تصمیم گیری در مورد بیمارانی که باید حمایت بیشتری دریافت کنند، نگاه کرد. این کار را با پیش‌بینی اینکه مراقبت از چه کسی بیشترین هزینه را خواهد داشت، انجام داد. اما یک سوگیری ذاتی در داده هایی که از آن استخراج می شد وجود داشت. تا حدودی به دلیل دسترسی ضعیف تر به مراقبت، کمتر از بیماران سیاه پوست نسبت به بیماران سفیدپوست به همان اندازه بیمار خرج می شد. با تلقی هزینه های بالاتر به عنوان نشانه ای از نیاز بیشتر، سیستم به طور ناعادلانه از بیماران سفیدپوست حمایت کرد.

بر اساس مطالعه ای در سال 2019، یک سیستم هوش مصنوعی هنگام تخصیص بودجه برای مراقبت های بهداشتی سوگیری نشان داد.

گویی به نقشه‌ساز گفته شده بود که بیمارترین نقاط شهر را علامت‌گذاری کند، اما به جای آن مکان‌هایی را که بیشترین پول خرج شده است را مشخص کرده بود. هنگامی که محققان سیستم را تغییر دادند تا میزان بیماری بیماران را پیش بینی کنند، به جای اینکه هزینه مراقبت آنها چقدر باشد، این تعصب تا حد زیادی ناپدید شد. سهم بیماران سیاه پوستی که برای کمک اضافی انتخاب شده اند از حدود 18 درصد به 47 درصد افزایش می یابد.

کولیاس اذعان می کند که سوگیری هوش مصنوعی از داده های کثیف "یک نگرانی مهم" است.

اما این بدان معنا نیست که تعصب اجتناب ناپذیر است.» او می گوید.

ما می‌توانیم سیستم‌ها را برای نتایج ناعادلانه آزمایش کنیم، داده‌ها و اهدافی را که استفاده می‌کنند بهبود ببخشیم و تدابیری را برای کاهش این اثرات معرفی کنیم.»

یکی از پیشرفت ها ارائه داده های اضافی است که زمینه را فراهم می کند. اگر به نقشه‌ساز بیش از فهرستی از جرایم داده می‌شد، چه می‌شد؟ همچنین می توان به آنها نشان داد که کدام مناطق نادیده گرفته شده اند - مکان هایی با چراغ های خیابان شکسته، بودجه اندک و خدمات عمومی از دست رفته. این می تواند نشان دهد که آیا محیط محلی نقشی دارد یا خیر. به جای فرستادن ماشین های پلیس به مناطق سایه دار، شوراها ممکن است برای تعمیر روشنایی، حمایت از جامعه و تعمیر خود منطقه پول بفرستند.

با این حال، به گفته مک کی، حتی این ممکن است کافی نباشد.

او می‌گوید: «محیط‌های هدف هنوز با ساکنان خود ارتباط نزدیکی دارند. آنها ممکن است (ادامه دهند) بیش از حد پلیس و به حاشیه رانده شوند."

او به سیستم هایی اشاره می کند که برای استفاده از اطلاعات مکان ها به جای افراد طراحی شده اند. با این وجود، منتقدان این نگرانی را مطرح کردند که همچنان به پلیس بیش از حد منجر شده است.

مامور هوش مصنوعی Rogue Anthropic به پلیس اطلاعات جعلی در مورد قتل حل نشده داد

هوش مصنوعی چیست، چگونه کار می کند و چرا برخی از مردم نگران آن هستند؟

هوش مصنوعی یک نقص بزرگ در امنیت سایبری را کشف کرد - این چیزی است که اتفاق افتاد

انگار نقشه ساز قول داده بود اسم افراد را روی نقشه ننویسد و فقط خیابان ها و ساختمان ها را علامت گذاری کند. اما آن خیابان‌ها به دلیل سال‌ها بی‌توجهی و پلیس شدید سایه‌انداختند، بنابراین نام‌گذاری‌ها خیلی کم تغییر می‌کند.

هوش مصنوعی هیچ باور یا شخصیتی برای خود ندارد. مانند نقشه‌ساز در اتاق بدون پنجره، فقط می‌داند که چه چیزی گفته می‌شود. اگر فردی که شهر را توصیف می کند از یک محله کینه داشته باشد، این کینه در نقشه به پایان می رسد.

اما در نهایت مشکل، تعصب انسانی است که هوش مصنوعی را تغذیه می کند. مردم تصمیم می گیرند که یک فرد مشکوک در دوربین مداربسته چگونه به نظر می رسد، یا چه چیزی به عنوان یک وام پرخطر به حساب می آید، و تعصبات فرهنگی، آموزشی و سیاسی خود را با خود همراه می کنند. کولیاس می گوید، بنابراین شاید هوش مصنوعی بتواند بخشی از راه حل باشد تا بزرگنمایی مشکل.

یک سیستم هوش مصنوعی با دقت طراحی شده و مستقل ارزیابی شده می‌تواند برخی از این الگوها را قابل اندازه‌گیری‌تر و قابل مشاهده‌تر کند و به ما فرصتی بدهد تا آنها را شناسایی و کاهش دهیم.»

اما انسان ها نیز باید نقش خود را ایفا کنند. مطالعه مراقبت های بهداشتی نشان می دهد که این انتخاب ها قابل بررسی و تغییر هستند. به همین دلیل است که محققان استدلال می کنند که مردم باید در جریان باشند. در غیر این صورت، مانند نقشه‌ساز که روی خطوط مداد قدیمی مرکب می‌زند، هوش مصنوعی خطر می‌کند که همه ما را در اتاقی بدون پنجره رها کند و برای همیشه در اشتباهات دیروز گرفتار شویم.