«کامپیوتر نه می‌گوید»: چگونه بروکسل اجازه می‌دهد نمره‌گذاری اجتماعی الگوریتمی از درب پشتی وارد شود

امروز چند "نمره" گرفتی؟ احتمالا نمی دانید. اما یک بانک مطمئنا میزان ریسک شما را ارزیابی کرده است. یک پلتفرم محتوایی را که می خواهید مشاهده کنید رتبه بندی کرده است. یک سیستم کلاهبرداری ممکن است رفتار شما را غیرعادی علامت گذاری کرده باشد. یک کارفرمای بالقوه ممکن است قبل از اینکه یک انسان واقعی بتواند به آن نگاهی بیندازد، رزومه شما را مرتب کرده باشد. در مرز، یک سیستم خودکار ممکن است به این نتیجه رسیده باشد که قبل از فرود آمدن شما سزاوار یک نگاه مجدد هستید.

برخی از این نمرات می توانند برای شما هزینه شغل، خانه، درآمد و حتی آینده شما را داشته باشند و خواهند داشت. برخی دیگر تقریبا نامرئی هستند، اما می توانند به همان اندازه مضر باشند.

درست زمانی که دادگاه‌ها و قانون‌گذاران شروع به افشای پیامدهای این سیستم‌ها می‌کنند، بروکسل، با Omnibus دیجیتال خود، در حال بررسی تضعیف پادمان‌های کلیدی در برابر تصمیم‌گیری خودکار است.

خط قرمز بروکسل قول داده بود از آن عبور نکند

در جریان مذاکرات قانون هوش مصنوعی (AI)، «امتیاز اجتماعی» به یکی از واضح‌ترین خطوطی تبدیل شد که اتحادیه اروپا قول داده بود از آن عبور نکند. خلاصه‌نویسی سیاسی چین بود و به دنبال آن اظهارات بزرگ درباره عدم تمایل به جامعه‌ای که در آن مردم به عنوان افراد قابل اعتماد یا مشکوک طبقه‌بندی شوند، با مجموعه‌ای از مجازات‌ها - و امتیازات کمی - به دنبال آن طبقه‌بندی بود.

اتحادیه اروپا اشکال خاصی از امتیازدهی اجتماعی را ممنوع کرد. اما شاید ما زمان زیادی را صرف جستجوی یک نمره غول پیکر و فراگیر کردیم، به جای تمرکز بر صدها امتیاز کوچکتر که در اطراف ما ساخته شده اند.

SCHUFA، آژانس اعتباری غالب آلمان را در نظر بگیرید. داده‌های حدود 69 میلیون نفر را در اختیار دارد و امتیازات آن بر دریافت اعتبار، امضای قرارداد تلفنی یا اجاره خانه تأثیر می‌گذارد.

در سال 2023، دیوان دادگستری اتحادیه اروپا تشخیص داد که چه مقدار قدرت می‌تواند در یک عدد «صرف» قرار گیرد که برای اطلاع‌رسانی تصمیمات کاملا خودکار استفاده می‌شود: وقتی از یک امتیاز برای تصمیم‌گیری در مورد دریافت وام، قرارداد یا خدمات دیگری استفاده می‌شود، آن امتیاز می‌تواند عواقب بسیار واقعی برای زندگی شما داشته باشد.

اکنون SCHUFA با چالش بزرگ دیگری روبرو است. در ماه اوت، سازمان غیردولتی اتریشی noyb نامه ای برای توقف و توقف ارسال کرد، پس از تحقیقاتی که نشان داد این شرکت میلیون ها رکورد تاریخی را که باید حذف می شد ذخیره می کند و از آنها برای اهداف آزمایشی استفاده می کند.

اما اگر مردم نتوانند همه داده‌های مورد استفاده برای قضاوت در مورد آنها را ببینند، چگونه باید نتیجه را به چالش بکشند؟

کارگران نسخه دیگری از آن مشکل را می دانند.

اوبر به دلیل حذف رانندگان 825 میلیون یورو جریمه شد

ماه گذشته، سازمان حفاظت از داده هلند، اوبر را به دلیل استفاده از تصمیمات کاملا خودکار برای مسدود کردن و غیرفعال کردن رانندگان، تقریبا 825 میلیون یورو جریمه کرد.

رتبه‌بندی‌های مشتری و تصمیمات مشکوک به کلاهبرداری که راننده را از پلتفرم و در نتیجه درآمدشان قطع می‌کند، تغذیه می‌کند.

به گفته رگولاتور، این تصمیم‌ها بدون ارزیابی انسانی قبلی صورت می‌گیرد و کارگران در معرض از دست دادن درآمد فردای خود به دلیل تشخیص یک الگوی ادعایی توسط سیستم هستند.

هلند هشدارهای زیادی ارائه می دهد.

ادامه مطلب

چه کسی از لحظه هوش مصنوعی بانکداری سود می برد؟

SyRI، یک سیستم دولتی که برای شناسایی تقلب‌های مربوط به مزایای اجتماعی، کمک هزینه و مالیات طراحی شده است، قرار بود افرادی را که «خطر بالاتر» در نظر گرفته می‌شوند شناسایی کند. در سال 2020، دادگاه منطقه لاهه قوانین زیربنای آن را لغو کرد و سیستم را به‌اندازه کافی شفاف و قابل راستی‌آزمایی و با حق زندگی خصوصی ناسازگار تشخیص داد.

چند سال بعد، آژانس آموزشی هلندی DUO با استفاده از سن، نوع تحصیلات و فاصله بین خانه و آدرس والدینشان، به دانش‌آموزان امتیازات مربوط به تقلب را داد.

امتیاز بالاتر شانس تحقیق و حتی بازدید از منزل را افزایش داد. حدود 21500 دانش‌آموز بین سال‌های 2013 و 2022 تا حدی بر اساس الگوریتم برای بررسی «تقلب» انتخاب شدند.

سازمان حفاظت از داده هلند سیستم را تبعیض‌آمیز و غیرقانونی می‌دانست: دانش‌آموزانی که سابقه مهاجرت غیراروپایی داشتند بیشتر انتخاب می‌شدند، زیرا تمایل داشتند در معیارهای ظاهرا خنثی امتیاز بیشتری کسب کنند.

در اینجا یک الگو وجود دارد. سیستم‌های امتیازدهی تمایل خاصی به تبعیض علیه افرادی دارند که از قبل آسیب‌پذیر هستند. آنها نابرابری را به یک متغیر تبدیل می کنند و سپس نتیجه را به عنوان «کارایی» ارائه می کنند.

هوش مصنوعی رزومه شما را اسکن می کند

و اکنون خود کمیسیون اروپا در حال آماده سازی ابزار هوش مصنوعی برای کمک به رتبه بندی نامزدها برای مشاغل اتحادیه اروپا است.

آخرین رقابت عمومی آن 174922 درخواست جذب کرد. ابزار در حال توسعه می‌تواند به نامزدها امتیاز داده و رتبه‌بندی کند تا به استخدام‌کنندگان در مقابله با آن حجم کمک کند.

ظاهرا، انسان‌ها همچنان ممکن است تصمیم نهایی را بگیرند. با این حال، یک سیستم می‌تواند قبل از اینکه کسی دکمه نهایی را فشار دهد، قدرت زیادی اعمال کند: می‌تواند تصمیم بگیرد که کدام CV به بالای جدول برسد، کدام ادعای رفاهی مشکوک به نظر می‌رسد، کدام کارگر مستحق بررسی است، یا کدام فرد نژادپرستانه باید بیشتر مورد توجه قرار گیرد.

دیدن بسیاری از این «جامعه امتیازآور» حتی سخت‌تر است. سیستم‌های تبلیغاتی دائما ارزیابی می‌کنند که چه کسی احتمالا به چه چیزی پاسخ می‌دهد، یا سیستم‌های توصیه‌کننده – بله، آن فید «برای شما» – رتبه‌بندی آنچه که سزاوار توجه شماست قبل از اینکه آن را ببینید.

ادامه مطلب

فرستاده جدید هوش مصنوعی اتحادیه اروپا یک مدیر عامل فناوری با تضاد منافع فوق العاده است

عواقب آن عمیقا نابرابر است. در حالی که یک فرد ثروتمند که توسط یک بانک رد شده است می‌تواند دیگری را امتحان کند، کسی که به شدت به دنبال مسکن ارزان قیمت است ممکن است گزینه دومی نداشته باشد، یا یک کارگر پلت فرم که ناگهان غیرفعال شده است نمی‌تواند ماه‌ها صبر کند تا یک شکایت حل شود. افرادی که کمترین قدرت را دارند اغلب کسانی هستند که موسسات بیشترین اطلاعات را درباره آنها جمع آوری می کنند.

از نظر قانونی، این سیستم ها همه یکسان نیستند.

ماده 22 GDPR به افراد در برابر تصمیمات جدی ناشی از پردازش خودکار محافظت ویژه می‌دهد. و این محافظت فقط به این دلیل که یک انسان رسما آخرین تماس را برقرار می‌کند ناپدید نمی‌شود.

اگر یک امتیاز خودکار یا رتبه‌بندی به شدت نتیجه را شکل دهد، می‌تواند به تصمیم‌گیری خودکار تبدیل شود. گرفتن سیستم‌های دیگر ممکن است سخت‌تر از این طریق باشد، زیرا آنها افراد را رتبه‌بندی می‌کنند، توصیه می‌کنند یا پرچم‌گذاری می‌کنند، بدون اینکه نتیجه نهایی را ایجاد کنند، اما هنوز هم می‌توانند قبل از اینکه انسان درگیر شود، افرادی را که امیدوارکننده، مشکوک یا خطرناک به نظر می‌رسند، شکل دهند.

به همین دلیل است که انگیزه مقررات زدایی فعلی اتحادیه اروپا اهمیت دارد.

بروکسل عقب نشینی کرد

Omnibus دیجیتال کمیسیون در تکرار اصطلاح "دیتا Omnibus" پیشنهاد می‌کند که ماده 22، یکی از قوی‌ترین پادمان‌های GDPR در برابر تصمیم‌های مهمی که صرفا از طریق پردازش خودکار گرفته می‌شود، بازنویسی شود.

جالب‌تر از همه، این اجازه می‌دهد که تصمیم‌گیری خودکار برای یک قرارداد «ضروری» تلقی شود، حتی زمانی که همان تصمیم‌ها توسط یک انسان گرفته شود.

این یک تعدیل فنی جزئی نیست. این خطر تبدیل یک محافظ را به یک استثنا دارد: اگر شرکتی بتواند بگوید که اتوماسیون مفید یا کارآمد است، این سوال مطرح نمی‌شود که آیا یک انسان می‌تواند تصمیم بگیرد، بلکه این سوال مطرح می‌شود که آیا شرکت دلیلی برای خودکارسازی آن دارد یا خیر.

نادیده گرفتن زمان بندی دشوار است، توجه داشته باشید. در حالی که دادگاه‌ها و قانون‌گذاران بالاخره نشان می‌دهند که چرا این پادمان‌ها اهمیت دارند، بروکسل در نظر دارد تصمیمات خودکار را آسان‌تر به نام «کارآمدی» توجیه کند.

ما حاضریم به نام – ظاهرا – ساده‌تر کردن مقررات از چه چیزی صرف نظر کنیم؟ اگر حفاظت به عنوان یک بار تلقی می‌شود زیرا تصمیم‌گیری خودکار را سخت‌تر می‌کند، حداقل باید بپرسیم که بار چه کسی را کاهش می‌دهیم و در عوض چه کسی این خطر را به دوش می‌کشد.

در طول مذاکرات قانون هوش مصنوعی، ما در EDRi مدام از تبدیل شدن به یک جامعه اقتدارگرای امتیاز دهنده جلوگیری کردیم. شاید بهتر باشد به جامعه امتیاز آور نگاه کنیم که تکه تکه در حال جمع آوری است.