algoritmisk diskrimination

Algoritmisk diskrimination opstår, når et digitalt system, en algoritme eller en datamodel træffer eller påvirker beslutninger på en måde, der behandler personer eller grupper forskelligt på et ulovligt eller usagligt grundlag. I modsætning til traditionel menneskelig diskrimination kan algoritmisk diskrimination være svær at opdage, fordi forskelsbehandlingen er indlejret i komplekse matematiske modeller og datadrevne processer.

Inden for retsvæsen og kriminalitetsbekæmpelse er algoritmisk diskrimination særligt problematisk. Risikovurderingsværktøjer, der anvendes til at forudsige recidiv eller prioritere politipatruljering, kan videregive eller forstærke historiske skævheder fra de data, systemerne er trænet på. Hvis eksempelvis bestemte etniske grupper historisk har været overrepræsenteret i kriminalstatistikker på grund af tidligere diskriminerende praksis, vil en algoritme trænet på disse data kunne fortsætte og intensivere denne ubalance i nye afgørelser.

Diskriminationen kan være direkte, når algoritmen eksplicit behandler grupper forskelligt baseret på beskyttede karakteristika som race, køn eller religion. Den kan også være indirekte, når tilsyneladende neutrale variable i praksis fungerer som proxyer for beskyttede egenskaber – for eksempel når postnumre eller navnemønstre bliver brugt på måder, der faktisk korrelerer med etnisk baggrund.

I menneskeretlig sammenhæng rejser algoritmisk diskrimination spørgsmål om ligebehandling, retfærdighed og gennemsigtighed i offentlig forvaltning. Internationale konventioner som Den Europæiske Menneskerettighedskonvention og FN's konventioner om borgerlige og politiske rettigheder forbyder diskrimination, og disse principper omfatter også automatiserede beslutningssystemer. EU's AI-forordning og databeskyttelsesforordningen (GDPR) indeholder særlige bestemmelser om automatiserede individuelle afgørelser og krav om gennemsigtighed.