Discrimination in, Discrimination out: Mit Recht gegen Diskriminierung durch Algorithmen

Elisabeth Niekrenz

Zusammenfassung
KI-Systeme käuen strukturelle Diskriminierungen aus ihren Trainingsdaten wieder. Der Talk zeigt anhand kritischer Theorien des Rechts, wie ein effektives Antidiskriminierungsrecht für die digitale Welt aussehen könnte, was DSGVO & Co bereits bieten und woran es für effektiven Rechtschutz fehlt.
Vortrag
Deutsch
Conference

Der Output von Machine Learning-Systemen wird durch die Datensätze geprägt, mit denen sie trainiert werden. Solange in manchen Vorständen mehr Personen namens Thomas als Frauen sitzen und People of Colour in Machtpositionen unterrepräsentiert sind, heißt das: Treffen diese Systeme Entscheidungen, die für Menschen relevant sind, so verfestigen sie strukturelle Diskriminierungen der Vergangenheit - etwa bei der Bewerberauswahl, an Staatsgrenzen, in Sozialsystemen oder beim Creditscoring.

Ausgehend von der Lektüre kritischer Theorien des Rechts zeige ich auf, wie ein Antidiskriminierungsrecht der digitalen Welt aussehen könnte und wo die Regulierung in Europa und Deutschland steht. Anknüpfungspunkte finden wir in Art. 22 DSGVO, dem der Europäische Gerichtshof 2023 im SCHUFA-Verfahren neues Leben eingehaucht hat, und in den Antidiskriminierungsrichtlinien der EU. Auch auf die KI-Verordnung (AI Act) werfen wir einen kritischen Blick. Der Talk wird rechtliche Fehlstellen aufzeigen und so einen Beitrag zur politischen Debatte um die weitere Regulierung von KI leisten, der auch für Nicht-Jurist:innen von Interesse ist.

Elisabeth Niekrenz
Rechtsanwältin