Schutz vor digitaler Diskriminierung

• Algorithmische Entscheidungen werden zunehmend bei Bewerbungsverfahren oder Wohnungsvergaben eingesetzt
• Wer diskriminiert wurde, kann das oft nicht nachweisen
• Ataman schlägt Auskunftspflichten und Schlichtungsstelle vor

Ataman legte zu dem wichtigen Thema am Mittwoch, den 30.08.2023, das Rechtsgutachten „Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“ der Autor*innen Prof. Dr. Indra Spiecker gen. Döhmann und Prof. Dr. Emanuel V. Towfigh vor.

KI macht vieles leichter – leider auch Diskriminierung. Ob in Bewerbungsverfahren, bei Bankkrediten, Versicherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen,
– sagte Ataman.

Die Unabhängige Bundesbeauftragte verwies auf das Beispiel Niederlande. In der dortigen „Kindergeldaffäre“ wurden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft. Die Affäre führte 2021 zum Rücktritt der Regierung.

In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger*innen Geld zurückzahlen („Robodebt“-Skandal). Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen. Und die Verursachenden – staatliche Stellen ebenso wie Unternehmen – verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren.

Auch das am Mittwoch vorgestellte Gutachten sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden. Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender*innen noch für die Adressat*innen der Systeme nachvollziehbar. Den Betroffenen ist häufig gar nicht bewusst, dass ein KI-System zum Einsatz gekommen ist. Zudem sind Informationen über die Arbeitsweise der Systeme in der Regel nicht zugänglich. Somit sind die Möglichkeiten, Diskriminierungen durch KI-Systeme zu erkennen und gegen sie vorzugehen, stark eingeschränkt.

Die Studie kommt zu dem Ergebnis, dass Regelungslücken im Allgemeinen Gleichbehandlungsgesetz (AGG) verhindern, dass der bestehende Rechtsschutz bei Diskriminierungen durch KI-Systeme wirkt. Ataman schlägt daher vor, den Schutz vor KI-basierter Diskriminierung im AGG zu verankern, um Betroffene besser zu schützen. "„Digitalisierung gehört die Zukunft. Sie darf aber nicht zum Albtraum werden. Menschen müssen darauf vertrauen können, dass sie durch "KI" nicht diskriminiert werden – und sich wehren können, wenn es doch passiert. Deshalb brauchen wir klare und nachvollziehbare Regeln“", sagte Ataman. "„Es ist gut, dass auf "EU"-Ebene eine Regulierung von KI vorbereitet wird. Den Schutz der Grundrechte nimmt sie uns aber nicht ab. Dafür werden wir auch hier in Deutschland an den richtigen Stellschrauben drehen müssen, zum Beispiel im "AGG".“"

Konkret nannte die Unabhängige Bundesbeauftragte:

• Die Erweiterung des Anwendungsbereichs des AGG. Künftig sollte „Handeln durch automatisierte Entscheidungssysteme“ als Benachteiligung in § 3 AGG aufgenommen werden.
• Auskunfts- und Offenlegungspflichten von Betreiber*innen von KI-Systemen, um einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
• Die Einrichtung einer unabhängigen Schlichtungsstelle bei der Antidiskriminierungsstelle des Bundes sowie die Regelung eines verpflichtenden Schlichtungsverfahrens im AGG.
• Anpassung der Beweislastregel: Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die „Black Box“ digitaler Entscheidungen nicht hineinschauen. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben. Ähnliche Regelungen zur Beweislasterleichterung stehen bereits in den EU-Richtlinien zum Schutz vor Diskriminierung und in der von der EU-Kommission vorgeschlagenen KI-Haftungsrichtlinie.

Hier finden Sie das Rechtsgutachten „Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“.

Hier finden Sie einen Steckbrief zum Rechtsgutachten.