Zum Weltfrauentag: Automatisierte Diskriminierung von Frauen: Wenn die KI nur "And­reas" und "Michael" kennt

Andreas, Michael, Christian, Stefan, Thomas und Peter: Das sind laut einer Untersuchung der AllBright-Stiftung aus dem Jahr 2024 die häufigsten Namen in der Chefetage deutscher Unternehmen. Die Folge davon ist: Es entsteht der Eindruck, dass Menschen in Führungspositionen nur männlich sein können – wohl wissend, dass es ebenso viele hervorragend qualifizierte Frauen gibt. 

Diesen Eindruck machte auch ein bei Amazon bereits im Jahr 2014 entwickeltes und eingesetztes automatisiertes Recruitingsystem. Eigentlich sollte es die besten Bewerbenden in einem männlich dominierten Umfeld herausfiltern. Die unerwünschte Folge war, dass die Künstliche Intelligenz (KI) Frauen systematisch benachteiligte, da der Algorithmus mit Daten von angenommenen Bewerbenden der vergangenen Jahre trainiert wurde, die überwiegend männlich waren. 

Haben Frauen also schlechtere Chancen auf dem Arbeitsmarkt, wenn KI-Recruitingsysteme eingesetzt werden, die auf Grundlage einer diskriminierenden Datenlage trainiert werden? Das Beispiel zeigt besonders zum anstehenden Internationalen Frauentag am 8. März, dass wir im Umgang mit KI in Bezug auf das Thema Gleichstellung an einem Scheideweg stehen: Entweder wir setzen die bestehende Diskriminierung von Frauen durch KI in der Gesellschaft fort oder ergreifen jetzt die Chance, Diskriminierung zu durchbrechen. 

Von analoger Welt ins Digitale: KI reproduziert Ungleichheiten

Algorithmen selbst treffen keine autonomen, diskriminierenden Entscheidungen, sondern diese basieren auf dem Training von Daten. Dieses Training findet anhand der Datenlage zu bestehenden gesellschaftlichen Strukturen statt, einschließlich der Ungleichheiten und Stereotype, die sich darin etabliert haben. Die KI reproduziert daher durch das Training die gesellschaftlichen Ungleichheiten in die digitale Gesellschaft hinein. Was in der analogen Welt gilt, setzt sich also in der digitalen fort – oft in verstärkter Form. Sofern Algorithmen marginalisierte Gruppen benachteiligen, liegt ein Verstoß gegen Art. 3 Abs. 1 und Abs. 3 Grundgesetz (GG) vor. 

In Art. 3 Abs. 3 GG heißt es: "Niemand darf wegen seines Geschlechtes, seiner Abstammung, seiner Rasse, seiner Sprache, seiner Heimat und Herkunft, seines Glaubens, seiner religiösen oder politischen Anschauungen benachteiligt oder bevorzugt werden. Niemand darf wegen seiner Behinderung benachteiligt werden." Diskriminierung von Frauen kann direkt oder indirekt erfolgen. Während direkte Diskriminierung eine offen ungleiche Behandlung darstellt, entsteht indirekte Diskriminierung durch eine vermeintlich "neutrale" Praxis, deren Wirkung jedoch diskriminierend ist. Zwar bindet Art. 3 Abs. 3 GG nur den Staat unmittelbar. Aufgrund der mittelbaren Drittwirkung von Grundrechten sind Unternehmen jedoch durch einfachgesetzliche Regelungen verpflichtet, Diskriminierung zu vermeiden. 

Mit der Entwicklung automatisierter Systeme ist fraglich, ob die einfachgesetzlichen Regelungen wie das AGG beim Schutz von Frauen vor Diskriminierung Schritt halten können. Die Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, machte 2023 den Vorschlag, einen Schutz vor Diskriminierung durch künstliche Intelligenz in das Allgemeine Gleichbehandlungsgesetz (AGG) aufzunehmen. Bislang ist wenig passiert. Fraglich bleibt, ob der Gesetzgeber seiner Pflicht ausreichend nachkommt, wirksame Regelungen zu schaffen, die einer automatisierten Diskriminierung entgegenwirken. Die Lücken im bestehenden Rechtsrahmen zeigen sich beispielhaft beim automatisierten Recruiting, etwa wenn, wie bei dem Beispiel zu Amazon, bei der Bewerbendenauswahl auf eine automatisierte Auswahl zurückgegriffen wird und die Entscheidung für einen Bewerbenden ausschließlich auf dieser algorithmischen Entscheidung beruht. 

KI-VO und DSGVO als Lückenfüller des AGG

Das AGG jedenfalls ist für den Schutz gegen Diskriminierung durch automatisierte Systeme lückenhaft. Teilweise sollen die KI-Verordnung (KI-VO) sowie die Datenschutz-Grundverordnung (DSGVO) Hilfestellung leisten. Grundsätzlich ist z.B. automatisiertes Recruiting, das Frauen benachteiligt, nach § 7 AGG wegen des verletzten Merkmals des "Geschlechts" unzulässig. Die Rechtsdurchsetzung scheitert aber häufig. So ist es für die Bewerbenden, insbesondere betroffene Bewerberinnen, schwierig bis unmöglich, den erforderlichen Nachweis der Diskriminierung gem. § 22 AGG zu erbringen, also zu zeigen, dass sie einen Job aufgrund eines diskriminierenden automatisierten Recruitingssystems nicht erhalten haben. 

Sofern die Entscheidung vollständig auf der automatisierten Recruitingauswahl beruht und Frauen benachteiligt werden, wäre ein solches System unzulässig. Wenn hingegen eine Vorauswahl durch ein automatisiertes Recruitingsystem erfolgt und die letzte Entscheidung von einem Menschen getroffen wird, wäre wünschenswert, dass der Einsatz und die Funktionsweise des automatisierten Recruitingsystems transparent gemacht werden. Eine Pflicht besteht bislang nicht. 

In einigen Fällen kann Art. 22 DSGVO Schutz bieten: Demnach hat eine betroffene Person das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich des sog. Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtlicher Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.

Bonität und Gender-Pay-Gap: Frauen pauschal schlechter bewertet

Neben dem Beispiel des automatisierten Recruitings existiert automatisierte Diskriminierung im Finanzsektor, wie die Bundesaufsicht für Finanzen (BaFin) festgestellt hat. Auch hierbei ist die Datenlage entscheidend, anhand derer die automatisierten Systeme trainiert werden – so lag der Gender-Pay-Gap 2025 bei 16 Prozent. Entsprechend ist es möglich, dass KI Frauen aufgrund dessen pauschal eine schlechtere Bonität attestiert als Männern. Daher sollten eingesetzte Algorithmen im Finanzsektor transparent gestaltet werden.

Bereits 2014 hatte eine Frau die SCHUFA verklagt, weil diese die Bonität der Frau schlechter einstufte als die ihres Mannes, trotz einer vergleichbaren finanziellen Situation. Wie genau die schlechtere Einstufung zustande kam, ist nicht bekannt, da der Bundesgerichtshof ebenfalls 2014 entschied, dass dies dem Geschäftsgeheimnis der SCHUFA unterliegt. Es ist aber infrage zu stellen, ob es bei dieser Entscheidung aufgrund der rechtlichen Entwicklung bleiben wird. Der Europäische Gerichtshof hat im Jahr 2023 entschieden, dass der Scorewert der SCHUFA unter den Anwendungsbereich des Art. 22 DSGVO fallen kann, sofern eine Entscheidung maßgeblich auf einer automatisierten Verarbeitung  beruht. Hierbei ist der Einzelfall zu berücksichtigen. 

Ein solch praktischer Fall löste sich in den USA nunmehr durch einen Vergleich. Eine Frau erhielt eine Absage für ein Apartment, weil der verwendete sog. SafeRent-Algorithmus die Bewerbung als Kandidatin für die Wohnung ablehnte. Die KI gab ihr einen niedrigeren Score aufgrund ihrer Geringverdiener-Stellung, als sie für ihre Bewerbung für die Wohnung gebraucht hätte – und das, obwohl sie eine Mietschuldenbefreiung ihres bisherigen Vermieters von 17 Jahren Mitschuldenfreiheit beigebracht hatte. Daraufhin verklagte die Frau SafeRent im Jahr 2022. Ende 2024 kam es zu einer Einigung von 2,3 Millionen Dollar. Deutlich wird anhand dieses Falls, wie maßgeblich automatisiertes Scoring in den Lebensalltag eingreifen kann. Der Gender-Pay-Gap zeigt, dass Frauen ein niedriges Einkommen haben und KI- Systeme aufgrund dieser Datenlage Frauen eine geringere Bonität zuweisen. Besonders an dem Fall SafeRent ist, dass die Kategorisierung des Algorithmus für die Entscheidung des Scores transparent gemacht wurde. Daran fehlt es bei dem SCHUFA-Scoring bislang. 

Vor diesem Hintergrund bietet die KI-VO ergänzenden Schutz durch den risikobasierten Ansatz: Je höher das Diskriminierungspotenzial eines KI-Systems ist, desto strengeren Vorgaben unterliegt es. 

KI-VO: Vermeidung datenbedingter Bias

Grundsätzlich sind KI-Systeme mit einem nicht hinnehmbaren Risiko – etwa Social-Scoring-Systeme, bestimmte biometrische Kategorisierungen oder Emotionserkennung am Arbeitsplatz – verboten (Art. 5 KI-VO). Hintergrund ist, dass sie erhebliche Risiken für Gleichbehandlung und Grundrechte bergen. Bei Hochrisiko-KI (Art. 6 KI-VO) – etwa KI, die im Personalwesen, bei Kreditwürdigkeitsprüfungen oder im Bildungsbereich eingesetzt wird – sind umfassende Anforderungen an Risikomanagement, Datenqualität, Transparenz und menschliche Aufsicht zu beachten (Art. 8 ff. KI-VO). Insbesondere müssen Trainings- und Testdaten repräsentativ, fehlerarm und möglichst frei von Verzerrungen sein, um datenbedingte Bias zu vermeiden (Art. 10 KI-VO). Transparenzpflichten für KI-Systeme mit geringen Risiken (Art. 50 KI-VO) – etwa Chatbots – ermöglichen Betroffenen, Diskriminierungen zu erkennen und ihre Rechte wahrzunehmen. Ergänzend sollen Grundrechte-Folgenabschätzungen sowie Dokumentations-, Kontroll- und Beschwerdemechanismen den präventiven und nachträglichen Schutz vor diskriminierenden KI-Entscheidungen stärken.

Deepfakes: KI produziert selbst Diskriminierung

Dass KI-Systeme auch diskriminierende Inhalte herstellen können, zeigen sog. Deepfakes. Nahezu ausnahmslos bilden nicht einvernehmliche sexualisierte Deepfakes Frauen ab. Mit gravierenden Folgen: Betroffene erfahren aufgrund der sexualisierenden Objektivierung einen Kontrollverlust, etwa durch Reputationsschäden und speziell durch die unkontrollierbare Verbreitung im virtuellen Raum. Infolgedessen ziehen sich Frauen aus dem virtuellen Raum zurück, was zu dem sog. Silencing-Effekt führt. Deepfakes verletzen das allgemeine Persönlichkeitsrecht aus Art. 2 Abs. 1 GG i. V. m. Art. 1 Abs. 1 GG, das Recht am eigenen Bild und das Recht auf informationelle Selbstbestimmung – sowie das Recht auf Nichtdiskriminierung aus Art. 3 Abs. 1, 3 GG. 

Schlagzeilen machte jüngst der auf einem generativen Large-Language-Model basierende Chatbot "Grok" der Plattform X. Anfang des Jahres 2026 wurde bekannt, dass zahlreiche Nutzende die Bildbearbeitungs- und Bilderstellungsfunktion des Chatbots missbrauchten, um Fotos von Frauen und Minderjährigen digital zu entkleiden, um somit manipulierte, sexualisierende Versionen der Aufnahmen zu erstellen. Die so erzeugten Deepfakes wurden anschließend öffentlich auf X verbreitet. Es fehlte an entsprechenden Schutzmechanismen in dem Chatbot, die einen solchen Missbrauch hätten verhindern können. Nach dem Rechtsideal können aufgrund der bestehenden Regelung der KI-VO und des Digital Service Acts (DSA) auch die Anbietenden solcher Chatbots zur Verantwortung gezogen werden. Ob die Regelungen konsequent umgesetzt werden, bleibt abzuwarten. Regulierung darf nicht erst reagieren, wenn sich massenhafte Rechtsverletzungen etabliert haben. Nicht einvernehmliche sexualisierte Deepfakes dürfen nicht als polarisierende Inhalte dem Geschäftsmodell dienen.

Wenn Diskriminierung systemisch entsteht, muss auch das Recht systemisch reagieren. Die Gesellschaft steht an einem Scheideweg. Wird KI dazu genutzt, die bestehenden Ungleichheiten weiter zu verfestigen, oder wird sie genutzt, um diese zu durchbrechen? Die Chance, Diskriminierung zu bekämpfen und Gleichstellung in der digitalen Welt zu fördern, liegt nicht nur in der Hand des Gesetzgebers, sondern auch in der Hand der Unternehmen, bestehende Gesetze konsequent umzusetzen.

Die Autorinnen Dr. Saskia Ostendorff, Dr. Chiara Streitbörger, Alexandra Lorch und Jacqueline Sittig sind Mitglieder im Deutschen Juristinnenbund e.V. (djb) und dort Teil der Kommission Recht der digitalen Gesellschaft. Dr. Saskia Ostendorff ist Rechtsanwältin und General Counsel bei Wikimedia Deutschland e.V. Dr. Chiara Streitbörger ist wissenschaftliche Mitarbeiterin und Habilitandin an der Universität Potsdam am Lehrstuhl für Bürgerliches Recht, Handels- und Wirtschaftsrecht. Alexandra Lorch ist wissenschaftliche Mitarbeiterin und Doktorandin an der TU Dresden im Schaufler Lab@TU Dresden.