KIDS Act: EU-Kommission will Kinder vor KI-Freunden schützen: Chat­bots reden zu men­sch­lich, das ist ein Pro­blem

Millionen Menschen sprechen täglich mit KI-Chatbots über Dinge, die sie sonst niemandem erzählen. Companionship könnte inzwischen der verbreitetste Anwendungsfall generativer KI überhaupt sein, auch bei KI-Systemen mit allgemeinem Verwendungszweck wie ChatGPT.

Dass daraus erhebliche Risiken folgen und die KI-Verordnung (KI-VO) sie kaum adressiert, wurde auf LTO bereits dargelegt. Das Europäische Parlament fordert deshalb eine EU-weite Altersgrenze für AI Companions und verbindliche Vorgaben für ein altersgerechtes Sicherheitsniveau.

Mit dem am 17. September vorgeschlagenen EU Keeping Internet Digital Spaces Accountable and Trustworthy Act (KIDS Act) kommt die EU-Kommission dem zumindest teilweise nach. Neben Regeln insbesondere für soziale Netzwerke, App-Stores, Videospiele und Video-Sharing-Plattformen enthält der Entwurf erstmals Pflichten für die Anbieter von AI Companions und allgemeinen Chatbots. Wer solche Systeme anbietet, muss sie künftig anders bauen – und das dürfte deutlich mehr Anbieter treffen, als auf den ersten Blick zu vermuten ist.

Nahezu jeder KI-Chatbot ist erfasst

Die AI Companion-Definition in Art. 3 Abs. 5 Buchst. c KIDS Act ist sehr weit. Sie erfasst als "KI-Begleiter" auch ein KI-System mit allgemeinem Verwendungszweck, "das eine dauerhafte, personalisierte Interaktion oder Begleitung bietet, die eine soziale, emotionale oder zwischenmenschliche Beziehung zu einem Nutzer simuliert oder erleichtert". Das können spezialisierte KI-Systeme wie Replika sein, bei denen man sich einen KI-Freund oder eine KI-Freundin designen kann, aber auch die üblichen Chatbots wie ChatGPT, Claude, Gemini oder DeepSeek.

Der Entwurf belässt es nicht dabei, dass allgemeine KI-Systeme als KI-Begleiter gelten können, sondern definiert in Art. 3 Abs. 5 Buchst. d KIDS Act zusätzlich allgemein dialogbasierte Chatbots als "ein KI-System mit allgemeinem Verwendungszweck mit allgemeinen Gesprächsfunktionen für die direkte Interaktion mit Nutzern, das in der Lage ist, Unterstützung über mehrere Bereiche und Aufgaben hinweg zu bieten". Ausgeschlossen sind nur Chatbots, deren Konversationsfähigkeiten auf eine spezielle Aufgabe beschränkt sind – etwa Kunden- oder Tech-Support oder bestimmte Lernanwendungen. Die Definition ist ebenfalls so weit, dass sie alle großen KI-Chatbots erfasst.

Beide Definitionen greifen ineinander: Die Bereichsausnahme für Chatbots, die auf bestimmte Aufgaben begrenzt sind, steht nur bei den allgemeinen Chatbots, und die Companion-Definition setzt kein allgemeines KI-System voraus. Ein spezialisierter Chatbot entgeht damit zwar Buchstabe d, kann aber über Buchstabe c erfasst sein, sobald er dauerhafte, personalisierte Interaktion bietet – ein Lernassistent mit Gedächtnis etwa. Auch durch AGB lässt sich das nicht umgehen. Maßgeblich sind die Systemfunktionen, und Art. 4 KIDS Act untersagt Umgehungen, auch auf vertraglichem Weg. Welcher Kategorie ein Chatbot zuzuordnen ist, spielt also kaum eine Rolle – es genügt, dass er unter eine von beiden fällt.

Weit gefasst – und deshalb unscharf

Dass der Entwurf auch allgemeine KI-Chatbots erfasst, ist die richtige Grundentscheidung. Die Empirie spricht dagegen, AI Companions und allgemeine KI-Chatbots als getrennte Phänomene zu behandeln: Auch zu allgemeinen KIs bauen Nutzer oft eine soziale oder emotionale Beziehung auf. Dieser Definitionsansatz macht den Anwendungsbereich technik- und zukunftsoffen.

Diese Offenheit hat aber einen Preis: Wer ein KI‑System anhand schwer quantifizierbarer Fähigkeiten definiert und nicht aufgrund objektiv messbarer technischer Merkmale, kann keine trennscharfen Grenzen ziehen. Was eine "anhaltende, personalisierte Interaktion" ist oder wann ein System "Begleitung" bzw. "companionship" bietet, lässt sich kaum eindeutig vorhersehbar beantworten – weder für Anbieter noch für Aufsichtsbehörden. Besonders misslich: Der Begriff "companionship" taucht im gesamten Entwurf genau einmal auf, nämlich in der Definition selbst.

Sinnvoll wäre es daher, wenn der Verordnungsgeber die Kommission ermächtigen würde, die Verordnung anhand der technischen Entwicklung nachzuschärfen – so wie sie es nach Art. 7 KI-VO für den Hochrisiko-Katalog des Anhangs III darf. Es ist auch nicht einleuchtend, warum man überhaupt zwei Kategorien bildet, wenn es keine einzige Regelung gibt, die für AI Companions gilt, aber nicht für allgemeine KI-Chatbots oder umgekehrt. Dies gilt umso mehr, als die Trennung in zwei Kategorien dazu einladen könnte, später doch rechtsfolgenseitig zwischen beiden Chatbot-Typen zu differenzieren. Das wäre angesichts ihrer vergleichbaren Risiken für Minderjährige verfehlt.

Diese sechs Maßnahmen müssen KI-Anbieter umsetzen

Art. 14 Abs. 1 KIDS Act verpflichtet Anbieter von AI Companions und allgemeinen Chatbots zu angemessenen und wirksamen Maßnahmen für ein hohes Schutzniveau und enthält zudem eine nicht abschließende Liste mit sechs Mindestanforderungen an das Design. Geschützt werden Gesundheit, Sicherheit, Grundrechte sowie Wohlergehen und Entwicklung von Minderjährigen, die auf das System zugreifen können. Es genügt der mögliche Zugriff. Ein Produkt muss sich nicht an Minderjährige richten.

Drei der Maßnahmen greifen besonders tief in die Produktgestaltung ein. Erstens dürfen Anbieter nach Art. 14 Abs. 1 Buchst. a keine Designmerkmale und kein Systemverhalten einsetzen, die zwischenmenschliche Beziehungen so simulieren, dass wahrscheinlich emotionale Abhängigkeiten entstehen. Hinzu kommen zeitlich begrenzter Zugang und Nutzungsunterbrechungen, die Schulzeit und Kernschlafzeiten schützen sollen. Zweitens müssen Langzeitgedächtnisfunktionen im Grundsatz standardmäßig deaktiviert sein. Gleiches gilt für Standortzugriff, Mikrofon, Kamera und Push-Benachrichtigungen. Drittens darf die Gestaltung nicht zu impulsivem Geldausgabeverhalten verleiten, etwa bei In-App-Käufen; variable Belohnungssysteme sind untersagt.

Art. 14 legt drei weitere Maßnahmen fest: Unter-13-Jährige sollen nur dann Zugriff haben, wenn Werkzeuge für Erziehungsberechtigte, Prüfungen vor der Markteinführung und eine laufende Marktbeobachtung samt Reaktion auf schwerwiegende Vorfälle vorgesehen sind. Letztere dürfte die aufwendigste Pflicht sein, kleine Unternehmen sind davon ausgenommen. Die Liste ist ein Mindestmaß – wer die sechs Punkte abarbeitet, hat seine Pflichten nicht zwingend erfüllt. Besonderheiten gelten, wenn AI Companions in andere erfasste Produkte oder Dienste integriert sind.

Simuliert der ChatBot schon eine Beziehung, wenn er mitfühlend antwortet?

Wie die KI-Anbieter die Anforderungen konkret umsetzen könnten, ist noch nicht klar. Menschenähnliche Avatare oder die Inszenierung als Freund oder Partner lassen sich leicht entfernen. Beziehungen entstehen aber auch durch das Antwortverhalten selbst: etwa, wenn ein Chatbot stets zugewandt und mitfühlend antwortet, dem Nutzer beipflichtet ("Sycophancy") oder sich selbst menschliche Gefühle zuschreibt. Das ist modernen Sprachmodellen in gewissem Maße funktionsinhärent: Weil sie darauf trainiert sind, kontextadäquat auf menschlichen Input zu reagieren, wirken ihre Antworten auf Gefühlsäußerungen regelmäßig mitfühlend.

Im Post-Training wird das durch Lernen mit menschlichem Feedback oft noch verstärkt, weil zugewandte und zustimmende Antworten tendenziell besser bewertet werden. Ein "Ich verstehe, wie du dich fühlst" oder Ähnliches lässt sich auch kaum zuverlässig aus dem Output wegfiltern, weil die Vielfalt empathischer Ausdrucksweisen dafür zu groß ist. Legt man die Pflicht streng aus, müssten Anbieter also schon beim Training des Sprachmodells ansetzen, etwa indem sie nüchterne statt empathische Antworten belohnen.

Welche dieser Pflichten ein Chatbot-Anbieter erfüllen kann, hängt zudem von seiner Rolle in der Wertschöpfungskette ab. OpenAI, Anthropic oder Google trainieren die Sprachmodelle hinter ihren Chatbots selbst. Viele Chatbot-Anbieter bauen hingegen auf Modellen anderer Unternehmen auf, die sie über API-Schnittstellen oder als frei verfügbare Modelle, etwa über Hugging Face, nutzen.

In diesem Fall kann der Chatbot-Anbieter zwar regeln, ob Gesprächsverläufe gespeichert, menschenähnliche Avatare genutzt und Nutzungszeiten begrenzt werden. Bei der Kernpflicht aus Art. 14 Abs. 1 Buchst. a sowie bei den Evaluierungs- und Marktbeobachtungspflichten stößt er aber an Grenzen. Hinzu kommt, dass ein Update des Modellanbieters eine zuvor rechtskonforme Konfiguration jederzeit kippen kann. Weil der KIDS Act keine unmittelbaren (Mitwirkungs-)Pflichten für die Modellanbieter enthält, werden Chatbot-Anbieter von ihnen wohl künftig vertragliche Zusicherungen und Dokumentationen verlangen: zur Begrenzung anthropomorpher Ausgaben, zum Zugang zu Evaluierungsergebnissen und zu rechtzeitigen Hinweisen auf Modelländerungen.

Werden Minderjährige ausgeschlossen, weil Anbieter das Design nicht umsetzen können?

Wer kein eigenes Sprachmodell entwickelt und keine belastbaren Zusicherungen erhält, dem bleibt im schlimmsten Fall nur, Minderjährige auszuschließen. Weil schon der mögliche Zugriff genügt, setzt das eine wirksame Altersverifikation voraus. Der KIDS Act könnte dadurch ungewollt gerade Großanbieter stärken, die ihre Modelle selbst anpassen und sich aufwendige Altersverifikation leisten können.

Durchgesetzt werden die Regeln über die KI-VO: Verstöße können Geldbußen bis zu 6 Prozent des weltweiten Jahresumsatzes nach sich ziehen. Der Katalog des Art. 14 Abs. 1 ist ein Mindestmaß, das die Kommission per delegiertem Rechtsakt erweitern kann; hinzu kommen Verhaltenskodizes und eine regelmäßige Überprüfung. Wer heute prüft, ob sein Produkt die genannten Punkte erfüllt, hat die Frage also nur für heute beantwortet.

Der Entwurf geht nun an Parlament und Rat. Einig ist man sich darin, dass eine Regulierung notwendig ist. Die Reichweite der Pflichten und auch, ob tatsächlich KI-Chatbots mit allgemeinem Verwendungszweck erfasst werden sollten, dürften aber – ähnlich wie bei Parallelvorhaben in den USA – für kontroverse Diskussionen sorgen.

Dipl.-Jur. Tarmio Frei, LL.B. ist wissenschaftlicher Mitarbeiter an der Juniorprofessur für Bürgerliches Recht, Immaterialgüterrecht sowie Recht und Digitalisierung (Prof. Dr. Linda Kuschel, LL.M. [Harvard]), Bucerius Law School, Hamburg, und promoviert zur Regulierung von AI Companions.

 

Natalia Filkina ist Rechtsanwältin und Senior Associate bei Norton Rose Fulbright LLP in Frankfurt am Main. Sie berät im Bereich Technologie & Innovation, unter anderem zu Datenschutz, Software-Lizenzierung und KI-Regulierung.