Regulierung von AI Companions: Wenn künst­liche Liebe gefähr­lich wird

Was in Filmen wie "Her", in dem der Protagonist sich in das KI-Betriebssystem 'Samantha' verliebt und eine emotional intime Beziehung zu diesem aufbaut, noch Science Fiction war, ist heute Realität: AI Companions – das sind KI-Chatbots, die menschenähnliche sozial-emotionale Beziehungen simulieren – begleiten viele Millionen Menschen als Freund, romantischer Partner oder Therapeut.

Ob spezialisierte Anwendungen wie Replika oder allgemeine Systeme wie ChatGPT: Sie sind jederzeit verfügbar, reagieren scheinbar empathisch, passen sich ihren Nutzern an und speichern deren Vorlieben. Die Vorteile liegen auf der Hand. AI Companions können soziale und emotionale Unterstützung bieten, intime Interaktionen ermöglichen, Stress reduzieren oder Einsamkeit lindern. 

Zugleich werden die Risiken immer deutlicher. AI Companions können emotionale Abhängigkeiten erzeugen, Verhalten beeinflussen und die mentale Gesundheit belasten. Hinzu kommt die weitreichende Preisgabe sensibler, oft intimer Daten durch die Nutzer. Außerdem besteht die Gefahr, dass bestehende Biases reproduziert werden und die Systeme unangemessene Inhalte erzeugen, von beleidigenden bis hin zu sexuell expliziten Antworten. Gerade vulnerable Nutzergruppen, etwa Minderjährige oder Personen mit psychischer Vorbelastung, könnten verstärkt beeinträchtigt werden. Vermehrt kommt es sogar zu Suizidfällen, die mit AI Companions in Verbindung stehen. 

Global wachsender Regulierungsdruck 

Weltweit wächst deshalb der Regulierungsdruck. Insbesondere Kalifornien und New York führten 2025 erste Spezialregeln ein. Sie verpflichten Anbieter vor allem zu Hinweisen darauf, dass Nutzer mit einer KI interagieren, und zu Verweisen auf Hilfsangebote bei Suizidgedanken.  

Auf US-Bundesebene werden zudem Altersverifikationen und ein Verbot für Minderjährige diskutiert. Besonders weit geht ein Gesetzentwurf aus North Carolina: Er sieht umfassende Treue- und Sorgfaltspflichten vor, etwa im Umgang mit emotionaler Abhängigkeit, Krisensituationen, Datenschutz und manipulativen Designmechanismen. Diese verpflichten Anbieter dazu, die Interessen der Nutzenden aktiv zu schützen. Parallel laufen erste Klagen, mit denen Anbieter etwa für Suizidfälle in Haftung genommen werden. 

China geht noch weiter. Die ab Juli 2026 geltenden Regeln verlangen unter anderem eine gesonderte Einwilligung für die Nutzung von Daten zur Systemverbesserung, die Erfassung von Alter, gesetzlichen Vertretern und Notfallkontakten sowie Meldepflichten bei erkannten Suizidrisiken. Anbieter müssen regelmäßig darauf hinweisen, dass es sich um eine KI handelt. Für Minderjährige gelten zusätzliche Schutzmechanismen, bis hin zu Verboten, insbesondere virtueller romantischer Beziehungen, und verpflichtende Einwilligungen der Eltern für andere Formen von AI Companions. 

Europa reguliert, aber am Problem vorbei 

Die Europäische Union hat mit der KI-Verordnung (KI-VO) einen risikobasierten Rechtsrahmen geschaffen. Für AI Companions greift er jedoch kaum.  

Zwar können extreme Fälle unter die Verbote manipulativer oder ausbeuterischer KI-Praktiken fallen (Art. 5 Abs. 1 lit. a und b KI-VO), wenn simulierte Empathie gezielt genutzt wird, um emotionale Abhängigkeiten oder suchtähnliches Verhalten zu fördern. Gleiches gilt, wenn die Vulnerabilität von Kindern über einen AI Companion ausgenutzt wird, um ungesunde Bindungen zu forcieren, die die soziale oder emotionale Entwicklung beeinträchtigen. Das setzt aber voraus, dass ein erheblicher Schaden wahrscheinlich ist – eine hohe Hürde, die juristisch schwierig zu nehmen ist. 

Auch eine Einordnung als Hochrisiko-KI-Systeme, die strengen Regelungen unterliegen, wird meist abgelehnt, weil AI Companions nicht ausdrücklich als eigene Hochrisiko-Kategorie genannt werden, auch wenn auch Ausnahmen denkbar sind, wenn therapeutische Funktionen übernommen oder biometrische Daten zur Emotionserkennung genutzt werden. 

In der Praxis bleiben vor allem Transparenzpflichten aus Art. 50 Abs. 1 KI-VO. Nutzer sollen wissen, dass sie mit einer KI sprechen. Doch genau hier liegt das Problem: Transparenz schützt nicht zuverlässig vor den Risiken. Der Eliza-Effekt führt dazu, dass Menschen KI-Systemen auch dann Empathie zuschreiben, wenn sie deren künstliche Natur kennen. Gerade in emotionalen Situationen verliert der Hinweis „Ich bin eine KI“ schnell an Wirkung, mitunter stärkt er das Vertrauen sogar. 

Hinzu kommt: Die Hinweispflicht entfällt, wenn die künstliche Natur „offensichtlich“ ist. Bei bekannten Anwendungen (z. B. ChatGPT) oder personalisierten AI Companions (etwa Replika) dürfte die Transparenzpflicht daher oft leerlaufen. 

EU-Parlament fordert strengere Regeln 

Das EU-Parlament fordert daher eine explizite Aufnahme von AI Companions in den Hochrisikokatalog sowie eine Altersgrenze von grundsätzlich 16 Jahren. Ob das reicht, ist fraglich. Die Hochrisiko-Regeln zielen nicht auf die besonderen Gefahren langfristiger, emotionaler Mensch-KI-Beziehungen. Altersgrenzen können Kinder schützen, erfordern aber eingriffsintensive Verifikationsverfahren, lassen andere Nutzergruppen unberücksichtigt und blockieren die Vorteile solcher Systeme. 

Das Kernproblem liegt tiefer: Die bestehende Regulierung denkt in klar abgrenzbaren Risiken und Vulnerabilitäten. AI Companions funktionieren aber anders. 

Ihre Gefahren entstehen nicht punktuell, sondern in Beziehungen. Sie entwickeln sich in komplexen relationalen Dynamiken über Zeit und hängen von zahlreichen nutzerspezifischen Faktoren ab: Alter, kognitiven und sprachlichen Fähigkeiten, mentaler Gesundheit, bis hin zur konkreten Nutzungssituation und dem sozialen Umfeld. In dieser Dynamik ist jeder Nutzer relational vulnerabel. 

Zugleich besteht ein strukturelles Machtgefälle: Profitorientierte Anbieter kontrollieren Interaktion und Beziehungspartner vollständig. Sie können Verhalten steuern, Bindungen verstärken oder beenden und Nutzer zur Preisgabe sensibler Daten bewegen – ohne echte Gegenwehrmöglichkeiten. Wer AI Companions regulieren will, muss daher weniger die Technik isoliert betrachten als die Beziehungen, die sie schaffen. 

Welche Regulierungsoptionen die EU jetzt hat

Will die EU diese relationalen Vulnerabilitäten ernst nehmen, reichen punktuelle Anpassungen nicht. Die folgenden Impulse, die sich gegenseitig ergänzen können, zeigen, wohin die Diskussion gehen könnte. 

Erstens: Transparenz neu denken 

Die bisherigen Pflichten greifen zu kurz. Unternehmen sollten klar und verständlich offenlegen müssen, dass AI Companions weder Bewusstsein noch Gefühle haben. Nicht nur einmalig, sondern situationsbezogen – etwa bei besonders emotionalen Gesprächen.  

Zweitens: Designpflichten gegen Manipulation und Abhängigkeit 

Der Gesetzgeber könnte Designpraktiken einschränken, die gezielt Bindung oder Nutzung steigern, etwa variable Belohnungssysteme oder übermäßige Vermenschlichung. Gegen Designpraktiken, die Nutzer zu übermäßiger Selbstpreisgabe verleiten sollen, gibt es entsprechende Vorgaben bereits in Art. 25 DSGVO. 

Drittens: Risikobewertung, -minimierung und Krisenintervention 

Unternehmen könnten verpflichtet werden, systematisch zu prüfen, wie ihre Systeme auf Nutzer wirken, und identifizierte Risiken aktiv zu begrenzen, insbesondere mit Blick auf Abhängigkeit, mentale Gesundheit und problematische Interaktionsmuster. Vor allem in Krisensituationen, etwa bei Suizidgedanken, sollten klare Pflichten gelten, wie es Kalifornien und New York bereits vorschreiben. 

Viertens: Alters- und Schutzkonzepte mit Augenmaß 

Altersgrenzen können sinnvoll sein, sollten aber nicht isoliert stehen. Vorzugswürdig sind kombinierte Ansätze, wie eine altersgerechte Gestaltung, elterliche Kontrollmöglichkeiten und abgestufte Schutzmechanismen. 

Fünftens: Treue- und Sorgfaltspflichten für Anbieter 

Treue- und Loyalitätspflichten für Unternehmen könnten untersagen, Systeme gezielt auf emotionale Abhängigkeit oder Selbstpreisgabe auszurichten oder Nutzerinteressen wirtschaftlichen Zielen unterzuordnen. Angesichts der relationalen Vulnerabilitäten und der strukturellen Abhängigkeitsverhältnisse wäre ein solcher „digitaler Treuhandansatz“ eine Option. Insbesondere böte er Flexibilität, um dynamischen technologischen und ökonomischen Gesichtspunkten genauso Rechnung zu tragen wie neuen empirischen Erkenntnissen zu Risiken und Potenzialen solcher Systeme. 

Regulieren, bevor sich Modelle verfestigen 

Noch besteht die Chance, die Gestaltung von AI Companions aktiv zu prägen, bevor sich Geschäftsmodelle und soziale Praktiken verfestigen. 

Die EU sollte diese Chance nutzen. Wer digitale Intimität primär mit Transparenzpflichten reguliert, greift zu kurz. Gefragt ist ein Ansatz, der die relationale Vulnerabilität in Mensch-KI-Beziehungen ernst nimmt und klare, empirisch informierte Leitplanken für eine verantwortungsvolle Nutzung setzt.

Dipl. Jur. Tarmio Frei, LL.B. ist wissenschaftlicher Mitarbeiter an der Juniorprofessur für Bürgerliches Recht, Immaterialgüterrecht sowie Recht und Digitalisierung (Prof. Dr. Linda Kuschel, LL.M. [Harvard]), Bucerius Law School, Hamburg, und promoviert zur Regulierung von AI Companions.

 

Dipl. Jur. Greta Sparzynski, LL.B. ist wissenschaftliche Mitarbeiterin am Center for Transnational IP, Media and Technology Law and Policy an der Bucerius Law School, Hamburg, und promoviert zur Pastiche-Schranke.

 

 

 

Dr. Darius Rostam, LL.M. (NYU) ist geschäftsführender Direktor des Centers for Transnational IP, Media and Technology Law and Policy an der Bucerius Law School, Hamburg, und Habilitand an der Universität Bonn.

 

 

 

Alle Autoren haben zu gleichen Teilen mitgewirkt.