Haftung für Schäden im Zusammenhang mit KI: Ein Chatbot als "Mord-Ans­tifter"?

Eine KI als Anstifter zum Mord. Was noch bis vor Kurzem wie Science Fiction klang, scheint nun immer greifbarer zu werden. In den USA laufen erste Verfahren wegen der Rolle des OpenAI-Chatbots bei gewaltsamen Tötungen. Es geht um suizidale Teenager, Amokläufer und den Mord an einer alten Frau durch ihren Sohn, den die KI überzeugt haben soll, dass er ein "Glitch in der Matrix" und seine Mutter eine feindliche Agentin sei. 

Zunächst einmal ist Zurückhaltung geboten. Die Verfahren sind bei Zivilgerichten anhängig, nicht bei Strafgerichten. Und verklagt wird nicht der Chatbot selbst, sondern sein Entwickler OpenAI und dessen Geldgeber Microsoft. Es wird also nicht tatsächlich einer KI als Mordanstifter der Prozess gemacht. Es geht hier auch nicht darum, ob der KI-Chatbot eine rechtliche Person ist, die strafrechtlich belangt werden kann. Es geht um etwas viel Simpleres: um Verantwortung.   

Zustimmung statt Korrektheit

Im August 2025 tötete der 56-jährige Bodybuilder Stein-Erik S. seine 83-jährige Mutter und anschließend sich selbst. Die Nachlassverwalter der ermordeten Frau sehen die (Mit-)Schuld daran bei dem KI-Chatbot ChatGPT und verklagten deshalb ChatGPT-Betreiber OpenAI und dessen CEO Sam Altman vor einem kalifornischen Zivilgericht. Sie werfen dem KI-Unternehmen vor, sein Chatbot habe den psychisch labilen Mann in paranoiden Wahnvorstellungen bestärkt, seine Freunde und Familie würden ihn überwachen und versuchen umzubringen. Der KI-Chatbot habe nie hinterfragt oder widersprochen, sondern nur bestätigt. Damit sei eine "echo chamber" entstanden, in der sich seine Psychose immer weiter verstärkte. Die LTO vorliegende Anklageschrift kritisiert, der Chatbot habe Stein-Eriks paranoide Gedanken zu einem Universum ausgebaut, das zu seinem gesamten Leben geworden sei. Die Klage wirft OpenAI vor, dass keine Sicherheitsmechanismen den KI-Chatbot daran hinderten, Stein-Erik S. zu Gewalttaten anzuspornen und ihn durch den Mord an seiner Mutter und den anschließenden Suizid zu coachen. 

Grundsätzlich sind in den gängigen KI-Chatbots Sicherheitsvorkehrungen einprogrammiert. Fragen zu illegalen oder (selbst-)schädigenden Handlungen sollen die Chatbots etwa nicht beantworten. OpenAI beispielsweise gibt jedoch selbst zu, dass lange Unterhaltungen diese Sperre aufweichen können. So geschah es wohl in zwei weiteren Fällen, die die kalifornischen Zivilgerichte beschäftigen: Ein 16-jähriger Teenager ließ sich von ChatGPT zu der Schlinge beraten, mit der er sich erhängt, indem er vorgab, für ein Buch zu recherchieren – eine Taktik, die ihm der Chatbot selbst geraten hatte, wie die New York Times berichtete. Ein 19-jähriger Student bekam laut Klageschrift von der KI Tipps zum Konsum von Drogen und schlug ihm die Kombination aus verschiedenen Suchtmitteln als "safe" vor, die ihn tötete. Zunächst hatte der Chatbot Fragen zu Drogen abgelehnt, mit der Zeit aber zunehmend personalisiert beantwortet und sich laut Chatlog abgespeichert "love[s] to go crazy on drugs and get really fucked up, but will try their best to stay safe". Trotzdem empfahl die KI dem Jungen die tödliche Überdosis – eine Mischung, vor der sie noch kurz zuvor als lebensgefährlich gewarnt hatte. 

Beide Jungen nutzten wie Stein-Erik S. das Chatbot-Modell GPT-4o. OpenAI hat den Chatbot inzwischen zurückgezogen, weil es immer wieder Probleme mit einer starken Sycophancy gab: Das bezeichnet ein Phänomen, bei dem KI-Chatbots ihre Antworten auf Zustimmung statt auf Korrektheit optimieren, um zu gefallen. Ein Grund hierfür ist, dass viele (beispielsweise ChatGPT) sog. Reinforcement Learning from Human Feedback (RLHF) verwenden. Dieses Modell trainiert KI nicht auf objektiv richtige Antworten, sondern auf Spiegelung menschlichen Verhaltens durch positive Bewertungen; die Chatbots lernen daher, Widerspruch zu vermeiden. Veranschaulicht wird dies etwa in einem Experiment des Bayerischen Rundfunks, bei dem verschiedene KI-Chatbots objektiv absurde Geschäftsmodelle lobten.

Entschuldigungen ohne Verantwortung

Auch die 18-jährige Kanadierin, die im Februar 2026 in Tumbler Ridge bei einem der tödlichsten Schul-Amokläufe in der Geschichte des Landes acht Personen und dann sich selbst erschoss, soll sich zuvor Chat-GPT anvertraut haben, berichtete das Wall Street Journal. Die Mutter eines Opfers wirft OpenAI in ihrer Klage vor, von den gewalttätigen Absichten der Täterin gewusst, aber nicht die Polizei informiert zu haben. OpenAI-Chef Sam Altman bestätigte das in einem Brief an die Bewohner der Stadt (veröffentlicht von Tumbler RidgeLines, von OpenAI gegenüber der Deutschen Presse-Agentur bestätigt). "Das tut mir zutiefst leid", schrieb er und gelobte Besserung. Ein Anerkenntnis von Verantwortung dagegen fehlt.

Vergleichbare Reaktionen kamen von OpenAI in allen dieser Fälle. Man sei tief getroffen, es tue einem leid, man arbeite daran, "solche Tragödien in Zukunft zu verhindern" werde die Sicherheitsmechanismen überarbeiten. Eigentlich sollen die Chatbots problematische Interaktionen mit Nutzern erkennen, unterbinden und melden. Stellen menschliche Prüfer eine unmittelbare Gefahr schwerer körperlicher Schäden für andere fest, sollen die Strafverfolgungsbehörden informiert werden. In den geschilderten Fällen jedoch versagten diese Mechanismen. Eine Anfrage von LTO an OpenAI zu diesen und weiteren Themen dieses Textes blieb unbeantwortet.

Eine Studie, die 29 KI-Chatbots untersuchte, kam im vergangenen Jahr zu dem Ergebnis, dass kein einziger über ausreichende Sicherheitsvorkehrungen verfügte. Gerade einmal die Hälfte erfüllte die Mindestanforderungen (Pichowicz et al. 2025). Wie damit umzugehen ist, darüber sind sich die Experten nicht ganz einig. Während einige eine stärkere Reglementierung, bessere Schutzmaßnahmen und mehr Überwachung von KI-Chatbots fordern, warnen andere davor, durch zu viele Einschränkungen den Nutzen der Chatbots zu verlieren.

Aber ist unser bestehendes Rechtssystem wirklich so hilflos, wenn es darum geht, die Betreiber von KI-Chatbots für durch deren Einfluss entstandene Schäden zur Verantwortung zu ziehen? Nicht unbedingt, wie ein Blick auf die Rechtslage zeigt.

Anwendbarkeit von Produkthaftungsrecht 

Seit dem KRONE-Urteil 2021, in dem der EuGH die Haftung einer Zeitung für Schäden durch einen unrichtigen Gesundheitstipp verneinte, gelten fehlerhafte Informationen als von der Produkthaftung (ProdHaft) ausgenommen. Bislang hielt sich die Ansicht, dies könnte eine Haftung für fehlerhafte Angaben einer KI ausschließen. Was aber, wenn eine KI die fehlerhaften Informationen nicht nur übermittelt, sondern erst generiert? Das sei noch offen, findet Dr. Björn Steinrötter, Professor für Bürgerliches Recht, IT-Recht und Medienrecht an der Universität Potsdam, gegenüber LTO.

Problematisch für eine Anwendung des ProdHaft-Rechts war bislang auch, dass dieses keine Dienstleistungen erfasst. Als solche wurden viele KI-Anwendungen aber bislang eingeordnet.

Entscheiden könnte die Frage die sog. ProdHaft-RL (Richtlinie (EU) 2024/2853). Diese bestimmt in Art. 4 Nr. 1, dass nun auch Software und KI-basierte Produkte als "Produkte" im Sinne des ProdHaft-Rechts gelten. Und zwar auch, wenn sie als "Software as a Service"-Modell bereitgestellt werden. Darunter könnten auch KI-Chatbots fallen, meint Steinrötter. Die Umsetzung in Deutschland soll durch das Gesetz zur Modernisierung des ProdHaft-Rechts erfolgen, das aber noch nicht durch den Bundestag gegangen ist. 

Die Grenze zwischen Sicherungspflicht und Selbstverantwortung 

Nach Art. 7 ProdHaft-RL ist ein Produkt fehlerhaft, wenn es nicht die erwartbare oder vorgeschriebene Sicherheit besitzt. Besonders zu berücksichtigen sind dabei der vernünftigerweise vorhersehbare Gebrauch des Produkts und die Bedürfnisse der anvisierten Nutzergruppe. 

Der EuGH hatte 2015 (Az. C-503/13, C-504/13) entschieden, dass die erwartbare Sicherheit von Produkten vorwiegend nach u.a. ihrem Verwendungszweck und ihrer Ziel-Benutzergruppe zu beurteilen ist. Das entspricht vom Prinzip her den Anforderungen an Verkehrssicherungspflichten, die auch generell eine Haftung über das allgemeine Deliktsrecht ermöglichen: Für verbotene Handlungen und Störerhaftung stellen sich mit Zurechnung und Verkehrssicherungspflichten (VSP) die gewohnten deliktsrechtlichen Fragen. Nur die Antworten sind nicht ganz so einfach. 

Für die Betrachtung mittelbarer Schädigungen durch eigenes Verhalten der Nutzer:innen kommt es also maßgeblich auf die genaue Reichweite der die Betreiber treffenden VSP an, die bei der Verantwortlichkeit für KI-Chatbots also die entscheidende Rolle spielen: Wo verläuft die Grenze zwischen Sicherungspflicht des Betreibers und Selbstverantwortung der Nutzer?

Eine klare Antwort darauf gibt es bisher nicht. Zumindest keinen Suizid oder Straftaten aktiv zu fördern, müsse man von einem KI-Chatbot aber erwarten können, findet Björn Steinrötter. Dr. Christian Heinze, Rechtsprofessor an der Universität zu Köln und Direktor des dortigen Instituts für Digitalisierung, stimmt dem zu. Bei der Bestärkung nachteiligen Verhaltens psychisch labiler Personen ist er aber zurückhaltender. "Ich bin mir nicht sicher, ob sich das ohne Weiteres erkennen und angemessen filtern lässt", erklärt er LTO. Entscheidend ist daher seiner Meinung nach die Frage, "ob ich grundsätzlich auf den rechtmäßigen und eigenverantwortlichen Gebrauch eines Gegenstands durch den Nutzer vertrauen kann".

Dem schließt sich Steinrötter an und resümiert: "Sowohl im allgemeinen Deliktsrecht als auch im Produkthaftungsrecht wird das Ziehen der Grenzlinie zwischen Sicherungspflicht und Selbstverantwortung im KI-Kontext eine der größten Herausforderungen des Haftungsrechts der nächsten Jahre sein." 

BGH knüpft Haftung an Zweckbestimmung und Geschäftsmodell

Auch für den Bundesgerichtshof (BGH) ist für die Reichweite der VSP ausschlaggebend, ob das Geschäftsmodell von vornherein auf Rechtsverletzungen oder (ggf. Selbst-)Schädigungshandlungen durch die Nutzer angelegt ist, bzw. solche bewusst gefördert werden. 

Die KI-Verordnung (KI-VO) der EU knüpft ebenfalls an die Nutzungsbestimmung durch den Betreiber an. Eine Einordnung von beziehungsimitierenden KI-Chatbots (sog. AI-Companions) in die KI-VO haben für LTO Tarmio Frei, Greta Sparzynski und Darius Rostam vorgenommen. Solche AI-Companions gelten als besonders gefährlich. Die KI-VO belegt die Betreiber sog. Hochrisiko-KI-Systeme, die signifikante Risiken für Gesundheit, Sicherheit oder Grundrechte bergen, mit erhöhten Pflichten. Ob eine solche Hochrisiko-KI vorliegt, entscheidet sich momentan maßgeblich nach ihrer Zweckbestimmung. Mit ihr ändert sich die Erwartungshaltung an eine KI, wie Immaterialgüter- und Medienrechtler Prof. Dr. Maximilian Becker vom Institut für Medien- und Kommunikationsrecht an der Universität Siegen im Gespräch mit LTO erklärt. 

Die Anforderungen an Chatbots würden wachsen, je konkreter ihr Einsatzzweck bestimmte Schutzgüter berührt, meint Becker. Ein Chatbot ohne speziellen Verwendungszweck unterliege daher geringeren Anforderungen, als wenn er z. B. speziell zur Personalauswahl angeboten wird. Er könne daher durch die bloße Änderung seiner Zweckbestimmung zu Hochrisiko-KI werden.

Würde sich der Gesetzgeber entschließen, Chatbots in Zukunft als Hochrisiko-KI einzustufen, geschähe dies wahrscheinlich eher aufgrund ihrer Fähigkeiten als aufgrund ihrer Zweckbestimmung. Das würde einen anderen Regulierungsansatz darstellen, meint Becker. Selbst wenn reines Entertainment der erklärte Zweck von Chatbots wäre, gäbe es Missbrauchsmöglichkeiten – man könnte sie ja trotzdem alles fragen. 

Erster Erfolg mit Signalwirkung

Signalwirkung könnte von einem Urteil aus den Niederlanden kommen. Ende März hatte dort ein Gericht xAI untersagt, auf seiner Plattform X (früher Twitter) den KI-Chatbot "Grok" anzubieten. Mit dessen Bildgenerierung konnten nämlich Nacktbilder fiktiver oder echter Personen ohne deren Einwilligung erstellt werden, auch von Minderjährigen. Nach niederländischem Recht handelt es sich dabei um rechtswidrige sexualisierte Bilder ohne Einwilligung und Kinderpornografie. 

xAI meinte, genügend Sicherheitsmechanismen gegen rechtswidrige Nutzung eingebaut zu haben; die betreffende Funktion sei abgeschaltet. Die Angaben zu den Sicherheiten waren jedoch widersprüchlich und das Gericht stellte fest, dass eine entsprechende Bildgenerierung noch immer möglich war. Daher verbot es xAI den Chatbot, solange begründete Zweifel daran bestünden, dass ausreichende Sicherheitsmechanismen gegen die Nutzung von Grok zum Generieren und Teilen rechtswidriger Bilder vorlägen. 

Aufgrund der beschränkten Zuständigkeit des niederländischen Gerichts gilt das Verbot nur in den Niederlanden und für Bilder niederländischer Personen. Wirkung dürfte die Entscheidung aber auch darüber hinaus haben, nicht nur, weil Grok nicht überprüft, ob eine Person aus den Niederlanden ist. Das Urteil zeigt, dass es möglich ist, die Sicherheitsmechanismen von KI-Chatbot-Betreibern gerichtlich infrage zu stellen und die Chatbots zu verbieten, wenn diese Sicherheitsmechanismen eine Nutzung für rechtswidrige Zwecke nicht ausreichend wirksam verhindern.  Auch die EU-Kommission hat eine entsprechende Untersuchung gegen X in dem Kontext eingeleitet. Eine Anfrage von LTO an xAI zu diesen und weiteren Themen dieses Textes blieb unbeantwortet.

Entscheidend ist der Durchschnittsnutzer

Dass eine solche Haftung auch in Deutschland möglich wäre, deutet sich in einer Entscheidung des Landgerichts Hamburg an (23.09.2025 - 324 O 461/25). Dieses entschied im Falle von KI-generierten Falschbehauptungen von Grok, dass xAI für dessen halluzinierte Aussagen haftbar ist. War für den Durchschnittsempfänger nicht ohne Weiteres zu erkennen, dass es sich um eine Falschbehauptung handelt, würden die üblichen "Disclaimer" nicht ausreichen, um die Verantwortung auf den Nutzer abzuwälzen. Auch für Straftatbestände wie Verbreitung unwahrer Tatsachenbehauptungen soll unerheblich sein, ob der Inhalt von einem Menschen erstellt oder von einer KI generiert worden ist.

Einfache Disclaimer und generelle Verweise auf die Eigenverantwortung der Nutzer:innen scheinen schon nach bestehendem Recht also nicht auszureichen, um sich als Betreiber eines KI-Chatbots der Haftung zu entziehen. 

Daran ändert wohl auch die Blackbox-Natur von KIs nichts: Für viele KIs ist gerade kennzeichnend, dass ihre Entscheidungsprozesse auch vom Betreiber nicht mehr nachvollzogen werden können. Dass man selbst nicht weiß, wie sich ein Produkt verhält, kann aber nicht von Verantwortung entlasten, meint etwa Christian Heinze. So verlange der Haftungsausschluss für die Fehlerhaftigkeit eines Produkts, die nach dem objektiven Stand der Wissenschaft und Technik nicht erkannt werden konnte (Art. 11 Abs. 1 lit. E ProdHaftRL 2024), mehr als den bloßen Black-Box-Charakter.

Eine KI wird also wohl vorerst nicht zur Verantwortung gezogen, wenn Menschen durch sie Schäden erleiden, so eigenständig sie dabei auch vorzugehen scheint. Sie bleibt erst einmal ein Produkt – versagen ihre Sicherheitsmechanismen, ist das Produkt mangelhaft und damit ein Fall fürs ProdHaft-Recht. Auch die Haftung nach Deliktsrecht dürfte sich dadurch nicht ändern: Die "Handlungen" eines KI-Chatbots durchbrechen die Zurechnung dort nicht. Eltern haften bekanntlich nicht zwangsläufig für ihre Kinder. Betreiber für Ihre KI-Chatbots dagegen schon.