Mit Künstlicher Intelligenz Straftäter finden: Ultima Ratio Palantir?

Binnen Sekunden potentielle Straftäter aufspüren, indem Künstliche Intelligenz gewaltige Datenmengen aus Social-Media-Inhalten, Bildern, Funkzellenabfragen, Melde- und Vorgangsdaten durchsucht und miteinander verknüpft. Dieses für Sicherheitsbehörden verheißungsvolle Versprechen liefern Anbieter wie die US-amerikanische Firma Palantir Technologies. Als Ermittlungsinstrument ist künstliche Intelligenz hocheffektiv und hochriskant zugleich. Je effektiver sie wirkt, desto größer sind ihre Gefahren im Falle des Missbrauchs.

Aktuell wird in Bund und Ländern über den Einsatz der KI-fähigen Software "Gotham" der US-amerikanischen Firma Palantir diskutiert. Sie gilt als weltweit führendes KI-fähiges Instrument zur automatisierten Datenanalyse. Palantir entwickelte sie in enger Zusammenarbeit mit der CIA und anderen US-Behörden. Der Großaktionär und Mitbegründer von Palantir, der US-amerikanische Milliardär Peter Thiel, ist ein Unterstützer von US-Präsident Donald Trump. 

Palantir bereits in Nutzung

Die Länder Hessen, Bayern und Nordrhein-Westfalen nutzen Palantir-Software bereits; in Baden-Württemberg ist der Einsatz geplant. Andere Länder, etwa Berlin, Brandenburg, Hamburg und Schleswig-Holstein, verzichten bislang bewusst auf den Einsatz von Palantir-Software. Während Kritiker auf rechtsstaatliche Risiken hinweisen, heben Befürworter die Effektivität des Systems hervor.

Auch die neue Bundesregierung möchte den Sicherheitsbehörden den Einsatz künstlicher Intelligenz ermöglichen. Dabei sind laut Koalitionsvertrag "verfassungsrechtliche Vorgaben" und "Souveränität" zu berücksichtigen. Welches KI-System die Bundesbehörden verwenden sollen, hat die Koalition noch nicht abschließend entschieden. Bundesinnenminister Alexander Dobrindt prüft derzeit den bundesweiten Einsatz von Palantir-Software, während die Bundesjustizministerin Stefanie Hubig sich skeptisch geäußert hat.

Informationelle Selbstbestimmung auch von Unschuldigen in Gefahr 

In seinem Urteil vom 16.02.2023 hat das Bundesverfassungsgericht erstmals konkrete verfassungsrechtliche Anforderungen an den polizeilichen Einsatz künstlicher Intelligenz herausgearbeitet. Demnach greift der Einsatz von KI-Systemen zur automatisierten Datenanalyse in das Grundrecht auf informationelle Selbstbestimmung (Art. 2 Abs. 1 i.V.m. Art. 1 Abs. 1 GG) aller ein, deren Daten bei diesem Vorgang personenbezogen Verwendung finden. Wegen der erheblichen Streubreite, die auch Unbeteiligte treffe, der Erstellung von Persönlichkeitsprofilen, der Undurchschaubarkeit des Vorgehens der Software ("Blackbox-Effekt"), Verzerrungs- und Diskriminierungsgefahren gehe das Eingriffsgewicht einer KI-gestützten Datenanalyse über das Eingriffsgewicht einer herkömmlichen Datenanalyse hinaus. Daher unterliege der Einsatz besonderen verfassungsrechtlichen Anforderungen. Ermöglicht die automatisierte Datenanalyse einen schwerwiegenden Eingriff in die informationelle Selbstbestimmung der Betroffenen, ist sie nur zum Schutz besonders gewichtiger Rechtsgüter vor hinreichend konkretisierten Gefahren gerechtfertigt. 

Gebot digitaler Souveränität

Im Zentrum der aktuellen Diskussion um die Palantir-Software stehen nun weniger die allgemeinen Gefahren des KI-Einsatzes, als vielmehr der Umstand, dass deutsche Sicherheitsbehörden ein System eines privaten Unternehmens mit Sitz in einem Nicht-EU-Staat verwenden. Dies wirft die Frage auf, ob der Einsatz der Palantir-Software mit dem Gebot digitaler Souveränität vereinbar ist. "Digitale Souveränität" meint die Hoheit eines Staates über die von ihm verwendeten informationstechnischen Systeme. Als politisches Ziel ist "digitale Souveränität" bereits seit Längerem anerkannt. 

Wie unter anderem Alexander Roßnagel, Ulrich Kelber und Vyacheslav Bortnikov herausgearbeitet haben, findet das Gebot digitaler Souveränität seine verfassungsrechtliche Grundlage im Rechtsstaatsprinzip gemäß Art. 20 Abs. 3 GG und im Grundrecht auf informationelle Selbstbestimmung aus Art. 2 Abs. 1 i.V.m. Art. 1 Abs. 1 GG. Das Rechtsstaatsprinzip verpflichtet den Staat, Eingriffe in Grundrechte nachvollziehbar zu begründen. Setzt der Staat ein von Dritten entwickeltes KI-System ein, erschwert dies die Kontrolle über das KI-System. Infolgedessen kann der Staat Manipulationen oder einen Missbrauch durch Unbefugte nicht ausschließen. Das Bundesverfassungsgericht führt hierzu aus: "Wird Software privater Akteure oder anderer Staaten eingesetzt, besteht […] eine Gefahr unbemerkter Manipulation oder des unbemerkten Zugriffs auf Daten durch Dritte".

In der Rechtsprechung des Bundesverfassungsgerichts ist bislang ungeklärt, ob für den Einsatz von KI-Systemen aus Nicht-EU-Staaten strengere verfassungsrechtliche Anforderungen gelten. Aufgrund der erhöhten grundrechtlichen Risiken ist es überzeugend, den Einsatz von Dritten entwickelter KI-Systeme als rechtfertigungsbedürftige Ausnahme anzusehen. Je grundrechtsrelevanter das System ist, desto schwerer lässt sich seine Nutzung rechtfertigen. Für grundrechtsrelevante KI-Systeme sollte ein Vorrang der Eigenentwicklung gelten: Eigenentwicklungen und Open-Source-Komponenten sind gegenüber Produkten privater Anbieter und ausländischer Staaten zu bevorzugen. Europäische KI-Systeme haben Vorrang vor KI-Systemen aus Nicht-EU-Staaten, in denen geringere Datenschutzstandards gelten. Dies gilt jedenfalls dann, wenn eine Eigenentwicklung gleich geeignet ist. Daran fehlt es in der Praxis regelmäßig. Sollte in Zukunft jedoch ein gleich geeignetes europäisches System verfügbar sein, wäre dieses System gegenüber der Palantir-Software zu bevorzugen. Das Gebot digitaler Souveränität enthält daher auch einen Verfassungsauftrag für die deutschen Sicherheitsbehörden, Eigenentwicklungen voranzutreiben, um grundrechtsschonendere Alternativen zur Palantir-Software zu entwickeln.

Effektivität allein ist kein Argument 

Allein der Umstand, dass die Palantir-Software effektiver ist als vergleichbare europäische Systeme, vermag ihren Einsatz indes nicht zu rechtfertigen. Darüber hinaus muss der Einsatz der Palantir-Software verhältnismäßig im engeren Sinne sein. In der Rechtsprechung des Bundesverfassungsgerichts ist anerkannt, dass für die Nutzung von KI-Systemen zur automatisierten Datenanalyse strenge Verhältnismäßigkeitsanforderungen gelten. Der Einsatz eines Systems ist unverhältnismäßig, wenn die Schwere des Eingriffs in das Grundrecht auf informationelle Selbstbestimmung den potentiellen Nutzen für die Sicherheitsbehörden überwiegt. Da die Nutzung von KI-Systemen aus Nicht-EU-Staaten mit erhöhten grundrechtlichen Risiken einhergeht, sollte sie besonders strengen Verhältnismäßigkeitsanforderungen unterliegen. 

Aufgrund seiner erheblichen Streubreite ist der Einsatz von Palantir-Software für Zwecke der automatisierten Datenanalyse in hohem Maße grundrechtsrelevant. Zwar gibt es bislang keine konkreten Hinweise auf Manipulationen oder einen Missbrauch durch Dritte. Die Funktionsweise der Palantir-Software ist aber für Außenstehende nur eingeschränkt durchschaubar. Je intransparenter eine Software ist, desto schwerer lässt sich begründen, weshalb eine bestimmte Person Ziel einer polizeilichen Maßnahme wird. Zugleich sind fehleranfällige oder diskriminierende Algorithmen kaum zu erkennen. Da der Datenschutz in den USA einen geringeren Stellenwert genießt als in der EU, bestehen erhebliche Zweifel, ob bei der Entwicklung des Palantir-Systems europäischen Datenschutzstandards beachtet wurden.

Vor diesem Hintergrund lässt sich der Einsatz der Palantir-Software verfassungsrechtlich allenfalls dann rechtfertigen, wenn und soweit er durch überragende Sicherheitsinteressen des Bundes oder eines Landes zwingend geboten ist. Ob ein solches zwingendes Sicherheitsbedürfnis vorliegt, ist sehr zweifelhaft. Hierfür spricht schon ein Blick auf das föderale Gefüge der Bundesrepublik Deutschland: Die Mehrzahl der Länder verzichtet bislang auf die Nutzung der Palantir-Software, ohne dass dies die dortige Sicherheitslage ernstlich beeinträchtigen würde. Deutschland ist ein sehr sicheres Land. Es gibt objektiv betrachtet kein sich stetig verschärfendes Sicherheitsgeschehen, das zum Einsatz der Palantir-Software zwingt.

Keine Sicherheit um jeden Preis

Selbst wenn ein zwingendes Sicherheitsbedürfnis bestünde, wäre die Nutzung der Palantir-Software nur für eine Übergangszeit zulässig, bis vergleichbar effektive europäische Systeme vorhanden sind. Zudem müssen die deutschen Sicherheitsbehörden die Palantir-Software vor ihrem Einsatz testen, um fehleranfällige oder diskriminierende Algorithmen aufzudecken. Schließlich müssen die Sicherheitsbehörden die Nutzung der Palantir-Software engmaschig überwachen und in regelmäßigen Abständen evaluieren. Bei der praktischen Anwendung ist darauf zu achten, dass nur geschultes Personal die Palantir-Software bedient. Die Ergebnisse der Palantir-Software dürfen nicht als zutreffend hingenommen, sondern müssen besonders kritisch hinterfragt werden: Künstliche Intelligenz ist nur ein Hilfsmittel bei der Ermittlungsarbeit; die maßgeblichen Entscheidungen müssen die Sicherheitsbehörden selbst treffen und verantworten. Dieser allgemeine Grundsatz gilt erst recht, wenn auf KI-Systeme aus Nicht-EU-Staaten vertraut wird. 

Die Debatte um den Einsatz von Palantir-Software veranschaulicht das Dilemma aller rechtsstaatlichen Sicherheitsgesetzgebung: Das Grundgesetz berechtigt und verpflichtet den Staat, die Sicherheit seiner Bürger zu gewährleisten. Doch gebietet das Grundgesetz keine Sicherheit um jeden Preis. Der Staat muss Einbußen an Sicherheit in Kauf nehmen, soweit sie um der Freiheit willen geboten sind. 

Diese Maxime gilt auch und erst recht im KI-Zeitalter: Die Sicherheitsbehörden dürfen künstliche Intelligenz bei ihrer Ermittlungsarbeit einsetzen, unterliegen hierbei aber grundrechtlichen und rechtsstaatlichen Grenzen. Ob ein zwingendes Sicherheitsbedürfnis die Nutzung von Palantir-Software rechtfertigt, ist sehr zweifelhaft. Bund und Länder sind somit gut beraten, Eigenentwicklungen zu bevorzugen und voranzutreiben.

Der Autor ist Rechtsreferendar bei der Kanzlei Brock Müller Ziegenbein Rechtsanwälte Partnerschaft mbB in Kiel. Im Auftrag der Fraktion BÜNDNIS 90/DIE GRÜNEN im Hessischen Landtag hat die Kanzlei in diesem Jahr einen Normenkontrollantrag gegen zentrale Neuregelungen des Hessischen Sicherheits- und Ordnungsgesetzes (HSOG) beim Hessischen Staatsgerichtshof eingereicht. Gegenstand dieses Verfahrens ist auch die Nutzung von Palantir-Software durch hessische Sicherheitsbehörden.