Erster Entwurf des Artificial-Intelligence-Act: EU als neues Zen­trum für künst­liche Intel­li­genz?

Die Kommission der Europäischen Union (EU) hat sich ein ambitioniertes Ziel gesetzt: Europa soll das globale Zentrum für vertrauenswürdige künstliche Intelligenz (KI) werden. Zu diesem Zweck hat die EU-Kommission den ersten Entwurf des Artificial Intelligence (AI) Act veröffentlicht, der nun im EU-Parlament diskutiert und anschließend als unmittelbar in der gesamten EU geltendes Recht verabschiedet werden soll. Gegenstand dieser Verordnung ist aber nicht die Förderung von KI – diese soll durch andere Maßnahmen erfolgen –, sondern deren Regulierung. 

Der Verordnungsentwurf sieht bei Verstößen gravierende Rechtsfolgen vor, die an Kartellrechtsstrafen und Sanktionen nach der Datenschutzgrundverordnung (DSGVO) erinnern.

Im Vorfeld hatte die EU-Kommission zu Konsultationen aufgerufen und zahlreiche Stakeholder aus dem öffentlichen und privaten Sektor, darunter Regierungen, kommerzielle und nicht-kommerzielle Organisationen, Akademiker und Bürger mit Hilfe von Fragebögen zu ihren Regulierungswünschen angehört. Das Meinungsspektrum war dabei äußerst breit: So gab es den Wunsch nach einem vollständigen Verzicht auf jede Regulierung, da KI nichts grundsätzlich Neues sei und die vorhandenen gesetzlichen Regelungen vollkommen ausreichten. Andere Stimmen forderten sektorspezifische Regelungen, da die Anforderungen etwa im Straßenverkehr ganz andere seien als in der Medizin oder im Justizwesen.

Wie sich im Vorfeld bereits angedeutet hatte, hat sich die EU-Kommission für einen gefahrenbasierten Ansatz entschieden. Das bedeutet, es gibt unterschiedliche Regelungen, je nachdem, welches Gefährdungspotential für zentrale Rechtsgüter wie Gesundheit, Sicherheit und Grundrechte besteht. Folgende vier Klassen werden unterschieden: verbotene Anwendungen, Hochrisiko-Anwendungen, Anwendungen mit bestimmten Merkmalen und sonstige Anwendungen.

Besonders gefährliche KI-Anwendungen sind verboten

Gänzlich untersagt werden sollen Anwendungen, die geeignet sind, Menschen körperliche oder psychische Schäden zuzufügen. Dies kann daraus resultieren, dass sie unterschwellige Techniken anwenden oder die Verletzlichkeit einer Gruppe von Menschen, etwa wegen ihres Alters oder etwaiger Einschränkungen, ausnutzen und so ihr Verhalten unbemerkt manipulieren. 

Ebenfalls verboten werden sollen unter bestimmten Voraussetzungen sogenannte Social Scoring Anwendungen. Darunter versteht man den Versuch, das Verhalten oder Eigenschaften von Personen anhand von Punkten zu bewerten und so vergleichen zu können.

Ein Verbot soll aber nur dann bestehen, wenn staatliche Institutionen das Social Scoring einsetzen und Menschen über einen gewissen Zeitraum im Hinblick auf ihr Verhalten oder ihre Persönlichkeit beobachten, wenn dies als unverhältnismäßig erscheint oder die Erkenntnisse in einem anderen Zusammenhang verwertet werden als dem, in dem die Daten gesammelt wurden. 

Einem Verbot unterliegt grundsätzlich auch der polizeiliche Einsatz von Echtzeit-Systemen zur Personenerkennung im öffentlichen Raum. Ausnahmsweise können derartige Maßnahmen aber erlaubt sein: um verschwundene Opfer von Straftaten zu finden, um erhebliche und unmittelbar bevorstehende Gefahren für das Leben von Menschen oder die öffentliche Sicherheit oder einen terroristischen Angriff zu verhindern oder um Straftäter aufzuspüren, deren Taten mit einer Höchststrafe von mindestens drei Jahren geahndet werden. Außer bei Gefahr im Verzug bedarf dieser Einsatz zudem der vorherigen Erlaubnis eines Richters oder einer unabhängigen Behörde.

Auffällig ist der Umstand, dass jeweils relativ viele kumulative Voraussetzungen erfüllt sein müssen, damit die Verbotsnorm tatsächlich eingreift. So sind beispielsweise nicht alle KI-Anwendungen verboten, die durch unterschwellige Techniken das Verhalten von Kindern manipulieren, vielmehr gilt das Verbot nur dann, wenn hierdurch die Gefahr einer körperlichen oder psychischen Schädigung hervorgerufen wird.

Konformitätsprüfung und Zertifizierung bei Hochrisiko-Anwendungen

Mehr als die Hälfte der Regelungen des AI Act beschäftigt sich mit den Hochrisiko-Anwendungen und den für sie geltenden Anforderungen. Dies dürfte auch der Bereich sein, in dem die Regulierung ihre größten Auswirkungen hat.

Anders als bei den verbotenen KI-Anwendungen, erfolgt die Bestimmung von Hochrisiko-Anwendungen nicht abstrakt, sondern durch Bezugnahme auf zwei Anlagen zu dem Verordnungsentwurf. Erfasst werden insbesondere KI-Anwendungen in gefahrgeneigten Bereichen wie Straßenverkehr, Luftfahrt und Medizin sowie KI-Anwendungen in gesellschaftlich relevanten Bereichen wie Personenerkennung, kritische Infrastruktur, Bildung, Recruitment, Daseinsvorsorge, Kreditwürdigkeit, Migration, Strafverfolgung und Justiz.

Hochrisiko-Anwendungen bedürfen vor dem Markteintritt einer Konformitätsprüfung und Zertifizierung (CE-Kennzeichnung), die je nach Anwendung unterschiedlich ausgestaltet ist. Zum Teil erfolgt die Konformitätsprüfung auch durch die Anbieter selbst. Insbesondere müssen die Anwendungen ein Risiko-Managementsystem für die gesamte Einsatzdauer aufweisen, eine technische Dokumentation sowie Ereignis-Aufzeichnungen vorhalten ("Logs"), transparent sein und den Nutzerinnen und Nutzern Informationen bereitstellen sowie widerstandsfähig gegen Fehler und Angriffe sein.

Einige dieser Pflichten treffen nicht allein die Anbieter, sondern gelten auch für Importeure, Händler und Nutzer.

Die Mitgliedstaaten müssen Behörden einrichten, die für die Durchführung der Verfahren zur Konformitätsprüfung und die Überwachung der Anwendungen zuständig sind. Diese Behörden haben unter bestimmten Voraussetzungen auch einen Zugriff auf den Quellcode des KI-Systems und Eingriffsbefugnisse, die von Korrekturmaßnahmen bis zu einer gänzlichen Untersagung reichen.

Besondere Transparenzregeln für bestimmte Anwendungen

Für drei verschiedene Gruppen von KI-Anwendungen, bei denen nicht danach unterschieden wird, ob es sich um Hochrisiko-Anwendungen handelt oder nicht, gibt es besondere Transparenzregeln: Systeme, die mit Menschen interagieren sowie Systeme zur Erkennung von Emotionen oder zur biometrischen Kategorisierung müssen die Betroffenen darüber informieren, dass sie es mit einer KI-Anwendung zu tun haben, sofern dies aufgrund der Umstände nicht offensichtlich ist. Systeme zur Erzeugung oder Veränderung von Bild-, Audio- oder Videomaterial, das für echt gehalten werden könnte (sogenannte deep fakes), müssen offenbaren, dass ihr Inhalt nicht echt ist.

Sonstige KI-Anwendungen sind durch den AI Act ausdrücklich nicht erfasst. KI-gestützte Videospiele oder Spamfilter beispielsweise werden durch den AI Act nicht reguliert.

Geldbußen in Millionenhöhe bei Verstößen gegen den AI Act

Die Rechtsfolgen von Verstößen gegen die Bestimmungen des AI Act werden in dem vorgegebenen Rahmen durch die Mitgliedstaaten festgelegt. Dieser Rahmen hat es allerdings in sich:

Die Bußgelder können bis zu 30 Millionen Euro und bei Unternehmen darüber hinaus sogar bis zu sechs Prozent des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres betragen. Diese Sanktion droht insbesondere bei der Missachtung des Verbots bestimmter KI-Anwendungen sowie bei einigen Verstößen gegen Grundsätze der Datenverwaltung im Zusammenhang mit Hochrisiko-Anwendungen. 

Bei geringfügigeren Verstößen droht ein Bußgeld von bis zu 20 Millionen Euro bzw. vier Prozent des weltweiten Jahresumsatzes des letzten Geschäftsjahres. Ein Bußgeld in Höhe von bis zu zehn Millionen Euro bzw. zwei Prozent des Jahresumsatzes ist bei unvollständigen oder irreführenden Auskünften an die zuständigen Behörden fällig.

Es gibt kein Entrinnen

Ohne Frage handelt es sich um ein wegweisendes Projekt der EU, für das es weltweit bisher kein Vorbild gibt. Der Grundgedanke, die Entwicklung von KI zu fördern und gleichzeitig in die richtigen Bahnen zu lenken, ist begrüßenswert. Insbesondere dürfen KI-Anwendungen nicht dazu führen, dass für einen Rechtsstaat essentielle Grundrechte und Grundfreiheiten eingeschränkt oder gar aufgehoben werden.

Auf der anderen Seite ist es eine offene Frage, ob es auf diesem Weg tatsächlich gelingen wird, die Entwicklung von KI-Anwendungen in der EU zu fördern oder ob im Gegenteil Entwickler aus Furcht vor der Regulierung aus der EU abwandern und ihre Entwicklung anderenorts vorantreiben werden. Diese Gefahr hat die EU-Kommission aber offenbar erkannt und die Anwendbarkeit des AI Act weit ausgedehnt: Die Verordnung findet unabhängig von ihrem Unternehmenssitz Anwendung auf alle Anbieter, die KI-Systeme in der EU in den Verkehr bringen und auf Nutzer von KI-Systemen in der EU. Selbst wenn sowohl Anbieter als auch Nutzer ihren Sitz außerhalb der EU haben, unterliegen sie dem AI Act, sofern der von dem KI-System erzeugte Output in der EU verwendet wird.

Ebenso wie es heute schon gegenüber KI-Systemen kein Entrinnen mehr gibt, gilt das auch für die Regulierung durch die EU. Etwas anderes würde nur gelten, wenn sich die Anbieter vollständig vom europäischen Markt verabschieden, was wohl nicht zu erwarten ist.

Nicht auszuschließen ist dagegen, dass die Entwicklung von KI-Systemen langwieriger und kostenintensiver wird. Hier wird es Aufgabe der EU sein, durch geeignete Fördermaßnahmen gegenzusteuern. 

Dr. Sebastian Cording ist Rechtsanwalt und Partner bei CMS Hasche Sigle in Hamburg. Er ist im Bereich Technology, Media & Communications tätig. Im Rahmen der seitens der EU-Kommission im Vorfeld durchgeführten Verbändeanhörung war er an den Konsultationen des BitKom und des Council of Bars and Law Societies of Europe (CCBE) beteiligt. An der Stellungnahme des BitKom hat er nicht mitgewirkt. Für den CCBE hat er – in seiner Funktion als Mitglied in zwei Arbeitsgruppen, IT und Surveillance – an dessen Stellungnahme mitgearbeitet.