AI Act : Wie die Regierung bei den Risiken von KI wegschaut

Heute treffen sich die Minister*innen der EU-Mitgliedstaaten in Brüssel, um die Version der KI-Verordnung (AI Act) zu verabschieden, auf die sich ihre Regierungen geeinigt haben. In seiner jetzigen Form steht der Entwurf in krassem Gegensatz zum Versprechen der Bundesregierung, die Grundrechte zu schützen. Stattdessen sieht er weitreichende Ausnahmen für Sicherheitsbehörden vor.

Die Mitgliedstaaten des EU-Rats müssen sich auf einen Text einigen, auf dessen Grundlage sie mit dem Europäischen Parlament und der Europäischen Kommission über die finale Fassung des Gesetzes verhandeln werden. Das Grundlagendokument, das heute verabschiedet wird, ist für die Trilog-Verhandlungen im nächsten Jahr immens wichtig. Je weiter die Positionen des Parlaments und des EU-Rats voneinander entfernt sind, desto umstrittener werden die Verhandlungen sein. Die Verabschiedung der KI-Verordnung könnte dadurch sogar in weite Ferne rücken.

Weitreichende Ausnahmen für Sicherheitsbehörden

Im Koalitionsvertrag hat die Bundesregierung angekündigt, sich dafür stark zu machen, die Grundrechte zu schützen, wenn sie vom Einsatz KI-basierter Systeme bedroht sind. Nach dem ursprünglichen AI Act-Entwurf der EU-Kommission sollten die Anbieter von risikoreichen KI-Systemen ihre Systeme in einer EU-Datenbank registrieren müssen, wenn sie auf den Markt kommen. Algorithmwatch und weitere zivilgesellschaftliche Organisationen haben bereits darauf aufmerksam gemacht, dass eine sinnvolle Transparenzregelung zusätzlich auch Informationen über den tatsächlichen Einsatz dieser Systeme in der Praxis bereitstellen sollte. Im konkreten praktischen Einsatz von KI können nämlich deutlich höhere Risiken entstehen als die, die aus der bloßen Beschreibung des Unternehmens hervorgehen, das das System entwickelt und verkauft.

Deutschland hatte erkannt, wie wichtig es ist, die tatsächlichen Verwendungen von KI-Systemen transparent zu machen. In einem im März 2022 veröffentlichten Positionspapier betonte die Bundesregierung, dass öffentliche Behörden bei der Nutzung von KI-Systemen strengeren Transparenzanforderungen unterliegen sollten, da sie eine besondere Rolle einnehmen und eine besonders große Verantwortung tragen. Deshalb forderte sie, dass in der EU-Datenbank alle KI-Systeme registriert werden müssten, die von öffentlichen Behörden eingesetzt werden, unabhängig von der Risikokategorie. Deutschland hat sich dann auch in den Ratsverhandlungen aktiv dafür eingesetzt, dass zumindest der Einsatz von Hochrisiko-KI-Systemen durch Behörden in der Datenbank registriert werden muss.

In diesem Sinne setzte sich die Bundesregierung auch dafür ein, gesetzlich spezielle Regeln für den Einsatz von KI-Systemen durch öffentliche Behörden festzulegen. Sie verwies in ihrer Stellungnahme von März 2022 darauf, dies sei notwendig, um die spezifischen Bedürfnisse von Behörden und die grundrechtlichen Anforderungen von staatlichem Handeln zu berücksichtigen. Auf den ersten Blick schien das ein plausibler und überzeugender Beweggrund zu sein.

Doch zur gleichen Zeit forderte Deutschland eine Lockerung der Anforderungen des AI Acts in den Bereichen Strafverfolgung, Migration, Asyl und Grenzschutz. Gerade in diesen Bereichen sollten die Anforderungen allerdings besonders hoch sein, da die Betroffenen weniger Möglichkeiten haben, sich zu wehren, und oft bereits diskriminiert werden. Staatliches Handeln kann hier massive Auswirkungen auf die Freiheit, die Autonomie und das Wohlbefinden von Menschen haben. Schon der Kompromisstext, den der EU-Rat am 19. Oktober 2022 vorlegte, enthielt für diese Bereiche Ausnahmen von der Transparenzregelung. An dieser Stelle zeichnete sich bereits ab, dass die Bundesregierung nicht unbedingt die Stärkung der Grundrechte im Sinn hatte, als sie eine gesonderte Regelung der behördlichen Nutzung von KI forderte.

Biometrische Fernidentifikation

Dieselbe Entwicklung ließ sich auch bei Deutschlands Haltung zu Systemen zur biometrischen Fernidentifikation (remote biometric identification, RBI) verfolgen. Ursprünglich war Deutschland einer der wenigen Mitgliedstaaten, die die laxen Bestimmungen zu RBI im von der EU-Kommission vorgeschlagenen AI Act-Entwurf kritisierten. Im Koalitionsvertrag betonte die neue Regierungskoalition zunächst, dass „biometrische Erkennung im öffentlichen Raum [...] durch KI [...] europarechtlich auszuschließen“ sei.

Doch nach monatelangen Verhandlungen enthält der Entwurf des Rats beim Thema „KI in öffentlich zugänglichen Räumen“ noch immer viele gefährliche Schlupflöcher und Einschränkungen. Es sind sogar so viele, dass er eher zur Verwendung von RBI anspornt, als sie zu verhindern. In der jetzigen Fassung sollte nur in „Echtzeit“ eingesetzte RBI verboten werden. Außerdem würden nur Strafverfolgungsbehörden und ihre Auftragnehmer*innen diesen Einschränkungen unterliegen.

Von dem Verbot wären also sowohl private Instanzen als auch Behörden ausgenommen – mit Ausnahme von Strafverfolgungsbehörden. Darüber hinaus würde das Verbot nicht gelten, wenn die Systeme auf gespeicherte Daten zugreifen, statt in Echtzeit gewonnene Daten zu verarbeiten. Auch für Strafverfolgungsbehörden gelten zudem etliche Ausnahmen, etwa wenn RBI zur Abwehr von Gefahren für die Gesundheit, von Gefahren für die körperliche Unversehrtheit, von Terrorangriffen oder zur Identifizierung mutmaßlicher Täter*innen bei bestimmten Arten von Straftaten eingesetzt wird. Zu guter Letzt sieht der Ratsentwurf noch vor, dass alle aufgeführten Verbote nicht in Situationen gelten sollen, in denen sich Mitgliedstaaten auf ihre „nationale Sicherheit“ berufen.

Dieser Entwurf zur grundlegenden Ausrichtung des EU-Rats steht eindeutig im Widerspruch dazu, was die deutsche Regierung in ihrem Koalitionsvertrag festgelegt hat. Deutschland hat bei den Verhandlungen zum AI Act die Gelegenheit verpasst, auf EU-Ebene ein starkes Signal zum Schutz der Grundrechte zu senden. Angesichts der laxen Haltung vieler anderer Mitgliedstaaten, die wirtschaftliche Ziele oft höher gewichten als Grundrechtsschutz, wäre solch ein Signal enorm wichtig gewesen.

Wer hält das Heft in der Hand?

Auf nationaler Ebene sind zwei Ministerien für die Aushandlung des KI-Gesetzes zuständig: das Bundesministerium der Justiz (BMJ) und das Bundesministerium für Wirtschaft und Klimaschutz (BMWK). In der Vergangenheit hat jedoch bei Fragen der nationalen Sicherheit und Strafverfolgung das Bundesministerium des Innern und für Heimat (BMI) im Gesetzgebungsverfahren seine Position entscheidend eingebracht. Es soll etwa eine wesentliche Rolle dabei gespielt haben, dass die EU im Bereich der Strafverfolgung eine eigene Verordnung zum Datenschutz kreierte, die von der Allgemeinen Datenschutzverordnung (DSGVO) abweicht.

Das Ministerium versucht vehement, die Befugnisse von Strafverfolgungsbehörden auszuweiten. Es testete dazu zum Beispiel biometrische Echtzeit-Fernerkennungssysteme am Bahnhof Südkreuz (das Experiment scheiterte spektakulär). Auch jetzt, da das Ministerium von der Sozialdemokratin Nancy Faeser geleitet wird (und nicht mehr vom stramm konservativen Horst Seehofer aus Bayern), hat sich nichts geändert. Derzeit drängt etwa Faeser unverhohlen auf ein neues Gesetz zur Vorratsdatenspeicherung, obwohl der Europäische Gerichtshof es als nicht EU-konform eingestuft hat und die Koalitionspartner sich bereits von diesem Vorhaben verabschiedet haben.

Quellen aus der Regierung und dem Parlament haben Algorithmwatch gegenüber bestätigt, dass beide Forderungen – die Aufweichung der Beschränkungen für die biometrische Fernidentifikation und die Schaffung von mehr Ausnahmen für KI-Anwendungen in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle – aus dem Innenministerium stammen. Es scheint höchste Zeit, dass Nancy Faeser an die Versprechen erinnert wird, die die Regierungsparteien in ihrem Koalitionsvertrag gemacht haben – von ihrer eigenen Partei, der SPD, aber insbesondere von FDP-Justizminister Marco Buschmann und Wirtschaftsminister Robert Habeck von den Grünen.

Nikolett Aszódi ist Policy & Advocacy Managerin bei der Algorithmwatch. Sie beschäftigt sich mit automatisierten Entscheidungsfindungssystemen (ADM) im öffentlichen Sektor und horizontalen Regelungen in der EU in Bezug auf ADM – insbesondere dem AI Act. Co-Autor Matthias Spielkamp ist Mitgründer und Geschäftsführer von Algorithmwatch.