Die Vorfestlegung, die Bundesnetzagentur als zentrale KI-Aufsichtsbehörde zu benennen, wurde von der Bundesregierung an einem unscheinbaren Freitagabend über X und Linkedin verkündet. Dabei erscheint die Wahl der Bundesnetzagentur naheliegend, umso entscheidender für den Erfolg der nationalen Umsetzung des EU AI Acts ist es allerdings, dass die weiteren Schritte in einem breiten partizipativen Prozess gestaltet werden.
Die Rolle und Bedeutung einer starken KI-Aufsicht für die nationale Umsetzung
Es ist ein wichtiger Schritt, die im AI Act vorgesehene Marktüberwachungsbehörde zu benennen. Denn das europäische Gesetz sieht die Einrichtung oder Benennung einer Behörde, die für die Durchsetzung der neuen Vorschriften zur Entwicklung und zum Einsatz von KI-Systemen zuständig ist, noch im ersten Jahr nach Inkrafttreten vor – also bis August 2025. Viele Expert:innen hatten dafür bereits auf die Bundesnetzagentur verwiesen, ist sie doch die naheliegende Wahl, da sie bereits Aufgaben und Vorwissen als sektorale Aufsicht zur Kontrolle von Produktstandards mitbringt.
Jedoch fordert der AI Act mehr als nur eine technische Aufsicht: Einerseits braucht die Behörde einen starken Fokus auf Innovationsförderung, beispielsweise durch die Beaufsichtigung von Tests unter realen Bedingungen. Zudem soll sie in jedem Fall als Beratungsstelle, insbesondere für KMUs und Start-ups, aber auch für die Verwaltung selbst fungieren, um eine effektive Umsetzung der EU-Vorgaben sicherstellen. Gleichzeitig gilt es den Schutz der Grundrechte und Verbraucher:innen zu fördern und dabei auch als Beschwerdestelle aufzutreten. Folglich steht und fällt die Umsetzung des AI Acts mit der Etablierung einer starken und ganzheitlichen KI-Aufsicht.
Benennung first, Gestaltung second?
Die Entscheidung, eine zentrale Marktaufsicht zu benennen, ist zwar ein wichtiger erster Schritt, doch er allein reicht nicht aus. Entscheidend wird vor allem das Zusammenspiel mit den bestehenden und darüber hinaus vorgesehenen Institutionen sein. Dieses umfasst insbesondere drei Arten von Institutionen.
Erstens: Sektorale Aufsichtsbehörden, die zum Beispiel schon die Einhaltung von Produktstandards in bereits regulierten Bereichen, wie beispielsweise im Falle von Medizingeräten, kontrollieren. Diese Behörden sind oft, wie eigentlich vorgesehen, föderal organisiert.
Zweitens: In einigen Bereichen, beispielsweise im Finanzsektor, gibt der AI Act vor, dass bestehende Aufsichtsstrukturen genutzt werden können (und nur in begründeten Fällen davon abgewichen werden soll). Hier wäre etwa die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) in Deutschland gefragt, ihr Aufgabenspektrum zu erweitern. Zudem sollten insbesondere in sensiblen Bereichen, wie beispielsweise der Justiz, die föderal organisierten Datenschutzbehörden berücksichtigt werden.
Drittens: Behörden, die zum Beispiel Grundrechte schützen, müssen – um ihren Aufgaben auch in Hinblick auf KI-Anwendungen nachzukommen – mit der Marktaufsicht interagieren können, so beispielsweise die Antidiskriminierungsstellen.
Mit der Benennung einer einzigen zentralen Aufsicht ist es also nicht getan. Da der AI Act der Marktüberwachung wesentliche Aufgaben zuschreibt, müssen wir in Deutschland das Geflecht der bestehenden und neuen Institutionen unbedingt in einem partizipativen Prozess, in einem Austausch auf Augenhöhe entwirren und neu gestalten. Hier müsste die Bundesnetzagentur in einem strukturierten Kooperationsmodell arbeiten. Anlass zur Hoffnung bietet die Tatsache, dass die Bundesnetzagentur bereits eine koordinierende Funktion in Sachen Marktüberwachung innehat und die Geschäftsstelle des dafür zuständigen Deutschen Marktüberwachungsforums betreut.
Aus Betroffenen Beteiligte machen
Dabei ist die Beteiligung der vom AI Act betroffenen Institutionen die halbe Miete: Auf der einen Seite stehen die Behörden, die neben ihren bestehenden Aufgaben nun auch für die Kontrolle und Überwachung der KI-Systeme verantwortlich sind. Diese zusätzlichen Aufgaben müssen sinnvoll integriert werden, um eine effiziente und reibungslose Umsetzung zu gewährleisten.
Auf der anderen Seite sind vor allem Unternehmen und Organisationen betroffen, die KI entwickeln oder einsetzen. Sie müssen sich teilweise auf neue Ansprechpartner:innen in den Aufsichtsbehörden einstellen, die möglicherweise noch rekrutiert und ausgebildet werden, und gleichzeitig die regulatorischen Anforderungen in ihren Betrieb integrieren. Besonders herausfordernd ist dies für KMUs und Start-ups sowie öffentliche Verwaltungen, die nicht über große Compliance-Abteilungen verfügen.
Diese Organisationen sehen sich möglicherweise zum ersten Mal mit Produktsicherheitsstandards konfrontiert und könnten aufgrund mangelnder Ressourcen oder rechtlicher Unsicherheit beim Einsatz von KI-Systemen abgeschreckt werden. Gerade in der Verwaltung besteht die Gefahr einer Übervorsicht, die notwendige Innovationen bremst.
Die unterschiedlichen Perspektiven der Kontrollierenden und der Kontrollierten bei der Ausgestaltung der neuen Behörde zu berücksichtigen, ist daher unerlässlich. Nur durch eine aktive und frühzeitige Beteiligung aller relevanten Akteure kann das notwendige Vertrauen in die KI-Aufsicht aufgebaut und somit die Akzeptanz und Legitimität des EU AI Acts gestärkt werden.
Lajla Fetic beschäftigt sich beim Applied AI Institut mit KI-Governance und Trustworthy AI. Davor hat sie unter anderem für die Bertelsmann Stiftung digitalpolitisch gearbeitet.
