Standpunkt : Die Suche nach der perfekten KI

Über den AI Act der Europäischen Union (EU) wurde multi- wie interdisziplinär diskutiert. Während die einen das europäische Gesetz über Künstliche Intelligenz (KI) als Errungenschaft begreifen, kritisieren Stimmen aus Politik, Wirtschaft und Wissenschaft den 144 Seiten umfassenden Gesetzestext. Die Kritik war und ist groß – einige stellen die Unionsrechtskonformität infrage, andere bemängelten den Verlust der Wettbewerbsfähigkeit im globalen Kontext. Und wieder andere sahen den gesellschaftlichen Nutzen von KI zu wenig beachtet.

Doch die KI-Verordnung ist in Kraft und wir müssen uns mit ihr befassen. Die KI-Verordnung verfolgt einen risikobasierten Produktsicherheitsansatz und adressiert die gesamte Wertschöpfungskette eines KI-Systems. Und auch allgemeine KI-Modelle sind nunmehr umfassenden regulatorischen Anforderungen unterworfen. Nach wie vor arbeiten Gremien auf europäischer und internationaler Ebene an Leitlinien, um Hilfestellung zur Auslegung der KI-Verordnung zu leisten. Doch die ersten Übergangsfristen sind bereits abgelaufen und auch die komplexen Vorgaben zur Entwicklung und zum Einsatz von Hochrisiko-KI-Systemen entfalten im Sommer 2026 ihre Wirkung.

KI ohne Blackbox?

Bis dahin muss das umfassende Anforderungsportfolio nicht nur in Unternehmens- und Behördenstrukturen eingebettet worden sein, sondern KI-Governance- und KI-Compliance müssen tatsächlich gelebt werden. Oberstes Gebot des EU-Gesetzes ist es, Grund- und Menschenrechte zu schützen, in dem das Gefährdungsrisiko minimiert wird. Gesucht wird also die perfekte KI: nicht nur von Unternehmen und Forschenden, sondern auch von der öffentlichen Verwaltung.

Denn die Einsatzmöglichkeiten von KI im Bereich der Gefahrenabwehr und Strafverfolgung sind nahezu unbegrenzt. Aus Sicht einer Sicherheitsbehörde könnte die perfekte KI ein System ein, das in der Lage ist, komplexe Situationen schnell und präzise zu analysieren, Risiken identifiziert und effektive Lösungen vorschlägt. Sie könnte Cyberangriffe sowie Bedrohungen und Gefahren aus den Bereichen des Terrorismus, hybrider Kriegsführung und der organisierten Kriminalität frühzeitig erkennen und ihnen sogar begegnen.

Die Vorstellung einer perfekten KI ist faszinierend – eine Technologie, die alle Herausforderungen meistert, objektive Entscheidungen trifft und in derer es keine „Blackbox“ gibt. Doch wenn wir tiefer blicken, wird schnell klar: Der Weg dorthin ist von Problemen geprägt, die erst gelöst werden müssen.

Behörden-KI: Kein willkürlicher Einsatz

Zur Wahrheit einer perfekten KI zählt nicht nur deren Einsatzzweck, dem allgemeinen Bestreben nach digitaler Souveränität und die Effizienz der Tools, sondern auch das Bedürfnis nach Vertrauen aus der Bevölkerung in den Einsatz von KI durch Sicherheitsbehörden. Ethische Überlegungen spielen eine entscheidende Rolle bei der Gestaltung und dem Einsatz von KI. Der Schutz von Daten und Privatsphäre steht an oberster Stelle. In einem demokratischen Rechtsstaat darf der Einsatz der Technologie weder zugunsten einer Überwachungsgesellschaft missbraucht werden, noch dürfen Daten unkontrolliert genutzt werden.

Die Bevölkerung darf nie das Gefühl haben, dass Behörden die Kontrolle über ihre Systeme verlieren und vor allem nicht willkürlich eingesetzt werden. Dabei ist es insbesondere die Blackbox-Problematik, die mit der ‚Gefährlichkeit‘ einer KI verknüpft wird. Oftmals ist es für Anwender und sogar Entwickler unmöglich, die Entscheidungen eines KI-Systems vollständig nachzuvollziehen. Diese Undurchsichtigkeit führt wiederum zu einem Vertrauensverlust, dem gesetzgeberisch mit einer Offenlegungspflicht und Transparenzgeboten begegnet werden soll.

Robustheit und Datenqualität als Fallstricke

Eine weitere Hürde ist die Datenqualität. KI-Systeme sind nur so gut, wie die Daten, mit denen sie trainiert werden. Besonders kritisch ist der Punkt Bias und Diskriminierung. Wenn Trainingsdaten Vorurteile oder gesellschaftliche Ungleichheiten widerspiegeln, können KI-Systeme diese unbewusst reproduzieren oder verstärken. Die Kindergeldaffäre in den Niederlanden, die nicht nur zum Rücktritt der Regierung unter dem jetzigen Nato-Generalsekretär Mark Rutte führte, sondern auch unzählige Familien ins Unglück stürzte, zeigt dies ganz plastisch. Damals hatten die niederländischen Finanzämter fälschlicherweise zahlreiche Familien wegen angeblich zu viel gezahlter Kinderbetreuungszuschläge verfolgt. Betroffen waren vor allem migrantische Familien. Denn die zuständige Behörde hatte Daten über die Nationalität der Elternteile als Indikator für den Entscheid genutzt.

Schließlich bleibt die Frage der Robustheit: KI-Systeme zeigen Schwächen in dynamischen, unvorhersehbaren Situationen. Ein System, das im Labor beeindruckend performt, kann im realen Einsatz versagen – mit potenziell gravierenden Folgen. Sicherheitsbehörden müssen daher umfassende Möglichkeiten zur Testung ihrer KI-Systeme zur Verfügung stehen.

Vertrauen ohne diese Transparenz?

Das Streben nach einer perfekten KI stellt für Sicherheitsbehörden ein Balanceakt zwischen Chancen und Risiken dar. Denn insbesondere Offenlegungspflichten und das Gebot einer umfassenden Transparenz gefährdet wiederum den Einsatzzweck. Eine umfassende Offenlegungspflicht von KI-Modellen und KI-Systemen, beispielsweise in einem Transparenzregister, kann und darf für Sicherheitsbehörden nicht gelten. Es wurde zu einem Automatismus führen, dass Kriminelle die Methodik von Sicherheitsbehörden nachlesen und sich ihnen so entziehen.

Doch wie schafft man dennoch Vertrauen ohne diese Transparenz? Dazu werden zwei Pfeiler gebraucht: Der erste Pfeiler umfasst die menschliche Aufsicht. Dabei ist es entscheidend, dass die KI adaptiv ist und sich kontinuierlich weiterentwickeln kann, ohne dass der Mensch die Kontrolle verliert. Einhergehend mit dem Gebot der menschlichen Aufsicht brauchen Sicherheitsbehörden Ressourcen, um ihre Mitarbeitenden zu schulen. Das Thema AI Literacy ist ebenfalls in der KI-Verordnung vorgeschrieben und seit dem 2. Februar 2025 Pflicht.

Die zweite Säule sind klare Verantwortlichkeits- und Aufsichtsstrukturen. Wer ist für die KI verantwortlich? Wer haftet, wenn eine KI falsche oder schädliche Entscheidungen trifft? Wem obliegt die Aufsichtspflicht? Diese Fragen müssen für das gesamte föderale System einheitlich geklärt werden, sodass kein Flickenteppich an (Fach-)Verantwortung entsteht. Und auch jede (Sicherheits-)Behörde muss entsprechende Verantwortlichkeiten festschreiben und Fachkompetenzen aufbauen.

Verwaltung muss Ressourcen zentralisieren

Die perfekte KI stellt für Sicherheitsbehörden ein wertvolles Werkzeug dar, um eine sicherere Welt zu schaffen. Doch ihre Entwicklung und ihr Einsatz erfordern größte Sorgfalt und Verantwortung. Nur durch eine ausgewogene Kombination aus technologischem Fortschritt und ethischer Reflexion kann die perfekte KI Wirklichkeit werden und ihren Platz als Schutzschild in einer zunehmend komplexen Welt finden.

All jene aufgeführten Aspekte einer vertrauenswürdigen, ethischen KI finden sich im AI Act. Mit der KI-Verordnung wurde Ethik gesetzlich vorgeschrieben und flankiert nunmehr das Grundgesetz und die umfassende Regulatorik im Bereich des Datenschutzes. Neben rechtlichen und ethischen Facetten auf der Suche nach einer perfekten KI im Sicherheitsbereich, sind jedoch weitere Herausforderungen zu meistern.

Im Bereich der öffentlichen Verwaltung müssen Ressourcen und Fachwissen zentralisiert werden, um dem Fachkräftemangel entgegenzuwirken und effizienter zu arbeiten. Aufgabendoppelungen und Dezentralisierung sind in diesem äußerst dynamischen und hybriden Themenfeld nicht zielführend. Fehlender Stellenzuwachs schadet dem langfristigen Fähigkeitsausbau zugunsten der digitalen Souveränität, dem Schutz kritischer Infrastrukturen und der Verbrechensbekämpfung im digitalen Raum. Nicht zuletzt gefährdet es die Bürgerinnen und Bürger dieses Landes sowie der Stabilität unserer Demokratie.

Die perfekte KI ist – zumindest heute – eine Illusion. Doch das sollte uns nicht entmutigen. Vielmehr ist es ein Aufruf, gemeinsam an Lösungen zu arbeiten: an besseren Daten, vertrauenswürdigen Algorithmen, klaren und eindeutigen rechtlichen Rahmenbedingungen und einer offenen Kommunikation mit der Bevölkerung. Denn nur durch einen ausgewogenen Ansatz, der technologische Innovation und gesellschaftliche Verantwortung vereint, können wir das Potenzial von KI sicher und nachhaltig entfalten.

Sophie Tschorr ist Leiterin der KI-Koordinierung in der Zentralen Stelle für Informationstechnik im Sicherheitsbereich in München (Zitis).