Kolumne : Bewährungsprobe fürs Digitalministerium: Von unsicherer Digitalisierung zu sicheren KI-Anwendungen

Frühere Bundesregierungen haben stets betont: Eine erfolgreiche Digitalisierung ist ohne IT-Sicherheit nicht möglich. In der Theorie ist Deutschland mit der ressortübergreifenden Einbindung des Bundesamts für Sicherheit in der Informationstechnik (BSI) in die zahlreichen Digitalisierungsprojekte des Bundes gut aufgestellt. In der Praxis ist es in den vergangenen Jahren jedoch immer wieder zu gravierenden Sicherheitsmängeln gekommen, etwa bei der Bund-ID, dem digitalen Führerschein oder der ID Wallet.

Auch bei der elektronischen Patientenakte sehen IT-Sicherheitsforscher:innen weiterhin erhebliche Sicherheitslücken. Verschärft wird das Problem dadurch, dass künftig vermutlich eine signifikante Menge an Digitalisierungsprojekten der Bundesverwaltung auf Künstliche Intelligenz (KI) setzen wird. Zwar sind KI-Elemente letztlich auch nur Software-Anwendungen. Trotzdem geht ihr Einsatz mit neuen Risiken einher, über die sich der neue Digitalminister Karsten Wildberger beizeiten Gedanken machen sollte.

Alles neu macht die KI?

Aktuell erleben wir rund um generative KI – insbesondere die großen Sprachmodelle – einen regelrechten Hype. Dieser Aufbruch birgt viel Potenzial, aber auch Risiken: Wer alles für komplett neu hält, übersieht leicht zentrale Sicherheitsfragen. Zwei typische, aber in ihrer Wirkung problematische Reaktionen prägen den Umgang mit Sicherheit in KI-Projekten.

Erstens: Sicherheit gilt vielen als nettes Zusatzmerkmal und nicht als Notwendigkeit. Aussagen wie „Es ist ja nur ein Machbarkeitsnachweis“ (Proof of Concept, PoC) oder „Wir hosten es in einer sicheren Cloud“ führen zu einem falschen Sicherheitsgefühl. Die Folge: Sicherheitslücken werden erst entdeckt, wenn es zu spät ist – etwa durch reale Kompromittierungen oder nachträgliche Sicherheitstests. Dass Sicherheit von Beginn an ein integraler Bestandteil der Entwicklung von KI-Anwendungen sein muss, wird dann schmerzhaft klar.

Zweitens: Nicht selten herrscht die Vorstellung, Sicherheit in KI-Anwendungen lasse sich nur durch radikale Neuerfindungen und völlig neue Mechanismen erreichen. In diesem Denken gelten bewährte Prinzipien der IT-Sicherheit, wie Rechte- und Zugriffsmanagement oder Web-Security, als überholt – stattdessen fließen erhebliche Mittel in teils unausgereifte Lösungen.

Beide Ansätze führen in die Irre: Entweder entstehen Systeme mit realen Sicherheitslücken – oder Sicherheit wird zur bloßen Fassade, die Vertrauen erweckt, aber nicht trägt.

Neue Technologie, erweiterte Angriffsfläche

Die Nutzung von Künstlicher Intelligenz in Software-Anwendungen verändert natürlich vieles – aber eben nicht alles. Auch KI-Anwendungen bleiben im Kern Software. Das bedeutet: Viele Prinzipien klassischer IT-Sicherheit behalten ihre Gültigkeit. Doch die Angriffsflächen werden größer, komplexer – und schwerer kontrollierbar.

Die Lieferkette KI-gestützter Systeme umfasst oft eine Vielzahl externer Bibliotheken, Trainingsdaten und vortrainierter Modelle. Hinzu kommen weitere sicherheitsrelevante Eigenarten von KI-Anwendungen. Das macht KI-Anwendungen anfällig – vergleichbar mit der Supply-Chain-Problematik in der klassischen IT, nur in größerem Maßstab. Hier eine Auswahl der Probleme, die sich beim Einsatz von KI-Anwendungen stellen:

• Eingaben in natürlicher Sprache oder Bildern erschweren die Validierung, da es sich um sequentielle und unstrukturierte Daten handelt.
• Prompt-Injections: Gezielte Manipulationen über scheinbar harmlose Benutzereingaben sind reale und schwer erkennbare Bedrohungen.
• Non-Human-Identities, also Maschinenkonten, benötigen differenzierte Rechtekonzepte.
• Interne Wissensquellen werden durch KI leichter durchsuchbar – und damit potenziell zur Datenquelle für ungewollte Leaks.
• Autonomes Verhalten erschwert Logging und Auditing – die Nachvollziehbarkeit leidet.
• Hosting: Da das Betreiben von KI-Modellen ressourcenintensiv ist, wird oftmals auf Cloudanbieter zurückgegriffen. Hier müssen Datenschutzfragen, aber auch Risiken beachtet werden, die durch das Nutzen geteilter Infrastruktur entstehen.

Sicherheit weiterdenken: Neue Anforderungen

Bei KI-Anwendungen gilt es immer zu prüfen, ob ihre Eigenarten dazu führen, dass bisherige IT-Sicherheitsprozesse angepasst werden müssen. Als konkretes Beispiel können hier Prozesse zur Behandlung von Schwachstellen bei generativer KI angeführt werden, etwa bei den großen Sprachmodellen (Large-Language-Models, LLMs).

Ähnlich wie bei Cloud-Only-Anwendungen bekommen Nutzende derzeit oftmals nicht mit, wenn es Schwachstellen gibt. Betreiber beheben die Schwachstellen einfach im laufenden Betrieb – ohne Update-Benachrichtigung, ohne CVE-Nummer und möglicherweise auch ohne jemals eine nationale Cybersicherheitsbehörde oder andere Kunden zu informieren. Bei großen Sprachmodellen wie ChatGPT kommt noch hinzu, dass Schwachstellen nur schwer zu beheben sind. Ein Neu-Trainieren oder das Vergessenlassen bestimmter Inhalte ist extrem aufwendig und teilweise unmöglich. Deswegen werden in der Praxis eher spezialisierte Filter (Guardrails) eingezogen. Guardrails sind jedoch eher Maßnahmen zur Erkennung und Verhinderung der Ausnutzung bestehender Schwachstellen, als deren vollständige Beseitigung.

Ein zusätzlicher Risikotreiber liegt darin, dass KI-Anwendungen Hersteller zu Software-Design-Entscheidungen verleiten, die aus IT-Sicherheitsperspektive haarsträubend sind. Ein Beispiel dafür ist Blackberrys Code-Anpassung bei seiner KI-IT-Sicherheitssoftware Cylance. Weil die Firma es in der geplanten Zeit bis zur Markteinführung offenbar nicht schaffte, einen spezifischen Fehlalarm aus ihrer KI-Anwendung herauszutrainieren, entschied sie sich dafür, eine fest verdrahtete Regel (Override) einzuprogrammieren.

Mit dem Ergebnis, dass mit ein bisschen Anpassung jede Schadsoftware als unproblematisch durchgewunken wurde. Ein weniger offensichtliches Beispiel ist Microsofts Entwicklung von Recall. Damit die KI-Anwendung zuverlässig funktioniert, werden neue sensible Datensätze erzeugt – darunter regelmäßig angefertigte Screenshots –, die für Kriminelle und Nachrichtendienste ein wahrer Schatz sind. Auch hierbei handelt es sich um eine bewusste Software-Design-Entscheidung, die zu einem Sicherheitsdesaster werden kann, das wir in der Ausprägung nicht hätten, wenn diese Entscheidung nicht getroffen würde.

Als letztes Beispiel für neue Risiken für die IT-Sicherheit bei KI-Anwendungen wäre KI Vibe Coding zu nennen. Also das Programmieren von Software, assistiert durch große Sprachmodelle. Problematisch hierbei ist unter anderem, dass so neue Anwendungen, auch KI-Anwendungen, programmiert werden, ohne dass jemand genau versteht, was im Code passiert. Auch vergrößert sich so die Chance, dass Security-by-Design-Prinzipien vernachlässigt werden. Es ist keine ganz neue Herausforderung, denn auch das blinde Verwenden von Open Source Code, oder Code von Stack Overflow oder Github Issues kann zu ähnlichen Problemen führen.

Aber Vibe Coding ist eine Verschärfung der bisherigen Problematik, zum Beispiel wenn das LLM gezielt Schwachstellen in Code einbaut. Auch senkt es die Hemmschwelle für Menschen ohne Programmierkenntnisse, Code zu „erstellen“ und in den produktiven Betrieb zu bringen.

KI-Resilienz statt Security-Theater

Wir haben in diesem Beitrag vor allem die sicherheitstechnische Perspektive auf KI eingenommen. Doch ein Blickwechsel lohnt sich: Während die KI-Debatte allmählich vom Schutz vor unbeabsichtigten Schäden durch Fehlverhalten des Systems (Safety) zum Schutz vor absichtlichen Manipulationen durch Dritte (Security) übergeht, denkt die Cybersicherheits-Community längst in Begriffen wie Resilienz.

Also das Vorhersagen, Widerstehen, Erholen von und Anpassen an widrige Umstände, Beanspruchungen, oder Sicherheitsverletzungen. Unabhängig davon, ob diese aus internen Fehlern oder externen Manipulation resultieren. Und die Perspektive der KI-Resilienz sollten wir ab sofort einnehmen – nicht erst in fünf Jahren. Denn mit der Weiterentwicklung von Chatbots zu KI-Agenten steigt nicht nur die Komplexität, sondern auch das Schadenspotenzial bei Vorfällen. Während Chatbots lediglich Informationen liefern, die dann noch von Menschen manuell weiterverarbeitet werden müssen, verarbeiten KI-Agenten diese Informationen teilweise ohne menschliches Eingreifen automatisch weiter.

Sichere Skalierung und resiliente KI-Anwendungen benötigen eine tragfähige Basis – und die beruht auf klassischen IT-Sicherheitsprinzipien. Wer KI ohne diese Grundlage skaliert oder vermeintlich innovative Sicherheitslösungen implementiert, setzt sich enormen Risiken aus. Die gute Nachricht: Die meisten dieser Herausforderungen sind nicht prinzipiell neu. Es gibt erprobte Methoden – von der Lieferkettenanalyse bis zum Rechtemanagement. Sie müssen jedoch frühzeitig und konsequent auf die neuen Kontexte angewendet werden.

Anders ausgedrückt: Weder die Bundesregierung noch Unternehmen müssen das Rad neu erfinden. Aber sie brauchen bessere Reifen, um für schwieriges Terrain gerüstet zu sein.

Sven Herpig ist Leiter für Cybersicherheitspolitik und Resilienz bei Interface (vorher: Stiftung Neue Verantwortung).

Paul Zenker ist Berater bei der KPMG für Cybersicherheit mit einem Fokus auf AI-Security. Er ist Autor des Buches „GenAI Security. Sichere Chatbots und Agentensysteme“

In unserer Reihe „Perspektiven“ kommentieren unsere Kolumnist:innen regelmäßig aktuelle Entwicklungen, Trends und Innovationen im Bereich Cybersicherheit ein. Zuletzt von Herpig erschienen: Cybersicherheit: Zeit für eine Reform?