Zurück auf Los? : Wie KI unsere Vorstellung von Security Engineering verändern könnte

Theoretisch wissen wir seit etwa 50 Jahren, wie man sichere Computersysteme baut: kleine, robuste und überprüfbare Komponenten, Hardware-Roots-of-Trust, Integritätsmechanismen mit Attestierung, starke Isolation, Unumgehbarkeit von Sicherheitsrichtlinien und vieles mehr. Diesen Prinzipien kann man durchaus in der Praxis folgen, so wie Verfechter von „Secure by Design“-Systemarchitekturen – zu denen ich mich selbst zähle – es tun.

Wie wir gleich sehen werden, hat dieser Ansatz auch im anbrechenden KI-Zeitalter nichts von seiner Wirksamkeit verloren. Und dennoch geht die IT-Branche jeden Tag Kompromisse im Systemdesign ein, getrieben von Budgets, Time-to-Market, Benutzerfreundlichkeit, Effizienz, wie auch immer man es nennen möchte. Vorsichtshalber geht man davon aus, der Angreifer sei bereits in die Infrastruktur eingedrungen – „Assume Breach“ – und man patcht, so gut es geht. Doch die allgemeine Cybersicherheitslage verbessert sich nicht spürbar.

Und jetzt kommt auch noch die zusätzliche Bedrohung durch KI. Zunächst einmal: Die Fortschritte bei Modellfähigkeiten, generativer KI und der daraus entstehenden Innovationsspirale – sprich Automatisierung – sind beeindruckend. Ihre nächste Evolutionsstufe heißt Agentic AI. Technisch betrachtet handelt es sich um ein ultimatives kybernetisches System, das wie eine Art unendliche Rückkopplungsschleife wirkt. „Programm“ und „Daten“ verschmelzen durch generative KI miteinander: Daten werden zu Programmcode. Nicht durch einen erfolgreichen Hack oder eine ausgenutzte Schwachstelle, sondern systemisch. Und weil dieser Programmcode probabilistisch erzeugt wird, wird er stochastisch.

Das ist ein völlig neues Paradigma, oder? Es gibt keine statische Anwendung mehr, die gegen ein Sicherheitsmodell geprüft werden kann. Es gibt keine Programmiersprache mehr. Also gibt es keine Sicherheit mehr?

Nun, das geht – für den Moment – zu weit. Wir sollten einen Schritt zurücktreten und vorn anfangen: Schauen wir, wo wir beim Einsatz von KI in der Cybersicherheit stehen.

Automatisiertes Hacking

Bis vergangenes Jahr brauchte man für einen erfolgreichen Cyberangriff noch ein erfahrenes Team von Hackern. Im Jahr 2025 wurden KI-Modelle aber leistungsfähig genug, um diese Fähigkeiten zu demokratisieren. Sie nutzen größtenteils bereits bekannte Schwachstellen aus. Doch davon gibt es im Feld unzählige, weil Patch-Management in produktiven Umgebungen oft schwierig zu organisieren ist.

Wir werden vermutlich einen massiven Anstieg automatisierter Angriffe auf ungepatchte Systeme erleben. Und wir werden auf die harte Tour lernen, dass die Qualität der Software, die unsere Branche heute produziert, kein Fundament ist, auf dem wir weiterbauen sollten. Bei Secunet fordern wir deshalb seit jeher, auf Secure-by-Design zu setzen statt auf eine Kultur aus „Assume Breach“ und ständigem Patchen.

KI-gestützte Schwachstellenanalyse

Im März und April 2026 sahen wir erstmals Modelle wie Mythos, die offenbar außergewöhnlich gut darin sind, neue Schwachstellen zu finden und direkt passende Exploits zu schreiben. Aber selbst ohne Mythos liegen bereits extrem mächtige Open-Weight-Modelle auf dem Tisch. Optimistisch betrachtet kann das zu deutlich besserer Software führen, weil solche Modelle auch automatisiert in QA-Prozesse integriert werden können.

Pessimistisch betrachtet existiert draußen jedoch eine gewaltige Menge schlechter Software, und das auch in kritischen Systemen. Genau deshalb könnten diese Fähigkeiten ebenso zu verheerenden Angriffen führen. Das Gegenmittel: Secure-by-Design.

Agentische KI

Aus Sicht eines Angreifers stellt agentische KI lediglich eine weitere Stufe der Demokratisierung von Hacking-Fähigkeiten dar, aus Sicht der Entwickler befinden wir uns definitiv inmitten einer Revolution. AI-basiertes Coding – ein Prompt lässt selbst sehr komplexe Funktionalität in Code entstehen – gibt es bereits. Wie kann spontan durch Agenten generierter, vergänglicher Code sicher und vertrauenswürdig sein?

Hier kann uns Mathematik helfen, die widerspruchsfreie Sprache, die wir haben, um Probleme zu beschreiben und Lösungen zu beweisen. Das ist genau der Ansatz, den wir mit formalen Methoden in der Softwareentwicklung als die Königsdisziplin von „Secure-by-Design“ schon lange betreiben. Auch hier hat KI eine gute Seite: Sie hilft, Beweise zu formulieren, die heute noch manuell erzeugt werden müssen.

Was sich ändert und was bleibt

Durch KI ändern sich die Fähigkeiten, die Geschwindigkeit, die Benutzererfahrung, aber auch das Schadenspotenzial dramatisch. Die grundlegenden Probleme und ihre Lösungsmöglichkeiten ändern sich jedoch kaum. Sie verlagern sich nur.

1. Die Sicherheit der Infrastruktur bleibt von größter Bedeutung. Die Cloud-Ebene zum Beispiel spielt eine zentrale Rolle bei der Durchsetzung grundlegender Sicherheitsrichtlinien. KI ist hier kein Game Changer, aber wir müssen KI nutzen, um die Infrastruktur noch sicherer zu machen.
2. Die Begrenzung des Aktionsbereichs eines Agenten bleibt ein sinnvolles Konzept. Es geht darum, den „Explosionsradius“, also das Ausmaß des Schadens, falls etwas schiefgeht, möglichst gering zu halten.
3. Datensicherheit wird noch wichtiger. Alle Daten für agentische Arbeit müssen so detailliert gekennzeichnet und gesichert werden, wie es die spätere Zugriffskontrolle erfordert.
4. Richtlinienverwaltung wird der anspruchsvollste Teil.
5. Sicherheit und Vertrauenswürdigkeit der Agenten sowie der KI selbst werden zentral. Letztendlich brauchen wir von vornherein vertrauenswürdige und fehlerfreie Agenten, da die Komplexität sonst nicht bewältigt werden kann. Doch es bleibt noch zu klären, was „vertrauenswürdig“ im Kontext von KI-Modellen, die probabilistischer Natur sind, überhaupt bedeutet.

Insgesamt scheint es einerseits ein langer Weg und eine große Herausforderung zu sein, ein System zu entwerfen und aufzubauen, das eine sichere und leistungsfähige Plattform für agentische KI bietet. Andererseits wirkt genau das vielversprechend, weil ein solches System bislang niemand wirklich hat. Und ist das nicht die Art von Herausforderung, die ein Cybersecurity-Unternehmen reizen sollte? Wir bei Secunet nehmen sie jedenfalls gern an.

Kai Martius ist Chief Technology Officer von Secunet Security Networks.