Open AI-Vorfall : Die IT-Security muss erfolgreiche KI-Hacks einkalkulieren

Ein KI-Modell von Open AI verlässt eigenständig seine Testumgebung und verschafft sich Internetzugang. Anschließend kompromittiert es die Infrastruktur einer externen Plattform: Hugging Face. Dieser Vorfall ereignete sich im Juli bei Tests eines Large-Language-Models (LLM) der KI-Firma. Das Modell sollte in einer Sandbox eine Testaufgabe lösen. Als dies nicht gelang, nutzte es eine Schwachstelle, fand einen Weg ins Internet und griff von dort auf Hugging Face zu.

In der Forschung ist dieses Verhalten der unkonventionellen Abkürzungen seit Jahren bekannt. Beim Specification Gaming optimiert ein KI-System Spielregeln statt der eigentlichen Aufgabe; beim Reward Hacking nutzt es ein Belohnungssignal unerwünscht aus. Spielagenten verwendeten Fehler in der Spielmechanik, Simulationen Lücken der Physik-Engine.

KI-Modelle handeln zielorientiert, nicht böswillig

Neu ist nicht die kreative Abkürzung, sondern ihre Umgebung: eine reale IT-Infrastruktur. Es ist das nächste Level eines bekannten Problems: Die KI tut, was sie kann, aber nicht unbedingt, was wir wollen. Die KI-Forschung nennt es Alignment-Problem: Wie bringen wir ein Modell dazu, genau das zu tun, was wir beabsichtigen, und nichts anderes? Und wie sichern wir ab, dass es das auch dann noch tut, wenn es leistungsfähig genug wäre, einen kreativen Umweg zu finden?

Das Open AI-Modell hat nicht „böswillig“ gehandelt. Es wurde darauf trainiert, eine Aufgabe zu lösen. Die Sandbox war ein Hindernis. Also wurde es auf dem Weg zum Ziel überwunden. Der Open AI-Vorfall ist eine konkrete Warnung für Unternehmen: Durch Generative KI verändert sich die Bedrohungslage, die eine veränderte Aufstellung der IT-Security erforderlich macht.

Kritische Unterscheidung zwischen KI-Modell und -Agent

Während klassische KI-Modelle Fragen beantworten und passiv bleiben, kann die Selbstständigkeit von KI-Agenten die Sicherheitsfrage verschieben. KI-Agenten analysieren Daten, lernen aus Mustern und verfolgen Ziele. Sie rufen aktiv APIs auf, schreiben Code oder führen ihn aus. Ohne menschliches Zutun oder Steuern. Darin liegt ihre große Stärke und ihr Sicherheitsrisiko. Das „ausgebüchste“ Open AI-Modell zeigte agentische Fähigkeiten, indem es die Situation analysierte, Lösungen suchte, eine Sicherheitslücke ausnutzte und sich externen Zugriff verschaffte.

Als IT-Security-Experte beim Tech-Unternehmen Iteratec merke ich, wie Hochleistungs-KI unsere Sicherheitslandschaft grundlegend verändert. Mehr Tempo, stärkere Skalierung. Sowohl auf der Angriffs- als auch auf der Verteidigungsseite. Die Zeit zwischen der Veröffentlichung einer Schwachstelle und dem ersten Exploit wird immer kürzer. 2025 lagen zwischen CVE (Common Vulnerabilities and Exposures)-Veröffentlichung und erstem bestätigten Angriff in freier Umgebung nur 21,5 Tage; Tendenz weiter fallend in 2026. Und KI treibt diesen Trend auf der Angriffsseite sukzessive voran.

Unternehmen müssen IT-Security neu denken

Klassische Präventionsmaßnahmen wie Firewalls oder Virenscanner reichen zukünftig nicht mehr aus. Technische Begrenzungen halten leistungsfähigen KI-Systemen nicht stand. Die IT-Security muss erfolgreiche Hacking-Angriffe und Kontrollverlust einkalkulieren. Entscheidend ist Resilienz, nicht die Illusion vollständiger Prävention. Unternehmen müssen ihre Sicherheitsarchitektur daher neu denken.

Beispielsweise sollten KI-Modelle, allen voran agentische Systeme, nur ein Minimum an Zugriffsrechten erhalten. Schon ein Internetzugang erfordert exakte Rahmenbedingungen. Dabei greifen das Prinzip des Least Privilege und das Zero-Trust-Modell ineinander: Die IT-Security behandelt kein System, keinen User, keinen KI-Agenten automatisch als vertrauenswürdig. Selbst, wenn er bereits im Netzwerk ist. Jede Interaktion wird verifiziert, was den Schaden begrenzt, wenn ein System kompromittiert wird.

Auch Guardrails helfen dabei, dem Handeln eines KI-Systems wirksame Grenzen zu setzen. Regeln und Filter verhindern dabei Datenabflüsse. Sie schränken Halluzinationen und unerwünschte Aktionen ein. Daher gehören Guardrails für den Produktivbetrieb eines KI-Systems zum Pflichtprogramm.

Ein weiterer Risikofaktor im IT-Umfeld sind monolithische Architekturen. Unternehmen sollten KI-Systeme in kleinen, isolierten Einheiten strukturieren. Dieser Schritt begrenzt potenzielle Schäden und sollte nicht nur für KI-Architekturen, sondern auch für klassische IT-Systeme Anwendung finden. Zusätzlich wichtig: das KI-Pentesting. Wie klassische Software müssen auch KI-Systeme gezielt getestet werden, bevor andere ihre Schwachstellen ausnutzen. Dabei geht es um technische Schwachstellen ebenso wie um Halluzinationen und Qualitätsmängel.

Grundlegend benötigen Unternehmen zunächst klare Regeln dafür, wie KI eingesetzt wird: fundierte Governance-Strukturen. Dazu gehören eine eindeutige KI-Nutzungsrichtlinie, die Integration des EU AI Acts und die Umsetzung von Datenschutz-by-Design nach Art. 25 der Datenschutzgrundverordnung. Diese To-dos sind absolute Pflicht im modernen IT-Unternehmensumfeld.

Keine Panik, aber Handlungsbedarf

Der Open AI-Vorfall ist eine Warnung für alle Betreiberinnen und Betreiber von KI-Agenten: unkontrolliert operierende KI-Agenten sind kein Science-Fiction-Szenario mehr, sondern eine realistische Gefahr. Unternehmen müssen sich darauf vorbereiten, dass sie die Kontrolle über ihre KI-Agenten verlieren und diese Schaden bei Dritten verursachen. Deshalb sind eine gute Absicherung und enge Überwachung ihrer KI-Systeme ein notwendiges Minimum.

Jan Girlich ist IT-Security-Experte bei Iteratec und ein Sprecher des Chaos Computer Club.