KI-Testumgebungen : Der Open-AI-Hack und die Grenzen der Prüfverfahren

Im Juli 2026 meldete Hugging Face einen Einbruch in Teile seiner Infrastruktur. Nach Angaben des Unternehmens handelte es sich um einen hoch entwickelten, KI-gestützten Angriff. Kurz darauf erklärte Open AI, dass eigene Modelle dahintersteckten.

Während einer internen Cyber-Evaluation hatten die Modelle Schwachstellen miteinander verkettet, sich Internetzugang verschafft und schließlich Code auf fremden Produktivsystemen ausgeführt, um an die Musterlösungen der Testaufgabe zu gelangen. Das gewünschte Ergebnis lag vor, doch dieser Weg dorthin war nicht vorgesehen gewesen.

Bemerkenswert ist, dass eine Evaluation, die maximale Fähigkeiten sichtbar machen sollte, den Vorfall selbst hervorgebracht hat. Die Frage lautet also nicht, ob Modelle nach Schlupflöchern suchen – Reward Hacking ist hinreichend bekannt. Sie lautet: Was genau zertifiziert eine Evaluation eigentlich?

Eine Frage der Testumgebung

Sicherheitstests messen keine abstrakten Eigenschaften wie „Das Modell versteht das Problem“, „Es denkt über die Lösung nach“ oder „Es handelt ethisch korrekt“. Stattdessen konkretisieren sie solche Erwartungen mithilfe von Aufgaben, die sich numerisch erfassen lassen: etwa die Zahl gefundener Schwachstellen in einem Benchmark, die Zahl entwickelter funktionsfähiger Exploits oder der Anteil korrekter Antworten in einem Multiple-Choice-Test.

Diese Evaluationen zeigen, welche Leistung ein Modell unter bestimmten Testbedingungen erzielt. Sie messen jedoch weder unmittelbar dessen Sicherheit noch legen sie eine feste Obergrenze seiner Fähigkeiten fest. Gemessen wird immer das Paar aus Modell und Scaffold, also das „Gerüst“ drumherum: Prompt, Toolzugriff, Rechenbudget, Laufzeit.

Ändert sich das Scaffold, verschiebt sich das Ergebnis, ohne dass ein einziges Gewicht angefasst wurde. Ein erfolgreicher Test belegt daher, dass eine bestimmte Fähigkeit unter den jeweiligen Bedingungen vorhanden ist. Ein gescheiterter Test beweist dagegen nicht, dass sie grundsätzlich fehlt.

Das grundlegende Problem heutiger Evaluationsverfahren ist dabei der Zeithorizont. Ein großer Teil der heutigen Sicherheitsmechanismen ist auf einzelne Ausgaben, Tool-Aufrufe oder Entscheidungen kalibriert: Im Training bewerten Menschen mehrere Antworten auf einen Prompt, Guard-Modelle bewerten eine Ausgabe oder einen Werkzeugaufruf. Beides sind Urteile über Schritte, nicht über Vorhaben.

Das funktioniert, solange eine Aufgabe überschaubar bleibt und in wenige abgegrenzte Schritte zerfällt. Agentische Systeme aber planen über Stunden, greifen auf Werkzeuge zu und passen ihre Strategie an Zwischenergebnisse an. Damit wandert das Risiko genau dorthin, wo kurze Trainingssequenzen nie hingereicht haben: in die lange Trajektorie, also die Gesamtabfolge. Jeder einzelne Schritt ist dabei an sich zulässig, der Verlauf ist es nicht.

Die Grenzen von Prüfverfahren

An dieser Stelle wurde nichts versäumt, es ist schlichtweg ein ungelöstes Problem. Für offene Aufgaben lässt sich selten vollständig spezifizieren, welche Zwischenschritte legitim sind und welche Kombination zunächst legitimer Schritte auf ein unzulässiges Gesamtziel hinausläuft. Für mehrstündige, verzweigte Arbeitsverläufe existiert dafür kein Verfahren, das sich skalieren ließe.

Aus dem Horizontproblem ergibt sich ein zweites Problem. Um die Leistungsgrenze eines Modells zu bestimmen, müssen Evaluatoren gerade jene Schutzschichten reduzieren, die seine Fähigkeiten im Produktbetrieb begrenzen sollen. Die gefährlichste Konfiguration eines Modells existiert deshalb nicht im Produkt, sie befindet sich im Labor. Bei hinreichend leistungsfähigen Modellen muss die Testinfrastruktur das Modell zugleich wie einen potenziellen Angreifer behandeln.

Damit ist die Testumgebung kein Prüfstand mehr, sie ist selbst ein sicherheitskritisches System. Sie muss verhindern, dass ein Modell aus einer simulierten Aufgabe heraus auf reale Infrastruktur zugreift. Und sie ist nur so gut wie ihr schwächster zugelassener Pfad.

Dass Frontier-Modelle unbekannte Schwachstellen finden und in funktionsfähige Exploits überführen, ist spätestens seit dem Frühjahr belegt. Wer solche Modelle prüft, kann sich nicht auf das Wohlverhalten des Prüflings verlassen, sondern braucht klassische Systemsicherheit: Netzwerkausgänge grundsätzlich gesperrt, harte Obergrenzen für Aktionsrate und Schadensreichweite sowie eine Überwachung, die den Hinweis auf eine Anomalie am Samstagmorgen tatsächlich bei einem Menschen aufploppen lässt.

Fähigkeitstests sind darauf ausgelegt, eine bestimmte Leistung unter kontrollierten Bedingungen messbar und vergleichbar zu machen. Auf der anderen Seite verdecken jedwede Kontrollen die Aussagekraft der Tests: Sie erfassen nur einen kleinen Ausschnitt möglicher Einsatzbedingungen.

Evaluationen als fortlaufender Prozess

Der Vorfall bei Hugging Face zeigt damit weniger das Versagen eines einzelnen Modells als die Grenzen eines gesamten Prüfverfahrens. Ein System kann in einer Evaluation erfolgreich erscheinen und dennoch auf eine Weise handeln, die außerhalb der Erwartungen der Entwickler liegt. Sicherheit lässt sich deshalb nicht allein aus guten Benchmark-Ergebnissen, wirksamen Filtern oder unauffälligen Einzelaktionen ableiten.

Für Unternehmen folgt daraus, dass Evaluationen stärker als fortlaufender Prozess verstanden werden müssen. Neben standardisierten Fähigkeitstests braucht es realitätsnahe interne Erprobungen, eine Überwachung längerer Handlungsabläufe und technische Barrieren, die auch dann greifen, wenn das Modell einen unerwarteten Lösungsweg einschlägt.

Der Open-AI-Fall beantwortet somit nicht, ob ein Modell sicher ist. Er zeigt, dass die Frage falsch gestellt ist: Sicherheit ist sowohl eine Eigenschaft von Modellen als auch von Deployments. Je selbstständiger KI-Systeme handeln, desto weniger genügt es, einzelne Ausgaben zu prüfen. Bewertet werden muss das Zusammenspiel aus Modell, Werkzeugen, Infrastruktur und Kontrolle, und zwar über den gesamten Verlauf einer Aufgabe hinweg.

Felix Mächtle promoviert im Bereich „IT-Sicherheit für generative Systeme” am Institut für IT-Sicherheit der Universität zu Lübeck und ist Mitglied im AI Grid-Netzwerk für junge KI-Forschende.