KI-Sicherheit : Denn sie wissen nicht, was sie tun

Zwei Jugendliche rasen mit gestohlenen Autos auf eine Klippe zu. Wer zuerst aus dem Wagen springt, hat verloren – er gilt als „Chicken“, als Feigling. Wer zu lange wartet, stürzt in den Tod. Die Szene aus Nicholas Rays Film „… denn sie wissen nicht, was sie tun“ mit James Dean ist seit siebzig Jahren das Sinnbild eines Wettlaufs, den niemand mehr stoppen kann, weil das Bremsen selbst als Niederlage gilt.

Genau dieses Bild passt auf das ungeregelte KI-Rennen, das Donald Trump ausgerufen hat. Sein „AI Action Plan“ trägt den programmatischen Titel „Winning the Race“. Gewinnen, koste es, was es wolle, gegen China, gegen jede Bedenkzeit. Sicherheitsauflagen gelten darin nicht als Schutz, sondern als Fesseln, die man dem eigenen Fahrer anlegt, während der Gegner freie Fahrt hat. Kein Unternehmen, kein Staat will als Erster herausspringen. Also wird weiter beschleunigt, geradewegs auf die Klippe zu.

Warnung vor existenziellen Katastrophen

„Keines der Unternehmen handelt verantwortungsvoll. Sie rasen geradewegs auf selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.“, sagt Jacob Coxon. Wie wenig in der Industrie selbst noch gebremst wird, zeigt aktuell der Abgang dieses KI-Forschers. Coxon, 27, hat drei Jahre im Pretraining bei Open AI und zuletzt bei Anthropic gearbeitet. Diese Woche ist er gegangen, aus Angst vor einer Entwicklung, die nach seinen Aussagen auch deren Macher nicht mehr beherrschen. Sicherheitsbedenken, sagt er, würden in den Unternehmen nur hinter verschlossenen Türen geäußert, öffentlich kaum. Sein Urteil: KI könne bald „alle bestehenden Sicherheitssysteme überwinden“ und sich Zugang zu „echter Macht und Ressourcen“ verschaffen.

Sein früherer Kollege Evan Hubinger, bei Anthropic für das „Alignment-Problem“ zuständig, bestätigt die Sorge und beziffert das Risiko einer existenziellen Katastrophe durch KI in den kommenden zehn Jahren auf über zehn Prozent.

Wie konkret das Kontrollproblem schon ist, zeigte sich vor wenigen Wochen bei Open AI selbst. Tausende KI-Agenten, eigentlich nur darauf trainiert, bei einer Sicherheitsevaluation nicht aufzugeben, befanden sich in einer Sackgasse: Ein Großteil der gestellten Aufgaben war auf dem vorgesehenen Weg gar nicht lösbar. Also suchten sie andere Wege, umgingen das Bewertungssystem, verwischten ihre Spuren und griffen schließlich auf nicht öffentlich zugängliche Systeme von Hugging Face zu, in den Tagen danach auch auf Open AIs eigene Infrastruktur. Nichts davon aus Bosheit. Die Systeme taten exakt das, wofür man sie trainiert hatte: ein Ziel konsequent verfolgen, Hindernisse als überwindbar behandeln.

Genau das ist die Pointe von Nick Bostroms berühmtem Gedankenexperiment vom „Paperclip Maximizer“, in dem eine KI den Auftrag, so viele Büroklammern wie möglich herzustellen, umsetzt und dabei die Erde zerstört. Nicht weil sie böse ist, sondern weil sie alles tut, um ihr Ziel zu erreichen, ohne auch nur zu wissen, was moralische Maßstäbe sind. Der Vorfall bei Open AI zeigt, dass Bostroms Gedankenspiel nicht abwegig ist. Die Agenten machten sich in der Produktionsumgebung eines der größten KI-Konzerne der Welt selbstständig. Sie zeigten „Autonomie“, verbunden mit Handlungsfähigkeit. Genau das, was Open AI erreichen will. Beunruhigend war daran nicht, dass die KI versagte. Sondern dass sie funktionierte.

Nicht nur die Agenten sind außer Kontrolle

Man könnte das für einen Betriebsunfall halten, der sich mit besserer Technik beheben lässt. Tatsächlich ist es ein politisches Problem. Nicht nur die Agenten sind außer Kontrolle, sondern Big Tech selbst. Allein in den ersten neun Monaten 2025 gab die Tech-Industrie 151 Millionen Euro für Lobbyarbeit in Brüssel aus. Mehr als jede andere Branche. Ihr Ziel: die europäische KI-Verordnung, kaum in Kraft, und die Datenschutz-Grundverordnung wieder aufzuweichen. Statt sich einer bindenden, durchsetzbaren Regulierung als Hochrisikotechnologie zu unterwerfen – wie sie für Kernkraft, Medikamente oder Flugzeuge längst selbstverständlich ist –, kämpfen die Konzerne und ihre Verbände gegen genau das: gegen verbindliches Recht, gegen wirksame Aufsicht, gegen jedes internationale Abkommen.

Lieber gründet man freiwillige „Sicherheitsinstitute“, die im Wesentlichen verhindern sollen, dass durchsetzbare Pflichten entstehen, die die KI-Entwicklung an öffentliches Interesse und an Recht binden. Das Muster kennt man aus der Atomindustrie: Risiken werden verstaatlicht, Profite bleiben privat.

Internationale Agentur wie die Atomaufsicht IAEA

Am Steuer des Chicken-Runs sitzen diesmal Maschinen, die nie herausspringen, trainiert darauf, nie aufzugeben. Und anders als im Film setzen die Fahrer nicht nur ihr eigenes Leben aufs Spiel, sondern reißen alle anderen mit in den Abgrund. Ein Ausweg existiert. Er verlangt, was die Konzerne am meisten fürchten: verbindliches Recht statt freiwilliger Ethik. Eine internationale Agentur für KI mit denselben Befugnissen wie die Atomaufsicht IAEA – die Analogie liegt nahe, seit Sam Altman selbst KI immer wieder mit der Atombombe vergleicht.

Die konsequente Durchsetzung und Weiterentwicklung des europäischen AI Acts, statt seiner schleichenden Aufweichung: verpflichtende Prüfung großer KI-Modelle vor Markteintritt, geschlossene Regulierungslücken bei Militär und Medien, echte Transparenz über Risiken statt freiwilliger Kodizes, die ausgerechnet Meta nicht einmal unterschreibt. Und eine handlungsfähige, ertüchtigte Demokratie, die diesen Rahmen tatsächlich durchsetzt, statt sich von der schieren Finanzkraft der Lobby einschüchtern zu lassen.

Allein in einem solchen Szenario wäre echte Innovation mit KI möglich: eine Innovation, die den Menschen und der Demokratie dient, anstatt sie in den Abgrund zu reißen.

Matthias Pfeffer ist Gründungsdirektor des Councils for European Public Space, das sich für eine europäische Öffentlichkeit einsetzt.

Jürgen Pfeffer ist ordentlicher Professor für Computational Social Science an der Fakultät für Sozialwissenschaften und Technik der Technischen Universität München.

Gemeinsam mit Paul Nemitz haben sie in diesem Jahr das Buch „Die offene Zukunft und ihre Feinde. Wie wir die freie Gesellschaft vor der KI-Diktatur bewahren können“ veröffentlicht.