Künstliche Superintelligenz : Wettbewerbsfähigkeit schützt nicht vor Kontrollverlust

Nun ist es passiert. Ein KI-System hat sich verselbstständigt, ist aus seiner Testumgebung ausgebrochen und hat eine fremde Plattform gehackt. Open AI benötigte mehrere Tage, um dies zu bemerken. Der Vorfall ist die logische Folge einer Entwicklung, vor der unter anderem Pause AI und Control AI seit Jahren warnen.

Die Modelle werden schneller, fähiger und agieren zunehmend autonom. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) spricht seit Mai von einer neuen Zeitrechnung der Cybersicherheit. Die führenden KI-Unternehmen arbeiten auf die Künstliche Superintelligenz hin, ein System, das dem Menschen in allen Aufgaben um ein Vielfaches überlegen sein soll – jedoch ohne zu wissen, wie man dieses kontrollierbar machen kann.

Bisher hielt sich der Schaden in Grenzen. Die angegriffene Firma erkannte den Hack und erlangte die Kontrolle zurück. Dafür war sie aber selbst schon auf KI angewiesen. Im Falle einer Superintelligenz droht ein Kontrollverlust, der zur existentiellen Gefahr für die Menschheit werden kann.

KI, die schlauere KI baut, die schlauere KI baut...

Der Digitalverband Bitkom hat im Juli ein Positionspapier vorgelegt. Das Papier fordert, die Vorbereitung auf Artificial General Intelligence (AGI) zur nationalen Priorität zu machen, und empfiehlt dafür Rechenzentren, Wagniskapital und Fachkräfte.

In der darin enthaltenen Analyse wird ein Vorgang beschrieben, den Fachleute rekursive Selbstverbesserung nennen: KI, die die KI-Forschung automatisiert, könnte „in eine sich selbst verstärkende Rückkopplungsschleife münden, die zu beschleunigtem exponentiellem KI-Fortschritt führt“. Die daraus entstehenden Szenarien reichten „bis hin zu AGI und darüber hinaus“. Gemeint ist Superintelligenz.

Bei Anthropic ist diese Automatisierung schon im Gange. Vor zwei Jahren wurden nur wenige Prozent des Codes mit KI generiert. Heute über 80 Prozent. Die unabhängige Organisation Metr misst, dass sich die Länge der Programmieraufgaben, die führende Modelle eigenständig bewältigen, seit 2024 etwa alle drei Monate verdoppelt.

Spätestens seit dem Open-AI-Zwischenfall schlägt die Sorge auch bei den KI-Entwicklern in Warnungen um. Am 28. Juli forderten mehr als tausend Beschäftigte führender KI-Unternehmen die US-Regierung auf, eine internationale Anstrengung zu unterstützen, um das Tempo der automatisierten KI-Entwicklung steuerbar zu machen. Unterzeichnet haben auch der Vorstandsvorsitzende von Anthropic und die Chefwissenschaftler von Open AI und Meta. Im Aufruf steht, es bestehe ein reales Risiko, dass sich die Entwicklung so weit beschleunigt, dass wir die entstehenden Systeme nicht mehr verstehen oder kontrollieren können.

Was am Ende dieser Schleife steht

KI liefert schon heute enormen Fortschritt in Medizin und Industrie und der Nutzen wird weiter wachsen. Europa sollte diese Chancen ergreifen und spezialisierte KI vorantreiben. Superintelligenz ist davon zu trennen. Ein System, das unsere Intelligenz in den Schatten stellt, ist nicht kontrollierbar, schon allein deswegen, weil wir dessen Strategien und Verhaltensweisen nicht vorhersehen können.

Die Gefahren reichen bis zur Auslöschung der Menscheit und eine Superintelligenz muss uns dafür nicht feindselig gegenüberstehen. Es genügt, dass ihre Ziele nicht genau mit unseren übereinstimmen. Fachleute nennen das das Alignment-Problem. Wir Menschen sind Ameisen gegenüber nicht feindselig eingestellt, trotzdem kümmern wir uns nicht um deren Lebensraum, wenn wir eine Autobahn bauen. Schon heute tat die KI nicht nur das, was Open AI gefordert hat, sondern griff auch noch ein anderes Unternehmen an.

Kein Instrument setzt an der Entwicklung an

Der AI Act beinhaltet keine Genehmigungspflicht für KI-Modelle. Die Risiken bei der Entwicklung bewerten die Entwickler selbst. Erst wenn das Modell auf dem Markt ist, kann die Kommission eingreifen.

Pause AI Deutschland hat die Bundesregierung nach einem Instrument gefragt, das präventiv ansetzt, damit es gar nicht erst zu katastrophalen Unfällen kommt. Im Februar 2026 unterzeichneten mehr als 150 in Deutschland tätige Professorinnen und Professoren einen Appell zu roten Linien in der KI-Entwicklung. Die Antwort des Digitalministeriums vom 7. April 2026 verweist auf „vorrangig bestehende Foren und Formate", vom UN-Wissenschaftspanel bis zum AI Act. Die Entwicklung selbst anhalten kann nichts davon.

Die Lücke im Bitkom-Papier

Der Bitkom will Souveränität erreichen, indem der Standort Deutschland auf AGI vorbereitet wird. Im Papier steht, nur mit eigenen Fähigkeiten werde Deutschland die Technologie „nach eigenen Werten“ einsetzen können. Eigene Fähigkeiten schützen aber nur vor Abhängigkeit, nicht vor dem KI-Kontrollverlust, den das Papier selbst als systemisches Risiko nennt. Eine Standortpolitik alleine reicht dafür nicht, stattdessen braucht es globale Regeln.

Die Turing-Preisträger Geoffrey Hinton und Yoshua Bengio fordern in einer internationalen Erklärung ein Verbot von Superintelligenz, bis deren Entwicklung sicher, kontrollierbar und mit breiter öffentlicher Unterstützung möglich ist. Unterschrieben haben auch Nobelpreisträger, Politiker beider US-Lager und der frühere US-Generalstabschef. Bengio ist Ko-Vorsitzender des UN-Wissenschaftspanels, das die Antwort des Digitalministeriums selbst als zuständiges Gremium anführt.

Deutschland und die EU müssen diesen Aufruf ernst nehmen und jetzt auf ein globales Verbot für die Entwicklung von Superintelligenz nach obigem Vorbild hinarbeiten. Deutschland hat dabei mehr als nur eine Stimme. Jede Maschine für modernste Chips braucht Optiken von Zeiss und Laser von Trumpf. Daran hängt, ob sich ein Abkommen überprüfen lässt.

Diese Thematik wurde von Pause AI bereits im Europaparlament präsentiert und von Control AI im kanadischen Senat eingebracht.

Benjamin Schmidt ist ehrenamtlicher Ko-Leiter von Pause AI Deutschland und hat zuvor in der Bioinformatik an der Martin-Luther-Universität Halle-Wittenberg geforscht.

Benjamin Balde ist Politikberater für Deutschland bei Control AI. Daneben führt er das Beratungsunternehmen Geomesh.