KI-Sicherheit : Houston, wir haben ein Problem

Gerade erst war es wieder so weit: Man hatte bereits vor etwa 10 Jahren in der „Cybersicherheitsstrategie 2016“ die Trends in der IT-Branche richtig erkannt und die Zeichen der Zeit korrekt gedeutet – und Security by Design sowie eine Art Akkreditierung der IT-Sicherheit mit einem IT-Gütesiegel fest verankert. Um etwas später, in der „Cybersicherheitsstrategie 2021“, nochmals Security by Design „als zentrales Prinzip, um IT-Sicherheit von Beginn an in die Entwicklung digitaler Produkte und Systeme zu integrieren“ zu bestätigen.

Als es aber zur Operationalisierung kam, hieß es: Nö, es ist den Unternehmen zu viel, zu kompliziert. Obligatorisch schon gar nicht, das behindert Innovationen. Eventuell als freiwilliges IT-Sicherheitskennzeichen, das am Markt angenommen werden muss. Oder auch nicht.

Aufsicht tat, was die Branche erwartete

Das Schicksal des Gütesiegels für IT-Sicherheit war dann auch bald besiegelt: Der Name war bereits von einer anderen Behörde belegt, fiel es der Politik wieder ein. Reingefallen. Expertengruppen wurden aufgelöst, wissenschaftlicher Know-how-Transfer an die Behörden beendet, Forschungsprojekte kamen gar nicht erst zustande. Die Aufsicht tat, was die Branche von ihr erwartet hat. Dafür tat die Branche, was die Politik von ihr erwartete: wachsen. Oder?

Tat sie nicht. Spätestens mit der Entwicklung der ersten KI-Modelle kam das Thema retour: Wie kann man die KI-Entwicklung dabei unterstützen, Produkte zu entwickeln, die später nicht Amok laufen und die Menschheit ausradieren?

Penetrationstests reichen nicht aus

Tests, auch Penetrationstests, gibt es ja schon länger. Sie müssten aber, erstens, weiterentwickelt werden, um mit einer Technologie Schritt zu halten, die alle paar Monate einen wesentlichen technischen Sprung macht. Und zweitens schrieb schon der Computerpionier Edsger Dijkstra: „Program testing can be used to show the presence of bugs, but never to show their absence!“ Durch Tests können sehr gut Fehler entdeckt werden – aber sie können niemals bestätigen, dass es keine Fehler gibt.

Warum also nicht bei Security by Design ansetzen, die Gewährleistung von Sicherheit und Qualität von Anfang an, bereits im Softwareentwicklungsprozess – oder, wenn man es lieber auf Start-up-Deutsch möchte: im DevOps-Lifecycle – verankern? Diese, ein unchristlicher Gedanke für die Propheten der Deregulierung, zum Standard, zum Obligo oder zur Mindestanforderung machen und die Umsetzung durch die (sachverständige) Aufsicht prüfen. Also prüfen, ob sich die Branche an die Vorgaben zur Umsetzung hält – nicht für sie selbst prüfen.

Sicherheit, Datenschutz und Qualität. Der alte Hut schon wieder.

Ich erinnere mich noch, wie ich vor ein paar Jahren auf einem Vortrag zur Security by Design in Berlin aus dem Publikum angegangen wurde: KI, das sei so etwas wie Terminator und keine Software, völlig frei, entscheide selbst, lasse sich nicht kontrollieren. Zuerst müssten ethische Kriterien her, an diesen ethischen Kriterien müssten sich die KI-Hersteller orientieren.

Was folgte, waren viele Jahre und Kommissionen, die ethische Standards für die KI erarbeiteten. Andere für die Gesundheitsdaten – andere für die Forschung. Hunderte von Seiten wurden mit Zeichen und Zahlen gefüllt und das ganz ohne ChatGPT. Die Zeit verging. Ob sie zum Training der KIs etwas taugen? Eher schmücken die dicken Berichte heute die Regale der Bibliotheken. Abteilung: „Sonstiges“.

Damals verließ der Herr empört den Saal. Heute sagt Arthur Mensch, CEO von Mistral AI, gegenüber Le Monde, sinngemäß: „AI is software. It can be controlled.“ Und nun heißt es plötzlich: Houston, wir haben ein Problem. Mit der Sicherheit! Das haben wir jetzt aber echt nicht kommen sehen.

KI-Hersteller drücken sich vor der Verantwortung

Sich in die Entwicklung und Vor-Inbetriebnahme-Tests reinschauen zu lassen, sogar Auffälligkeiten an die Öffentlichkeit melden: Das schlagen jetzt die KI-Hersteller selbst vor. Die „external evaluators“ sollen nicht nur gleiche Zugriffsrechte wie die internen Mitarbeiter bekommen, sondern auch Schreibtisch und Laptop, wenn es nach Dario Amodei, dem CEO von Anthropic, geht.

Nur die Verantwortung wollen die KI-Hersteller lieber nicht übernehmen: Wenn eine KI, die von Prüfern aus der staatlichen Aufsicht oder der Regierung einen Stempel „geprüft“ bekommt, Amok läuft und die Menschheit auslöscht – wer wird dann wohl dafür geradestehen dürfen? Accenture, das nun im Auftrag von Anthropic unabhängige Evaluierungen von Frontier-Modellen durchführen soll, vermutlich ebenso wenig, wie Ernst & Young für den Schaden nach dem Wirecard-Sturz einstehen musste.

KI-Wirtschaft regelt sich nicht selbst

Vielleicht wird die deutsche Regierung, auf den Papierstapeln aus den Ethik-Berichten sitzend, sich, wie ein Journalist in der Berliner Zeitung nach der Lektüre von Amodeis Essay, die Frage stellen: Warum sind bisher keine gewählten Politiker auf die Idee gekommen? Und – erleuchtet – eigene Regeln aufstellen lassen: wissenschaftlich fundierte, objektive, nachvollziehbare – und verbindliche – Kriterien und Prüfungsstandards für Sicherheit und Softwarequalität. Nach denen die IT- und KI-Branche die Safety ihres DevOps und DevOps-Lifecycles testen und prüfen kann.

Das löst nicht alle über die Jahre angestauten Probleme, gewiss. Aber es wäre schon mal ein Versuch, wenigstens nicht wieder denselben Fehler zu machen wie bisher: nämlich nichts zu tun. Die KI-Wirtschaft regelt sich nicht selbst, wie sich die IT-Wirtschaft nicht selbst geregelt hat. Es gibt sogar ein passendes deutsches Sprichwort dazu: „Was Hänschen nicht lernt, lernt Hans nimmermehr.“

KI-Prüfungsframeworks gibt es längst

Trotz der, diplomatisch gesagt, wenig euphorischen Unterstützung der Forschung auf diesem Gebiet sind dennoch einige gute KI-Prüfungsframeworks entwickelt worden – ob im Forschungsprojekt der Gesellschaft für Informatik e.V. oder durch die Universität Linz, die die Forschung an Methoden und Kriterien fortsetzt – und in Zusammenarbeit mit TÜV Austria praktisch erprobt. Man müsste nicht ganz unten anfangen. Und auch nicht die Prüfer oder die Geprüften fragen, wie sie denn gerne geprüft werden möchten.

Außerdem hat Dario Amodei es uns selbst verraten. Und die Vorschläge sind nicht mal schlecht.

Eins sind sie tatsächlich nicht: neu. Der frühere BSI-Vizepräsident Gerhard Schabhüser hat in seinen letzten Vorträgen auf der Handelsblatt-Tagung Cybersecurity betont, das Thema der Operationalisierung von Security by Design in Angriff nehmen zu wollen. Mehrmals. In diesem Jahr hatte das Thema angesichts der fulminanten Performance der KI-Modelle beim Suchen und Finden von Sicherheitsschwachstellen und Softwarebugs auf dem Handelsblatt Summit Zukunft IT 2026 erneut einen prominenten Platz – dort, wo Wirtschaft, Verwaltung und Politik aufeinandertreffen und unter anderem über die Trends in der Cybersecurity diskutieren. Also beispielsweise über die Sicherheit im DevOps-Lifecycle.

Es wäre schon ganz gut, etwas zu tun: jetzt.

Dann war möglicherweise die ganze Arbeit, ob an den KI-Prüfungsframeworks oder der KI-Ethik, doch nicht ganz umsonst. Vielleicht wird die eine oder andere Idee daraus mit dem EU AI Act übernommen. Sollte er wirksam werden, bevor die KI uns alle killt. Was 2027 – vielleicht aber auch erst 2070 – passiert.

In unserer Kolumnenreihe „Perspektiven“ kommentieren unsere Autor:innen regelmäßig aktuelle Entwicklungen, Trends und Innovationen im Bereich Cybersicherheit. Zuletzt von Sowa erschienen: Mensch, Maschine – und das deutsche Computerstrafrecht