Künstliche Intelligenz (KI) : KI als Systemrisiko in der Polykrise

Die Fähigkeiten KI-getriebener Systeme sind zweifellos beeindruckend. Jüngstes Beispiel: der Hype um ChatGPT, den KI-Chatbot des Unternehmens OpenAI. Dieser ist in der Lage, Dialoge zu verstehen und Antworten so zu generieren, dass sie ein Mensch nicht besser hätte formulieren können. So verwundert es nicht, dass in Zeiten globaler Unruhen einige darauf hoffen, dass Algorithmen die nächste Pandemie verhindern, den Klimawandel bekämpfen oder eine inklusivere Gesellschaft erschaffen können.

Was bei solchen Utopien oft vergessen wird: Jedes KI-System ist grundsätzlich durch die Art der Daten begrenzt, mit denen es trainiert wird. Als Faustregel gilt, dass maschinelles Lernen schlechter abschneidet, wenn diese Daten ungenau, unvollständig, irrelevant, ungültig, veraltet oder inkonsistent sind. Was bedeutet diese fundamentale Beziehung für unser gegenwärtiges Zeitalter der globalen Unordnung, das durch zahlreiche Krisen – von Russlands Aggression über galoppierende Inflation bis hin zu Klimachaos – gekennzeichnet ist?

Die Nutzung von KI kann selbst in Krisenzeiten sehr nützlich sein. Algorithmen jedoch, die mit herkömmlichen Daten optimiert sind, können unbewusst zu falschen Entscheidungen führen. Es braucht daher gerade in zunehmend automatisierten Umgebungen risikosensitive Regeln für KI in Krisen.

Schwarze Schwäne, graue Nashörner und Polykrise

KI-Modelle, die mit Blick auf Phasen relativer Ruhe und Stabilität entwickelt oder trainiert wurden, können versagen, wenn starke externe Schocks auftreten, die den Beginn abnormaler Zeiten signalisieren. Es liegt in der Natur von Risiken, dass dieses Problem nicht vollständig umgangen werden kann – ein Phänomen, für das der ehemalige Wall-Street-Händler Nassim Nicholas Taleb den Ausdruck „schwarze Schwäne“ prägte. Dabei handelt es sich um unvorhersehbare Ereignisse mit extremen Folgen, etwa die Finanzkrise 2008 oder die Covid-Pandemie ab 2020.

Darüber hinaus verwenden Ökonomen den Ausdruck „graue Nashörner“, um bekannte und sich langsam entwickelnde Risiken zu bezeichnen, die solche Schocks verstärken, wie etwa die derzeitige hohe Verschuldung oder der globale Klimawandel. Während schwarze Schwäne und graue Nashörner jede Art von Vorhersage – also auch menschengemachte – erschweren, sind KI-Anwendungen bedeutend undurchsichtiger als herkömmliche Prognosesysteme, schwieriger anfechtbar und können in kürzester Zeit und über große Distanzen negative Rückkopplungsschleifen erzeugen. Das schafft neue systemische Risiken.

Noch komplizierter wird es, wenn mehrere Schocks gleichzeitig eintreten und Interdependenzen erzeugen, die allgemein nicht erwartet werden. Der Wirtschaftshistoriker Adam Tooze hat jüngst eine solche „Polykrise“ diagnostiziert. All dies erhöht die Wahrscheinlichkeit, dass aktuell eingesetzte Algorithmen in Hinblick auf Daten entwickelt oder trainiert wurden, die plötzlich keine Relevanz mehr besitzen könnten. Wenn KI-Modelle auf engeren Datensätzen trainiert werden als die Population, die sie widerspiegeln sollen, kommt es zum sogenannten data leakage. Eine Gefahr, welche die Zuverlässigkeit maschinellen Lernens schon jetzt in vielen Disziplinen bedroht. Erste Beispiele legen nahe, dass prädiktive KI-Systeme in der Polykrise sogar kontraproduktiv sind.

Finanzen, Medizin, Sicherheit – KI in der Krise

So nahmen zu Beginn der Pandemie gängige amerikanische KI-Tools zur Erkennung von Kreditkartenbetrug aufgrund früherer Erfahrungen an, dass die meisten Einkäufe physisch ablaufen, was dazu führte, dass zahlreiche virtuelle Transaktionen als problematisch eingestuft wurden. Der Algorithmus empfahl, Millionen legitime Käufe zu verweigern, als in Quarantäne befindliche Kunden versuchten, Grundnahrungsmittel oder Medikamente (und selbst Toilettenpapier) online zu beschaffen. Ähnliche Probleme plagten zeitgleich die KI-gesteuerten Kreditbewertungsinstrumente des chinesischen Technologiegiganten Ant.

Experten erkennen zunehmend, dass KI-Prognosen in komplexen Situationen negative Trends sogar verstärken können. Um die Folgen der Opioid-Krise zu bewältigen, nutzten die USA einen bekannten Algorithmus zur Ermittlung des Drogenabhängigkeitsrisikos. Dieser verweigerte allerdings oft den Patienten die Behandlung, die in der Krise am anfälligsten waren oder auf eine medizinisch komplexe Vorgeschichte zurückblickten. Eine Polykrise verschärft das Potenzial solcher automatisierter Systeme, sich in „mathematische Massenvernichtungswaffen“ zu verwandeln.

Auch im Sicherheitsbereich entstehen Probleme mit KI-Tools, wenn diese auf historischen und damit potenziell verzerrten Daten basieren. So führt eine geringere Polizeipräsenz in einem bestimmten Gebiet in der Regel zu weniger Strafanzeigen, was auf Strafverfolgung spezialisierte KI-Systeme dazu verleitet, Ressourcen auf andere Standorte zu verteilen. Das wiederum führt dazu, dass das betroffene Gebiet noch weniger überwacht wird, was seine Anfälligkeit, zum Beispiel für Sabotagen kritischer Infrastruktur, erhöht. Das gleiche Problem plagt prädiktive KI-Systeme zur Grenzkontrolle, deren Fehleinschätzungen in Zeiten von Klimawandel-bedingter Migration systemrelevant sind.

Der Nutzen von KI-gestützten Prognoseinstrumenten ist auf enge Bereiche wie Finanzen, Medizin oder Sicherheit beschränkt und schließt notwendigerweise andere Bereiche menschlichen Lebens aus. Wie Martin Wolf feststellt, mag das Denken in intellektuellen Silos in einer einigermaßen stabilen Welt effizient sein, aber in einer Polykrise wird es unweigerlich versagen.

Wie lassen sich Risiken falscher KI-Vorhersagen eindämmen?

Bis zu einem gewissen Grad können die Erfassung neuer Datenarten, ein globaler Datenaustausch und gemeinsame Datenstandards zu besseren KI-Systemen führen. Ein weiterer Weg könnte das „reinforcement learning“ sein, das nicht von externen Datensätzen abhängt. Diese Alternativen bieten jedoch kein Allheilmittel, da „schwarze Schwäne“ jederzeit auftreten können und die zunehmende Geschwindigkeit und Vernetzung von Krisen es praktisch unmöglich machen, relevante Daten ausreichend schnell zu identifizieren und aktuell zu halten.

Die beste Verteidigung ist daher die Schaffung robuster Rahmenbedingungen in den 2023 anstehenden Trilog-Verhandlungen über das EU-KI-Gesetz. Ein risikobasierter Ansatz, wie aktuell vorgesehen, reicht möglicherweise nicht aus, da man das dynamische Risiko eines krisengestörten Systems, insbesondere in sich dramatisch verändernden Umgebungen, nicht kennen kann. Akzeptiert man den risikobasierten Ansatz, könnten die in Zeiten von Polykrisen auftretenden Gefahren dadurch berücksichtigt werden, dass ein höherer Anteil von KI-Systemen als hochriskant eingestuft wird. Entscheidend sind zudem regelmäßig mit ausreichend Personal und technischen Ressourcen ausgeführte KI-Audits – ohne Startups zu überfordern. Der Startpunkt muss sein, dass technologiebegeisterte Politiker das Schadenspotenzial von KI in Polykrisen besser berücksichtigen.

Anselm Küsters leitet den Fachbereich Digitalisierung und Neue Technologien am Centrum für Europäische Politik (cep) in Berlin. Als Habilitand an der Humboldt-Universität zu Berlin und als Assoziierter Wissenschaftler am Max-Planck-Institut für Rechtsgeschichte und Rechtstheorie in Frankfurt am Main forscht er im Bereich Digital Humanities. Sein Gastkommentar ist eine gekürzte und überarbeitete Fassung des cepAdhoc Nr. 15 (2022) „AI as Systemic Risk in a Polycrisis“.