Künstliche Intelligenz : KI-Aufsicht darf nicht beim Modell enden

Ein Wort in der jüngsten Mitteilung der Bafin zur KI-Aufsicht verdient besondere Aufmerksamkeit. „Dafür müssen die Modelle sicher und fair gestaltet sein“, sagt Bafin-Präsident Mark Branson über den Einsatz Künstlicher Intelligenz bei Banken und Versicherern.

Das ist richtig, greift für die Praxis aber zu kurz. Denn eine KI-gestützte Kreditentscheidung, Risikobewertung oder Schadenprüfung entsteht längst nicht mehr zwingend in einem einzelnen Modell. Daten werden aus unterschiedlichen Quellen zusammengeführt, Modelle mehrfach aufgerufen und Ergebnisse mit fachlichen Regeln und weiteren Informationen abgeglichen. Zunehmend kommen KI-Agenten hinzu, die Aufgaben eigenständig bearbeiten und Zwischenergebnisse an andere Systeme weitergeben.

Das einzelne Modell ist damit nur noch ein Glied in einer längeren Entscheidungskette. Und genau zwischen diesen Gliedern können Risiken entstehen, die eine Prüfung des Modells allein nicht erfasst.

Das Risiko entsteht zwischen den Modellen

Nehmen wir einen datenintensiven Versicherungsprozess. Informationen stammen etwa aus Anträgen, Policen, Gutachten, Schadenakten oder internen Datenbanken. Sie werden ausgelesen, strukturiert, bewertet und über mehrere Schritte weiterverarbeitet.

Dabei kann jeder einzelne Schritt für sich plausibel erscheinen und das Gesamtergebnis trotzdem falsch oder fachlich nicht belastbar sein. Kontext kann verloren gehen, aus einer kleinen Abweichung schrittweise ein größerer Fehler entstehen oder ein plausibles Zwischenergebnis einer fachlichen Regel falsch zugeordnet werden.

Das Problem ist damit größer als die bekannte Halluzinationsdebatte. Auch wenn kein einzelnes Modell offensichtlich versagt, kann am Ende eine Schlussfolgerung stehen, die sich nicht mehr sauber aus der ursprünglichen Datenlage ableiten lässt.

Für regulierte Prozesse reicht es deshalb nicht, dass ein Ergebnis plausibel klingt. Entscheidend ist, ob sich seine Herleitung belegen lässt: Welche Daten sind eingeflossen? Welche Verarbeitungsschritte waren ausschlaggebend? Und lässt sich eine konkrete Entscheidung im Nachhinein reproduzieren?

Menschliche Kontrolle darf keine Scheinkontrolle sein

Die Bafin betont zu Recht, dass Menschen KI-gestützte Entscheidungen korrigieren und in der Lage sein sollten, diese rückgängig zu machen. Doch ein formales Vetorecht allein schafft noch keine wirksame Kontrolle.

Ein Kreditsachbearbeiter, Underwriter oder Risikomanager kann eine Empfehlung nur dann fundiert prüfen, wenn er versteht, wie sie zustande gekommen ist. Dafür reicht weder das Endergebnis noch die Information, dass die beteiligten Modelle ordnungsgemäß geprüft wurden. Der Mensch muss erkennen können, welche Daten und fachlichen Regeln für die Entscheidung relevant waren und an welcher Stelle ein bestimmtes Ergebnis entstanden ist. Andernfalls entsteht eine Scheinkontrolle: Formal entscheidet am Ende ein Mensch, praktisch kann er aber nur einen Vorschlag bestätigen oder ablehnen, dessen Entstehung er nicht beurteilen kann.

Die Orchestrierung wird zur eigenen Verantwortungsebene

Daraus folgt keine Forderung, dass die Aufsicht künftig jeden technischen Verarbeitungsschritt einzeln kontrollieren sollte. Entscheidend ist etwas anderes: Ein Unternehmen muss nachweisen können, dass es seine gesamte KI-gestützte Entscheidungskette beherrscht.

Dazu gehört, dass relevante Datenquellen nachvollziehbar und menschliche Eingriffsmöglichkeiten definiert sind sowie Verantwortlichkeiten nicht zwischen Modellanbietern, IT, Datenverantwortlichen und Fachbereichen verschwimmen. Wenn unterschiedliche Stellen jeweils nur einzelne Komponenten verantworten, darf am Ende nicht unklar bleiben, wer für die resultierende Geschäftsentscheidung geradesteht.

Deshalb braucht es eine explizite und prüfbare Orchestrierungsebene, die Daten, Modelle, Regeln, Werkzeuge und Prozessschritte zusammenführt. Für Unternehmen wird sie zu einem zentralen Bestandteil des Risikomanagements. Und auch für die Aufsicht sollte sie stärker zur relevanten Prüfebene werden.

Nachvollziehbarkeit schafft kognitive Souveränität

Das klingt zunächst nach zusätzlichen Kontrollen und zusätzlicher Dokumentation. Kurzfristig ist das auch so. Langfristig ist diese Nachvollziehbarkeit jedoch eine Voraussetzung dafür, KI breiter in sensiblen und wissensintensiven Prozessen einsetzen zu können.

Sie hat zudem einen strategischen Nebeneffekt. Unternehmen, die ihre Daten, fachliche Logik und Entscheidungsketten selbst beherrschen, machen sich weniger abhängig davon, welches universelle Sprachmodell gerade im Hintergrund eingesetzt wird. Modelle können sich verändern oder ausgetauscht werden, ohne dass damit die Kontrolle über den gesamten Geschäftsprozess verloren geht.

Damit entsteht eine Form kognitiver Souveränität. Für Unternehmen bedeutet Souveränität bei KI nicht nur, Kontrolle über Infrastruktur, Anbieter oder den Standort von Daten zu haben. Neben dieser rein technologischen Souveränität ist ebenso die Kontrolle darüber entscheidend, wie aus den eigenen Daten Wissen, Empfehlungen und Entscheidungen entstehen.

Die Bafin setzt mit ihrer stärkeren Rolle bei der KI-Aufsicht deshalb einen wichtigen Impuls. Nun sollte sie den Blick konsequent auf die Ebene richten, auf der in Zukunft immer mehr relevante Entscheidungen tatsächlich entstehen. Die entscheidende Einheit einer wirksamen KI-Aufsicht ist nicht das einzelne Modell. Es ist die orchestrierte Entscheidungskette.