Autofahrer:innen fahren ins Nirgendwo, weil das Navigationsgerät ihnen den Weg dorthin weist. Anwälte nutzen unhinterfragt Informationen, die ChatGPT ihnen ausgibt. Und Polizist:innen in Detroit verhaften einen Unschuldigen, weil die Gesichtserkennungssoftware ihn fälschlicherweise als Täter identifiziert hat. Es gibt viele Beispiele, die zeigen, dass wir Menschen ein hohes Vertrauen in Technologie haben und oft vernachlässigen, sie adäquat zu kontrollieren.
AI Act stützt sich auf menschliche Aufsicht
Dafür spricht der AI Act, über den in der EU gerade verhandelt wird, menschlicher Aufsicht eine erstaunlich hohe Bedeutung zu. Menschen sollen die Kontrolle über Entscheidungen haben, an denen algorithmische Systeme beteiligt sind. Das soll Hochrisiko-Anwendungen in Schach halten und Risiken minimieren. Damit lastet viel Verantwortung auf denjenigen, die die Systeme kontrollieren sollen: Sie sollen verstehen, wie eine Software funktioniert; entscheiden können, wann ein Vorschlag der KI abzulehnen ist; und sich der Gefahr bewusst sein, dass Menschen sich sehr leicht auf algorithmische Systeme verlassen.
Letztere Anforderung deutet an, dass es im AI Act zumindest ein Bewusstsein dafür gibt, dass Kontrolle auch oberflächlich oder gänzlich ineffektiv sein kann – immer dann, wenn Kontrollierende zu unkritisch gegenüber den Systemen sind. Deshalb wird in der EU-Verordnung eine sinnvolle Kontrolle (meaningful oversight) gefordert. Doch wie diese genau aussieht und wie man sie erreicht, bleibt unklar.
Die Forderung nach einer sinnvollen Kontrolle ist alles andere als einfach umsetzbar. Denn die Forschung zeigt: Es fällt Nutzer:innen sehr schwer, Ergebnisse von algorithmischen Entscheidungssystemen zu bewerten und einzuschätzen, ob sie diese als Entscheidungsgrundlage annehmen oder ablehnen sollen. Das gilt etwa für Risikoprognosen zu Kindeswohlgefährdung, Steuerbetrug oder Rückfälligkeit von Straftätern genauso wie für Treffer von Gesichtserkennungssoftware.
Automation Bias statt objektiver Kontrolle
Anwender:innen stehen vor der Entscheidung zwischen Vertrauen und Kontrolle: Vertrauen sie der Software und verlassen sich auf das Ergebnis, oder kontrollieren sie deren Vorschlag mit Informationen aus weiteren Quellen? Nun werden algorithmische Systeme in der Hoffnung eingesetzt, dass sie uns Menschen bei komplexen Aufgaben übertreffen können. Damit wird ihnen von vornherein eine hohe Vertrauenswürdigkeit zugeschrieben, egal wie undurchsichtig und schwer verständlich die Blackbox Algorithmus daherkommt. Hinzu kommt: Menschen neigen dazu, in Entscheidungssituationen den einfachsten Weg zu nehmen. Erst recht, wenn der Weg des Vertrauens, also den Vorschlag des Systems einfach zu übernehmen, den Anwender:innen viel Zeit spart.
Das Phänomen, sich zu stark auf eine Software-Empfehlung zu verlassen, wird als Automation Bias bezeichnet: Anwender:innen haben zu viel Vertrauen in das algorithmische System. Sie übernehmen unkritisch die Entscheidungsvorschläge und verzichten darauf, weitere Informationen zu berücksichtigen.
Zu wenig Vertrauen kann jedoch auch ein Problem sein: Das Gegenteil des Automation Bias ist als Algorithm Aversion bekannt: Anwender:innen lehnen, wenn sie dazu die Möglichkeit haben, korrekte Entscheidungsvorschläge von algorithmischen Systemen fälschlicherweise ab. Auch das kann negative Folgen haben. Studien zeigen zum Beispiel, dass Software deutlich besser Schüsse aus Tonaufnahmen identifizieren kann als Menschen. Dennoch übergingen Anwender:innen einer solchen Software in zehn Prozent der Fälle die korrekte Angabe des Systems. Die Folge waren Fehleinschätzungen und sogar ungerechtfertigte Verhaftungen. Gründe für Algorithm Aversion können ein generelles Misstrauen in Technologie oder eine überhöhte Einschätzung der eigenen Kompetenz sein.
Anwender:innen in ihrer Kontrollfunktion stärken
Eine angemessene Balance von Vertrauen und Kontrolle zu finden und damit eine effektive menschliche Aufsicht sicherzustellen, ist also eine herausfordernde Aufgabe. Um sie anzugehen, muss die Perspektive der Anwender:innen als Kontrollierende stärker in den Fokus rücken. Bisher tauchen sie im Diskurs um den ethischen und angemessenen Einsatz von KI kaum auf. Wie so oft gefordert, müsste auch hier der Mensch im Mittelpunkt stehen. Dann ginge es nicht um bessere Algorithmen, sondern vor allem um bessere Entscheidungsprozesse.
Um Anwender:innen in ihrer Kontrollfunktion zu stärken, gibt es verschiedene Stellschrauben. Erstens braucht es ein Verständnis über die Wahrnehmung der Nutzer:innen und darauf zugeschnittene Trainings: Bestehen Vorbehalte oder übersteigerte Hoffnungen gegenüber dem System? Wie wird die eigene Verantwortung wahrgenommen? Zweitens kann die Gestaltung des Systems einen Einfluss darauf haben, ob Empfehlungen überprüft werden: Wie nachvollziehbar ist es? Sind Empfehlungen unterstützend oder anweisend formuliert? Drittens können Anwender:innen über sinnvolle Prozesse und Standards unterstützt werden: Welches Ausmaß an Kontrolle ist überhaupt möglich und angemessen? Gibt es leicht zugängliche Informationen als Grundlage für Kontrolle? Bekommen die Anwender:innen Feedback zu ihren Entscheidungen?
Weist das Navi den falschen Weg mag das nur zu milder Verärgerung führen, doch wenn algorithmisch unterstützte Entscheidungen die Freiheit oder andere Grundrechte von Menschen einschränken, dann muss menschliche Aufsicht funktionieren. Dazu braucht es kompetente Anwender:innen und Unterstützung durch verantwortungsvoll agierende Institutionen und Kontrollbehörden.
Sarah Fischer ist Project Manager im Projekt reframe[Tech] der Bertelsmann Stiftung. Sie beschäftigt sich unter anderem mit den Themen Mensch-Technik-Interaktion und Kompetenzen für Künstliche Intelligenz.
