Algorithmische Diskriminierung : Die EU kann algorithmische Diskriminierung beenden

Stellen Sie sich vor, dass der Staat Ihnen eines Tages Betrug mit staatlichen Beihilfen für Kinderbetreuung vorwirft und anfängt, Ihr Hab und Gut zu beschlagnahmen: Sie verlieren Ihre Ersparnisse, Ihr Einkommen und Ihre Würde. Nachdem Sie jahrelang mit den Folgen in Form von Armut und sozialer Isolation, Burnout und dem Verlust des Arbeitsplatzes zu kämpfen hatten, bekommen Sie einen Brief, in dem sich der Regierungschef persönlich entschuldigt: Man habe leider einen Fehler gemacht und Sie seien kein:e Betrüger:in.

Das ist Paula Bouwer, Co-Autorin dieses Beitrags, und mehr als 30.000 anderen Eltern in den Niederlanden passiert. Am stärksten betroffen waren alleinerziehende Mütter mit Wurzeln in anderen Ländern. Betroffen waren auch Eltern aus europäischen Ländern wie Deutschland, aber insbesondere Eltern mit Wurzeln in ehemaligen Gastarbeiterländern und den ehemaligen niederländischen Kolonien. Viele Familien zerbrachen unter dem Druck und in über 2.000 Fällen wurden Kinder aus den Familien genommen, oft weil die beschuldigten Eltern nicht mehr über die finanziellen Mittel verfügten, sich um die Kinder zu kümmern. Mehrere hundert Kinder und Eltern, die von dem Skandal betroffen waren, sind mittlerweile gestorben. Die Kindergeldaffäre führte im Jahr 2020 zum Rücktritt der Regierung Rutte.

Nicht nur ein niederländisches Problem

Ein Aspekt dieses kolossalen institutionellen Versagens, der relativ wenig Beachtung fand, war der Einsatz eines Algorithmus in der niederländischen Steuerbehörde, der Faktoren wie die doppelte Staatsangehörigkeit nutzte, um potenzielle Betrüger:innen zu identifizieren. Viele unschuldige Bürger:innen, wie Paula, wurden darüber informiert, dass sie von der Steuerbehörde fälschlicherweise auf sogenannte „schwarze Listen“ gesetzt wurden. Menschen haben bis zu 18 Jahre lang darunter gelitten, als Betrüger:innen zu gelten, denn wenn man einmal auf der Liste stand, war es kaum möglich, wieder entfernt zu werden.

Normalerweise gelten die Niederlande als ein beispielhafter Rechtsstaat. Im Rechtsstaatsindex des World Justice Project liegen sie auf Platz 5 und damit sogar einen Rang vor Deutschland. Umso schockierender ist es, dass es dort über einen so langen Zeitraum und in diesem Ausmaß zu derartig gravierender Ungerechtigkeit kommen konnte.

Allerdings: Mehrere öffentliche und private Institutionen in Deutschland und der gesamten EU beginnen, undurchsichtige automatisierte Entscheidungssysteme zu nutzen. Dieses Zusammenspiel von Bürokratie und komplexer Technologie bringt neue Risiken mit sich, der Regulierungsbedarf ist daher groß. Aus globaler Sicht ist die EU ein Vorreiter bei der umfassenden Regulierung von KI. Dennoch gibt es im AI Act, wie er von der EU-Kommission 2021 vorgeschlagen wurde, viele Lücken, derentwegen solche Ungerechtigkeiten in Zukunft nicht wirksam verhindert würden.

Wer sitzt am Tisch? Und wer wird nicht gehört?

Der zweite Co-Autor dieses Beitrags, Noah Schöppl, war an der wissenschaftlichen Politikberatung zur KI-Verordnung beteiligt und merkte, dass überproportional viele weiße Experten mit technischer und juristischer Expertise aus Wissenschaft oder Industrie in den politischen Prozess eingebunden waren. Hingegen waren in den Konferenzräumen in Brüssel, Den Haag und Berlin, in denen Entscheidungen über die KI-Regulierung getroffen wurden, Stimmen von Menschen mit gelebter Erfahrung mit algorithmischer Diskriminierung selten zu hören.

Aus diesem Grund haben wir zusammen mit anderen Eltern, die von der niederländischen Kindergeldaffäre betroffen waren, die Lehren des Skandals für die KI-Verordnung herausgearbeitet und Mitglieder des EU-Parlaments um Gespräche gebeten. Einige waren bereit für ein offenes und empathisches Gespräch auf Augenhöhe.

In der Position des Parlaments zum AI Act, die vorletzte Woche verabschiedet wurde, wurden einige entscheidende Verbesserungen erreicht. Beispielsweise müssen Betroffene von risikoreichen KI-Entscheidungen informiert werden, Lücken für die biometrische Massenüberwachung wurden geschlossen und Predictive Policing in der strafrechtlichen und administrativen Arbeit wurde stärker eingeschränkt.

Das sind wichtige Schritte in die richtige Richtung, doch sie gehen in einigen Punkten nicht weit genug. Informiert zu sein bedeutet beispielsweise nicht, dass man über alle relevanten Informationen verfügt, um eine automatische Entscheidung wirksam anzufechten. Grundsätzlich sollten KI-Systeme nicht gegen Menschen oder zur Kontrolle von Menschen eingesetzt werden, sondern stets den Bedürfnissen der betroffenen Menschen dienen.

Wiedergutmachung ist schwer, Prävention ist der Schlüssel

Das Europäische Parlament hat die bisherigen Gesetzesentwürfe der Kommission und des Rates verbessert und es ist von entscheidender Bedeutung, dass diese Verbesserungen im finalen Gesetzestext landen, der bis Ende des Jahres ausgehandelt werden soll. Wenn nicht, wird es wahrscheinlich weiter zu Ungerechtigkeiten wie in der niederländischen Kindergeldaffäre kommen, da in immer mehr Institutionen automatisierte Entscheidungssysteme eingesetzt werden.

Und wie der niederländische Fall zeigt, ist es schwer, Wiedergutmachung für einmal entstandenes Unrecht zu gestalten. Die Entschädigungsbemühungen der Regierung sind so grundlegend gescheitert, dass daraus ein zweiter Skandal geworden ist. Drei Jahre nachdem die Regierung zurückgetreten ist, warten die meisten betroffenen Eltern immer noch auf eine vollständige Entschädigung, viele haben das Vertrauen in ihren Staat verloren.

Eine finanzielle Entschädigung kann die zerbrochenen Familien und die zerstörten Bildungs-, Berufs- und Lebenswege der betroffenen Eltern und Kinder nicht heilen. Um Ungerechtigkeiten wie diese in Zukunft zu verhindern, müssen wir lernen, Technologie und Institutionen so zu gestalten, dass sie wirklich den Bedürfnissen aller Menschen Rechnung tragen.

Paula Bouwer ist eine niederländisch-kanadische Journalistin und lebt in Amersfoort. Sie war von der Kindergeldaffäre betroffen und hat die Stiftung Herstel Ongekend Onrecht gegründet.

Noah Schöppl ist ein Landecker Democracy Fellow bei Humanity in Action und Public Civic Innovation Lead bei ProjectTogether, einer gemeinnützigen Organisation für gesellschaftliche Transformation.