AI Act : Blaupause: Wie New Yorker Unternehmen KI-Regeln umsetzen

In den USA ist für viele hoch qualifizierte Bewerberinnen und Bewerber etwa aus Yale oder Stanford die New Yorker Bank Morgan Stanley ein Traumarbeitgeber. Allein zwischen September 2022 und Juni 2023 waren es 263.064 Menschen, die dort einen Job wollten – sprich, fast 7.000 pro Woche. Doch wer in die renommierte Adresse „1585 Broadway“ am Times Square einziehen möchte, der muss zunächst an „Eightfold“ vorbei. Denn ihre Bewerbermassen bewältigt die Bank wie viele Arbeitgeber im ersten Schritt mit einem KI-Algorithmus. Die Eightfold KI matcht die Stellenausschreibung mit Lebenslaufdaten und entscheidet über Karriereträume und Lebenswege. Zwar nicht allein, aber als ein Faktor im Einstellungsprozess.

Es ist eine große Verantwortung für die die Macher von Eightfold, ihr Modell möglichst frei von Bias, Diskriminierung und Fehlern zu entwickeln. Und auch für Morgan Stanley als einem der größten Arbeitgeber in New York, sich vor Strafen und Diskriminierungsklagen zu schützen und gleichzeitig die besten Bewerberinnen und Bewerber zu finden.

Seit einem Jahr ist die Personal-KI auch ein Fall für den Gesetzgeber, denn wie die EU in ihrem AI Act bewertet auch New York City den Einsatz von KI im Bereich Human Resources als Hochrisiko-Anwendung. Deshalb hat die Stadt ein KI-Gesetz verabschiedet, das den verantwortungsvollen KI-Einsatz speziell im Personalbereich regelt – inklusive eines verpflichtenden Algorithmen-Audits, den jedes Unternehmen, das KI für Entscheidungen in HR nutzt, nun vorlegen muss.

Herausforderungen durch Audits und Zertifizierungen

Die ersten großen Arbeitgeber New Yorks, darunter Morgan Stanley (PDF, 5 Seiten) und viele Großbanken und Finanzinstitute, haben ihre Audit-Reports veröffentlicht – eine seltene Möglichkeit für europäische Unternehmen zu lernen, was ihnen in Kürze bei der Umsetzung des deutlich komplexeren AI Acts der EU bevorsteht.

Denn obwohl das New Yorker Gesetz nur einen Bruchteil der Anforderungen des AI Acts enthält, ist in der einjährigen Audit-Praxis deutlich geworden, dass schon diese für Unternehmen eine Herausforderung darstellen. Genau wie beim AI Act ist auch im Falle des New Yorker Gesetzes beispielsweise nicht klar geregelt, welche Algorithmen und Anwendungsfälle einem Audit unterzogen werden müssen. Ohne bestehende Governance-Strukturen war zudem oft unklar, wer im Unternehmen für die Durchführung der Audits zuständig ist und dafür geradestehen muss, wenn etwas gegen das Gesetz verstößt. Folglich dauerte es nach dessen Inkrafttreten noch viele Monate, bis Unternehmen die eigene Governance schrittweise weiterentwickelt hatten und für sich herausfanden, welche Prozesse, Tools und Strukturen für den eigenen Kontext passten.

An vielen Stellen fehlt es zudem an Talenten für verantwortungsvolle KI, die Audits überhaupt konzeptionieren, verstehen und betreuen können und gleichzeitig die Sprache der Gesetzgeber verstehen. Der AI Act verlangt eine sehr interdisziplinäre Governance, bei der im Unternehmen verschiedenste Funktionen zu Themen wie Compliance, Recht, IT-Governance und -Sicherheit, aber auch Datenschutz zusammenarbeiten müssen.

Dabei ist von allen Beteiligten für die effektive Risiko- und Qualitätskontrolle viel Techniksachverstand gefragt. Firmen wie Microsoft, Meta oder Google Deep Mind stocken deshalb aktuell ihre entsprechenden Teams auf. Die großen Tech-Firmen sind für solche Talente an der Schnittstelle von Tech und Policy bekanntermaßen attraktive Arbeitgeber. Das sieht bei traditionellen Unternehmen oder Banken oft anders aus – bei diesen wird aber der Großteil der Hochrisiko-Use-Cases im Rahmen des AI Acts anfallen. Es lohnt sich also auch für sie, früh den Markt zu scannen und selbst Talente für verantwortungsvolle KI auszubilden oder einzustellen – allein, um die Angebote von Auditoren und den immer zahlreicheren Service- und Tool-Anbietern bewerten zu können.

Der AI Act bringt höhere Hürden als das New Yorker KI-Gesetz

Governance-Strukturen, Strategie und veränderter Risikoappetit, Kosten, Fragen von Datenprovenienz und -governance sowie neue Prozesse – das alles sind Hürden, die bei der AI Act-Umsetzung in noch komplexerem und größerem Ausmaß auf Unternehmen in der EU zukommen und auf die die deutsche Wirtschaft nicht vorbereitet ist. Denn noch immer warten mehr als 60 Prozent der befragten CEOs in einer aktuellen Umfrage der Boston Consulting Group darauf, wie die KI-spezifische Regulierung sich entwickelt, und hoffen auf konkrete Anleitung durch den Gesetzgeber. Diese Unternehmenslenker werden vermutlich enttäuscht werden: Die juristische und politische AI-Act-Exegese wird viele Jahre dauern. Auf pragmatische Vorgaben zur Umsetzung, sei es von der EU-Kommission oder nationalen Regierungen, sollte man nicht so bald hoffen.

Die Industrie sollte daher im eigenen Interesse sehr proaktiv selbst zur Entwicklung von Standards und Benchmarks beitragen. Die europäischen Unternehmen und Banken, die schon jetzt im New Yorker Reallabor die AI Act-Umsetzung durch die jährlichen Audits vorbereiten, sind dabei klar im Vorteil. Denn die Uhr tickt: Schon in rund sechs Monaten müssen mindestens die Risikogovernance im Unternehmen, die Einstufung von Risiken, das AI Inventory, entsprechende Mitigationsmaßnahmen und auch AI-Literacy-Programme für tausende Mitarbeitende stehen. Wer jetzt erst anfängt, ist also schon spät dran. Und die Frage ist nicht trivial, wie Responsible AI, also wie ein effektives Risiko- und Qualitätsmanagementprogramm, in einem globalen Unternehmen gut skalieren kann, ohne zum innovationshemmenden Kostentreiber zu werden oder als Papiertiger und Feigenblatt zu verstauben.

Dazu haben die New Yorker Vorreiter jetzt bereits Erfahrungen und Best Practices sammeln können. Und noch mehr: Neben den skizzierten Herausforderungen entdeckten sie nämlich sogar noch einige unerwartete Vorteile von KI-Regulierung. Zum Beispiel stellten einige Unternehmen fest, dass im Kampf um neue Fachkräfte die gesetzlich geforderte Transparenz in New York City offenbar einen positiven Effekt hat. So positiv, dass eine große europäische Bank in New York den Audit-Bericht seit Neuestem nun auch in ihren Stellenanzeigen veröffentlicht und so offenbar erfolgreich um KI-Talente und andere Fachkräfte wirbt.

Kirsten Rulf ist Partnerin und Associate Director bei der Boston Consulting Group und unterstützt weltweit Kunden dabei, ihr Risiko- und Qualitätsmanagement für KI aufzubauen. Bis April 2023 war sie Leiterin des Referats Grundsatzfragen der Digitalpolitik im Bundeskanzleramt und hat den EU AI Act mitverhandelt. Bis 2019 hat sie an der Harvard Law School KI und Compliance unterrichtet, heute unterrichtet sie in Yale und an der UC Berkeley.

Dinah Rabe ist Data Scientist und KI-Auditorin bei der Firma BABL AI, die bisher die meisten öffentlich publizierten KI Audits in New York durchgeführt hat. Sie forscht seit 4 Jahren zur verantwortungsvollen Nutzung von KI und Datengovernance, u.a. an der Berliner Hertie School of Governance.