Der im April dieses Jahrs vorgelegte Vorschlag für eine KI-Verordnung der Europäischen Kommission klassifiziert KI-Systeme gemäß ihres Gefahrenpotenzials in vier Risikogruppen. Neben minimalem, geringem und unannehmbarem Risiko sorgt die Gruppe der Hochrisiko-KI-Systeme für besonderes Aufsehen. Insbesondere die vieldiskutierten Hochrisiko-Systeme aus dem Bereich der Arbeitswelt sind somit nicht grundsätzlich ausgeschlossen, sondern erfordern neben allgemeinen Dokumentations- und Transparenzpflichten auch eine „Konformitätsprüfung“ bevor sie in Verkehr gebracht werden können. Wie diese Prüfungen genau aussehen sollen, ist jedoch weiterhin unklar. Im Gegensatz zu klassischer Software fehlen etablierte Testverfahren und Normen.
Dennoch erweist es sich als aussichtsreich, auf bereits bestehende Prüfmethoden aus dem Software-Engineering zurückzugreifen und diese auf KI-basierte Systeme zu übertragen. Zu dieser Einschätzung gelangte das Forschungsprojekt „ExamAI – KI Testing und Auditing“ unter Leitung der Gesellschaft für Informatik. Als Prüfmethode für die untersuchten Anwendungsfälle, beispielsweise in Personalauswahlverfahren schlagen wir vor, die aus der agilen Softwareentwicklung stammende Methode der Akzeptanztestgetriebenen Entwicklung (ATDD) mit den aus der Safety-Forschung bekannten Assurance Cases zu einem neuen Test-Framework zu kombinieren.
Dabei geht es zunächst um die gemeinsame Erarbeitung geeigneter Testkriterien und die Entwicklung von automatisierbaren Tests durch ein möglichst vielfältiges Team aus Betroffenen und Stakeholdern. Dieser Schritt ist insbesondere dann sinnvoll, wenn unklar ist, welche Kriterien überhaupt überprüft werden sollen. Wenn im betrachteten Anwendungsfall untersucht wird, ob ein KI-System eine faire Personalentscheidung trifft, so muss es zuerst einen geteilten Verständnisrahmen geben, was genau „fair“ im Rahmen der Prüfung bedeutet.
Im zweiten Schritt stellt ein Assurance Case als strukturierte Sicherheitsargumentation dar, inwiefern sich die festgelegten Kriterien tatsächlich eignen, um die Fairness einer KI-Anwendung zu belegen. Hierbei wird eine Aussage – etwa, dass sich ein bestimmtes System im Rahmen einer definierten Auswahlentscheidung fair verhält – mit Annahmen und Evidenzen zum Systemverhalten verknüpft. Bei beiden Schritten ist zu beachten, dass nicht die grundsätzliche Sicherheit oder Fairness eines KI-Systems überprüft wird, sondern immer nur das Verhalten einer konkreten Anwendung in einem spezifischen Anwendungsfall.
Der neu interpretierte Ansatz stellt somit eine praxistaugliche und zielbasierte Prüfmethode dar, die in Abwesenheit einer kriterienbasierten Methode zur Prüfung bestehender KI-Systeme eingesetzt werden kann. Aber auch darüber hinaus wird er als Wissensbasis für die Entwicklung und Kalibrierung zukünftiger Prüfmethoden langfristig von Bedeutung sein.
Gleichwohl muss auch dieser Ansatz noch weiter ausdifferenziert werden: Welche Stakeholder sind an der Festlegung der Testkriterien zu beteiligen? Welche Annahmen und Aussagen sind im konkreten Fall vorauszusetzen? Die Fallspezifik der Assurance Cases gestaltet sich nicht trivial, sondern ist herausfordernd und arbeitsintensiv.
Gerade deshalb ist nun Unterstützung nötig, um die Potenziale des vielversprechenden Ansatzes nicht weiter ungenutzt zu lassen. Wie im Papier „KI im Personalmanagement – Mit Hilfe von Prüfverfahren zu fairen Personalentscheidungen“ dargelegt, sind Test- und Experimentierräume, geeignete Weiterbildungsangebote und der Austausch mit der internationalen Normungscommunity die entscheidenden Bausteine zur Etablierung einer universal einsetzbaren Testmethodik.
Solange Unsicherheiten hinsichtlich Prüfmethoden, Prüfkriterien sowie den notwendigen Qualifikationen und Kompetenzen der am Prüfprozess beteiligten Personen herrschen, braucht es zuallererst Test- und Experimentierräume, die dem Transfer von bestehendem und dem Aufbau von neuem Wissen dienen. Innerhalb der Räume können möglichst viele Anwendungssituationen durchgespielt, Risiken erkannt und geeignete Prüfmethoden entwickelt werden. Dafür bedarf es allerdings nicht nur einer stärkeren finanziellen Förderung der Forschung zur Prüfung von KI, sondern auch einer neuen Forschungskultur. Unternehmen, die KI-basierte Recruitingtools anwenden, müssen dazu motiviert werden, auch – oder insbesondere – problematische Ergebnisse für Forschungszwecke offen zu legen.
Zum Erwerb der notwendigen Kompetenzen in der KI-Entwicklung müssen zudem geeignete Weiterbildungsangebote für alle beteiligten Stakeholder geschaffen werden. Weitere intensive Forschung ist notwendig, um die Bedarfe der KI-Prüfung hinsichtlich passender Methoden und wichtiger Kompetenzen zu ermitteln. Neben den vielen Förderprogrammen, die die Potenziale und Risiken von KI aktuell ergründen, braucht es insbesondere größere Unterstützung im Bereich der KI-Prüfung, um die Generierung von Wissen und Kompetenzen auf diesem Gebiet voranzutreiben.
Schließlich muss die Beteiligung der unabhängigen Forschungscommunity an der Ausgestaltung verbindlicher Normen für KI-Systeme und ihrer Zertifizierung gestärkt werden. Dabei ist nicht zuletzt auch größere Diversität innerhalb der Normungsgremien dringend geboten. Ganz im Sinne ihrer eigenen Vorgehensweise, müssen auch Testansätze, wie der von ExamAI entwickelte, von vielen Seiten diskutiert, kritisiert und weiterentwickelt werden, um ihr volles Potenzial ausschöpfen zu können.
Julia Meisner ist Referentin für Kommunikation und Vernetzung bei der Gesellschaft für Informatik (GI). Im Projekt „ExamAI – KI Testing und Auditing“ der GI, der TU Kaiserslautern, der Universität des Saarlandes, der Stiftung Neue Verantwortung und Fraunhofer IESE verfasste sie den Policy Brief „KI im Personalmanagement – Mit Hilfe von Prüfverfahren zu fairen Personalentscheidungen“.
