KI in der Medizin : Krankenhäuser sind auf die KI-Sicherheitsvorkehrungen angewiesen

Künstliche Intelligenz (KI) wird bereits zur Auswertung von Scans, zur Unterstützung von Diagnosen und zur Steuerung von Behandlungsentscheidungen eingesetzt. Doch gerade jetzt, wo diese Systeme Einzug in die klinische Praxis halten, droht Europa die zu ihrem Schutz vorgesehenen Regeln zu schwächen. Im März veröffentlichte das EU-Parlament seine Position zum KI-Omnibus, die darauf abzielt, den AI Act zu vereinfachen und die Belastungen für die Industrie zu reduzieren. Unter anderem schlägt es vor, die Anwendung von Regeln für risikoreiche KI-Systeme zu verzögern und sie dort abzuschwächen, wo bereits branchenspezifische Gesetze, wie etwa das Medizinprodukterecht, gelten.

Für medizinische KI bedeutet dies, dass Systeme zwar weiterhin gemäß dem AI Act als „risikoreich“ eingestuft bleiben, aber nicht mehr den ursprünglich für diese Einstufung vorgesehenen Schutzmaßnahmen unterliegen. Was als technische Vereinfachung dargestellt wird, ist in der Praxis eine bedeutende Veränderung in der Regulierung von KI im europäischen Gesundheitswesen. Diese Deregulierung hat weitreichende Folgen für die Gesundheit und die Rechte von Patientinnen und Patienten.

Was das traditionelle Produktrecht nicht abdeckt

Ein wesentlicher Treiber dieser Reform ist der Druck der Industrie. Medizintechnikunternehmen argumentieren, dass die Einhaltung sowohl des AI Act als auch der bestehenden Medizinproduktegesetzgebung zu Doppelarbeit führt und Innovationen bremst. Zwar ist das europäische Medizinprodukterecht bereits komplex und aufwendig, doch diese Argumentation verkennt das Problem. Die KI-Verordnung war nie als separates Zulassungsverfahren für medizinische KI gedacht, sondern sollte parallel zur Medizinprodukteverordnung und zur Verordnung über In-vitro-Diagnostika funktionieren, um die Anforderungen in einem integrierten Konformitätsverfahren zu bewerten. Der AI Act bietet Schutzmechanismen für Risiken, die das traditionelle Produktrecht nicht abdeckt: verzerrte Daten, mangelnde Transparenz, unzureichende menschliche Aufsicht und schädliche Auswirkungen, die erst im klinischen Alltag sichtbar werden. Der Wegfall dieser Schutzmechanismen vereinfacht das Zulassungsverfahren für KI-Medizinprodukte nicht unbedingt, sondern gefährdet Patienten.

Der Zeitpunkt dieser Reform ist besonders besorgniserregend, da KI im Gesundheitswesen nicht länger Zukunftsmusik, sondern fester Bestandteil des klinischen Alltags ist. Krankenhäuser in ganz Europa nutzen schon KI-Systeme. Die vorgeschlagenen Änderungen würden die Schutzmechanismen für diese Systeme jedoch verzögern oder abschwächen und einen wirksamen Schutz möglicherweise erst in ferner Zukunft gewährleisten oder ihn von technischen Standards abhängig machen, deren Entwicklung Zeit benötigt. Angesichts des zunehmenden Drucks auf Krankenhäuser, zu digitalisieren und KI-Tools einzuführen, entsteht dadurch eine wachsende Kluft zwischen der Geschwindigkeit der technologischen Einführung und der Stärke des Rechtsschutzes.

Risiken entstehen im realen Einsatz

Ebenso wichtig ist, was nach der Einführung von KI-Systemen in die klinische Praxis geschieht. Viele der größten Risiken entstehen nicht zum Zeitpunkt der Marktzulassung, sondern erst im realen Einsatz. Ein System, das in Tests gut abschneidet, kann in Krankenhäusern zu einer übermäßigen Abhängigkeit führen oder bei bestimmten Patientengruppen systematisch schlechter abschneiden, beispielsweise weil die Trainingsdaten diese nicht adäquat repräsentierten. Die Sicherheit hängt daher nicht nur von der Gestaltung der KI ab, sondern auch von ihrer praktischen Anwendung: Sind die Fachkräfte im Gesundheitswesen darin geschult, die Ergebnisse kritisch zu interpretieren? Werden die Systeme überwacht? Sind die Verantwortlichkeiten klar definiert? Die geltende KI-Verordnung trägt dem Rechnung, indem es nicht nur Entwickler, sondern auch Anwender, darunter Krankenhäuser und andere Gesundheitsdienstleister, verpflichtet. Die geplante Reform hebt diese Verpflichtungen auf und lässt die Fachkräfte im Gesundheitswesen ohne klare Richtlinien zurück.

Die Behauptung, diese Änderungen würden die Regulierung vereinfachen und Innovationen fördern, ist letztlich nicht überzeugend. Die Komplexität des europäischen Medizinprodukte-Systems rührt größtenteils von strukturellen Problemen wie begrenzten Regulierungskapazitäten und sich überschneidenden Verfahren her. Und nicht von KI-spezifischen Schutzmaßnahmen. Der Wegfall dieser Schutzmaßnahmen löst die zugrundeliegenden Probleme nicht, sondern verlagert die Komplexität lediglich. Anstelle eines kohärenten EU-weiten Rahmens könnten Schutzmaßnahmen für medizinische KI-Risiken schrittweise durch fragmentierte Leitlinien, delegierte Rechtsakte und branchenspezifische Regeln wieder eingeführt werden, was sowohl für Unternehmen als auch für Gesundheitsdienstleister Rechtsunsicherheit schafft. In einem so sensiblen Bereich wie dem Gesundheitswesen untergräbt diese Unsicherheit das Vertrauen und führt zu einer geringeren Akzeptanz von KI.

Fehlende Kapazität der Benannten Stellen

Ein Regulierungsrahmen, der medizinische KI als „Hochrisiko“ einstuft, gleichzeitig aber viele der damit verbundenen Verpflichtungen aufhebt, erweckt den Anschein von Sicherheit, ohne diese zu gewährleisten. Dies ist keine Vereinfachung, sondern Deregulierung in einem der sensibelsten Anwendungsgebiete von KI. Die bessere Lösung besteht nicht darin, KI-spezifische Schutzmaßnahmen abzuschaffen, sondern die Verfahren zu vereinfachen und gleichzeitig den Inhalt beizubehalten: die Dokumentation aufeinander abzustimmen, die Leitlinien zu verbessern, die Kapazität der Benannten Stellen zu stärken und klare Verpflichtungen sowohl für Entwickler als auch für Gesundheitseinrichtungen zu gewährleisten.

Die Europäische Kommission, das Parlament und der Rat sollten jede Reform ablehnen, die die Schutzvorkehrungen für medizinische KI schwächt. Wenn Europa auf vertrauenswürdige medizinische KI setzt, sollte es die Verfahren dort vereinfachen, wo dies erforderlich ist, aber die Schutzvorkehrungen in Bezug auf Datenqualität, menschliche Aufsicht, Überwachung und Rechenschaftspflicht beibehalten, die Patienten und medizinisches Fachpersonal benötigen.

Hannah van Kolfschooten ist Postdoktorandin am Zentrum für Life Sciences-Recht der Universität Basel in der Schweiz. Ihr Forschungsschwerpunkt liegt an der Schnittstelle von Recht, Gesundheit und künstlicher Intelligenz.