ChatGPT in Krankenhäusern : KI aus dem Schattendasein holen

Die Umfrage überraschte: Zusammen mit dem Digitalverband Bitkom hatte die Ärzteorganisation Hartmannbund dieses Jahr 600 Ärzte und Ärztinnen gefragt, ob sie Künstliche Intelligenz im Berufsalltag nutzen. In Kliniken gaben 18 Prozent der Befragten eine positive Antwort. Kein Wunder, folgerte Bitkom-Präsident Ralf Wintergerst. Schließlich liege der Nutzen klar auf der Hand, KI könne beispielsweise Diagnosen verbessern.

Irritierend ist nur, dass in der EU bisher kaum eine KI für die klinische Entscheidungsunterstützung zugelassen ist. Die spannende Frage lautet daher: Welche Technologie nutzen diese 18 Prozent genau? Was die Befragten unter KI verstehen, hat die Studie nicht ermittelt. Aber viele werden unter dem Deckmantel der Anonymität an Anwendungen der generativen KI gedacht haben – an ChatGPT, Gemini von Google oder die KI-Suchmaschine Perplexity.

Alle diese sogenannten Large Language Models (LLMs) sind in der Medizin eigentlich nicht erlaubt. Der EU AI Act und die Medical Device Regulation (MDR) stellen hohe Anforderungen an Systeme, sobald sie als Entscheidungshilfe dienen. Darunter fällt beispielsweise, wenn ein Mediziner oder eine Medizinerin die KI in einem Therapiekontext fragt, zu welcher Krankheit ihrer Ansicht nach die aufgelisteten Symptome passen könnten.

Warum Ärztinnen und Ärzte KI nutzen

Die strenge Regulierung ist wichtig, weil diese Modelle immer wieder halluzinieren, also falsche Informationen ausgeben. Zudem ist weder garantiert, dass die Auskünfte aus verlässlichen Quellen stammen, noch, ob sie auf dem neuesten Stand sind. In jedem Fall steht die Gesundheit von Patienten auf dem Spiel.

Aber genauso wichtig ist es zu verstehen, warum Mediziner und Medizinerinnen zu diesen Werkzeugen greifen. Ihre Zeit für Patienten und Patientinnen wird immer knapper, die Informationsmenge immer größer. Aber wir geben ihnen keine geeigneten Möglichkeiten, um rasch an Auskünfte zu gelangen, die Informationsflut übersichtlich zu sortieren. Ärzte und Ärztinnen nutzen ChatGPT & Co. nicht, weil sie der Technologie naiv gegenüberstehen – sondern weil sie ohne ihren Einsatz das Gefühl haben, ihren Arbeitsalltag schwer bewältigen zu können.

Intern redet die Brache bereits von der Schatten-KI. Wenn wir also verhindern wollen, dass Ärzte oder Ärztinnen die Technologie verwenden, wird ein Verbot nicht helfen. Stattdessen sollten wir dringend daran arbeiten, passende Alternativen zur Verfügung zu stellen.

KI-Nutzung als zukunftsweisendes Zeichen

Ich selbst habe lange als Arzt an einer Klinik gearbeitet und den Druck hautnah miterlebt. Nehmen wir als Beispiel den hypothetischen Fall eines Mannes, der mit Blut im Harn in die Notaufnahme kommt. Ein junger Mediziner, gerade von der Universität, muss entscheiden, welche Untersuchungsschritte notwendig sind. Er kennt sie im Großen und Ganzen, aber Zweifel bleiben. Hat er nicht vielleicht doch etwas vergessen? Keiner der erfahreneren Kollegen und Kolleginnen ist gerade für Rückfragen verfügbar. Der Patient war zwar schon einmal im gleichen Krankenhaus, aber um die Patientenakte sorgfältig durchzugehen, fehlt in der Notaufnahme häufig die Zeit.

Wer würde nicht mal kurz bei ChatGPT schauen, ob ein weiterer Untersuchungsschritt fehlt? Natürlich entscheidet am Ende der Arzt. Aber ein Risiko bleibt doch, weil er seinen Entschluss nicht völlig unbeeinflusst von den Informationen treffen wird, die ihm zuvor die KI präsentiert hat.

Wenn also 18 Prozent der Ärzte und Ärztinnen in Kliniken sagen, dass sie KI bereits nutzen, ist das einerseits ein hoffnungsvolles Signal dafür, wie groß die Aufgeschlossenheit für diese Technologie ist. Aber es ist genauso ein deutliches Zeichen dafür, wie dringend wir handeln müssen.

KIS-Daten bisher meist unstrukturiert

Der erste Schritt muss dabei gar nicht das große LLM sein. Niemand muss auf die Zulassung der ersten generativen KI warten, um Medizinern und Medizinerinnen den skizzierten Nutzen an die Hand zu geben. Es reicht oft schon, die derzeitigen Prozesse neu zu denken. Zentral dafür ist das Krankenhausinformationssystem (KIS).

Dort fließen alle Informationen zu Patienten und Patientinnen zusammen, und wenn wir schon hier die Pfade für Diagnose und Therapie klar strukturieren, ist viel gewonnen. Bisherige KIS-Anbieter tun sich mit dieser Strukturierung extrem schwer. In ihren Anwendungen dominieren oft Freitextfelder, weil sie den Bedürfnissen der Ärzte lange am besten gerecht wurden. Zudem ist die Software aus der Abrechnung von Leistungen entstanden, sie wurde nie von Grund auf für die klinische Dokumentation entwickelt. Entsprechend schwer fällt nun die Umstellung der Logik auf strukturierte Daten und Behandlungspfade.

Rückversicherung direkt im KIS einbauen

Ein modernes KIS sollte allerdings in der Lage sein, nächste Diagnoseschritte vorzuschlagen, wenn Ärztinnen und Ärzte die Ergebnisse der Anamnese eingeben. Die Vorschläge könnten sie nach und nach durchgehen und entsprechend dokumentieren. Mit diesen so genannten Standard Operating Procedures (SOPs) ist die Rückversicherung ins System eingebaut, die Frage an ChatGPT oder Perplexity obsolet.

Die zugrunde liegenden Entscheidungsbäume sind einfach gesprochen Leitlinien oder Behandlungsstandards des jeweiligen Krankenhauses in digitaler Form, die automatisiert aufgerufen werden können. Solange sie nicht über eine einfache Suche hinausgehen, fallen sie weder unter den EU AI Act noch benötigen sie eine Zulassung nach der MDR. Bei komplizierten Fällen oder seltenen Erkrankungen kommt das Verfahren natürlich an seine Grenzen. Aber im Unterschied zu LLMs würde das System in diesen Situationen keine herbei halluzinierte Auskunft geben.

Eine KIS-Architektur sollte zudem die Grundlage für verlässliche klinische KI-Systeme liefern. Damit wird die Technologie im Klinikalltag nicht zur Black Box, sondern zu einem verlässlichen Werkzeug. Es wird also höchste Zeit, KI in der Klinik aus ihrem Schattendasein zu holen.

Sebastian Krammer ist Arzt und Mitgründer von Avelios Medical. Das Unternehmen bietet ein Krankenhausinformationssystem an, das KI in den Behandlungsprozess integriert. Vor der Gründung war Krammer Arzt am LMU Klinikum. Zusätzlich baute er eine vom Bundesgesundheitsministerium geförderte Forschungsgruppe für Künstliche Intelligenz auf.