Augmented Reality (AR) : Wie AR die Chirurgen-Ausbildung voranbringt

Seit über 60 Jahren werden in der Chirurgie optische Hilfsmittel eingesetzt, um krankhafte Strukturen oder Gewebeveränderungen einfacher zu erkennen und besser zu differenzieren. Die optische Vergrößerung mittels Mikroskop und Endoskop ermöglicht einen visuellen Zugang zu schwer einsehbaren Strukturen. Dies erlaubt die Durchführung komplizierter Operationen mit der Herausforderung, beispielsweise in der HNO-Chirurgie, bei extrem kleinen Dimensionen feine Risikostrukturen wie Nerven zu schonen, während krankhafte Strukturen entfernt werden. Diese Aufgabe ist mit Risiken verbunden, da sich unterschiedliche Gewebearten visuell nur gering voneinander unterscheiden. Um diese Risiken zu minimieren, ist in der chirurgischen Ausbildung der Erwerb umfangreichen Wissens über alle Operationsschritte, ein intensives Training sowie eine Anzahl praktischer Operationen unter Anleitung notwendig. 

Betrachtet man die mikroskopische Chirurgie genauer, stellt sich eine weitere Herausforderung für die medizinische Ausbildung dar: Der Operateur hat stets die beste Sicht auf den Operationssitus. Der lernende Assistent hingegen kann die Operation lediglich über eine am Mikroskop angekoppelte Kamera mit angeschlossenem Display verfolgen. Hierbei geht jedoch der Tiefeneindruck sowie die Relation einzelner Strukturen zueinander komplett verloren. Der Lerneffekt für den angehenden Chirurgen ist deutlich reduziert. Eine weitere Problematik besteht in der korrekten Differenzierung sich visuell ähnlich darstellender Gewebestrukturen. Nerven sind nur schwer von anderem umgebenden Weichgewebe zu unterscheiden. Hier können bei einer Operation schnell Fehler passieren.  

Das Forschungsprojekt TeleSTAR (Telepresence for Surgical Assistance and Training using Augmented Reality), gefördert von EIT Health der Europäischen Kommission, hat sich zum Ziel gesetzt, die mikrochirurgische Ausbildung mittels Augmented Reality (AR) und 3D-Technologien zu verbessern. Im Rahmen des Projekts haben das Fraunhofer Heinrich-Hertz-Institut, die HNO-Klinik der Charité Berlin, die Universität Delft in den Niederlanden und die Firma Munich Surgical Imaging in den vergangenen drei Jahren intensiv zusammengearbeitet.  

Das TeleSTAR-Team hat ein medizinisches System für die digitale Chirurgie und Tele-Lehre entwickelt, das AR und 3D nutzt. Teilnehmer, die sich an unterschiedlichen Orten befinden, können eine Operation jetzt als 3D-Live-Stream zu Lehrzwecken verfolgen und werden durch AR mit wichtigen Zusatzinformationen versorgt. Somit entsteht ein optimaler Lerneffekt. Einer Operation können weitaus mehr Teilnehmer beiwohnen als dies innerhalb eines OP-Saals jemals möglich wäre. Die erste gelungene Demonstration dieses Ansatzes hat das Forscher-Team diesen September durchgeführt. Eine Operation an der Charité Berlin, bei der ein Cochlea-Implantat eingesetzt wurde, wurde an 35 Teilnehmer in einem Hörsaal der Universität Delft übertragen. Generell ist dieses Übertragungsverfahren skalierbar und erlaubt es, insbesondere in Pandemiezeiten die chirurgische Ausbildung aufrecht zu erhalten. 

Schädliche Strahlung wird vermieden

Wie wird eine derartige Übertragung technisch umgesetzt? Als Basis dient das neuartige, digitale 3D-Operationsmikroskop ARRISCOPE. Dieses leistungsstarke Instrument kann das Bild, das der Operateur in seinem Binokular sieht, an angehende Operateure auf der ganzen Welt übertragen. Medizinstudenten können die Operation mit 3D-Projektoren und 3D-Displays live verfolgen. Zur Steigerung des Lerneffekts werden sämtliche Operationsschritte grafisch als AR-Annotation visualisiert. Hierfür stehen im Operationssaal digitale Tools mit Touchscreen zur Verfügung, mit denen die Schnittführung sowie anatomische Grenzen im Livebild des Operateurs markiert werden.  

Um bei einer Operation die Dimensionen besser einschätzen zu können, wird im ARRISCOPE eine metrische Tiefenkarte mit den vom Fraunhofer HHI entwickelten Algorithmen berechnet. Der Operateur kann somit Distanzen zwischen anatomischen Punkten messen. Dies ist besonders hilfreich, wenn es um die Anfertigung von Prothesen geht. Diese müssen in ihrer Größe den individuellen anatomischen Anforderungen des Patienten exakt entsprechen. Die Messfunktion erlaubt es, Marker an die anatomischen Ankopplungspunkte zu platzieren und damit die für den Patienten optimale Prothese auszuwählen. Hinzu kommt der Vorteil, dass diese Art der Messtechnik rein bildbasiert funktioniert und der Patient keiner schädlichen Strahlung wie bei einem CT ausgesetzt ist. 

Für die bessere Visualisierung feiner Strukturen ist im digitalen Operationsmikroskop eine Multispektralfunktion implementiert. Diese nimmt das Operationsfeld bei Beleuchtung mit verschiedenen Wellenlängen auf. Sie werden unterschiedlich vom Gewebe reflektiert. Hierdurch können Rückschlüsse auf das Gewebe gezogen werden. Die wichtige Zusatzinformation zum Gewebetyp wird dann als AR in das Operationsbild eingeblendet. Ist klar erkennbar, wo Nerven liegen, kann ein Eingriff fehlerärmer und schneller durchgeführt werden.  

Das Forschungsprojekt TeleSTAR hat nicht nur zum Ziel, entfernt sitzende Operateure auszubilden. Die neuartige AR-Funktionalität kann darüber hinaus in das Binokular des Operateurs eingespielt werden. Auf diese Weise kann sich ein Operateur während eines Eingriffes Hilfe von entfernt sitzenden Experten holen, indem sie annotieren und diese Informationen in das Binokular des Operateurs eingespielt werden. Die innovativen Möglichkeiten von AR in der Medizin sind vielfältig. Wir stehen hier erst am Anfang.  

Jean-Claude Rosenthal ist wissenschaftlicher Mitarbeiter der Abteilung „Vision & Imaging Technologies“ am Fraunhofer HHI in Berlin. Seit 2016 arbeitet der Informatiker an möglichen Einsatzszenarien dieser Technologien im OP-Saal im Rahmen verschiedener BMBF- und EU-geförderter Forschungsprojekte mit. Eric Wisotzky ist wissenschaftlicher Mitarbeiter der Abteilung „Vision & Imaging Technologies“ am HHI. Der Arbeitsschwerpunkt des Physikers liegt auf der multimodalen und spektralen Gewebeanalyse und –Erkennung.