Die aktuelle Generation von Pkw nutzt eine Vielzahl an Sensoren, die den Innenraum und die Passagiere erfassen. Mittels Methoden der Künstlichen Intelligenz (KI) können mit diesen Daten Emotionen, Stress und Müdigkeit eingeschätzt werden. Ein integrierter Assistent, der auf diese Informationen reagiert, kann einen Beitrag dazu leisten, das Fahrerlebnis in Zukunft angenehmer und sicherer zu gestalten.
Autos werden immer komplexer und intelligenter. Sie können über Kameras und Lidar ihr Umfeld erkennen und eigenständig lenken und beschleunigen, etwa um die Spur zu halten oder Überholmanöver durchzuführen. Zunehmend richtet sich ihr Blick auch nach innen: Um beim teilautonomen Fahren sicherzustellen, dass der Fahrer notfalls jederzeit bereit ist, die Kontrolle zu übernehmen, kann das Gesicht durch eine Kamera beobachtet werden. Sind die Augen geschlossen oder der Blick von der Straße abgewendet, wird eine Warnung ausgegeben. Über die Augenbewegungen kann zusammen mit weiteren Daten wie dem Lenkverhalten und der Fahrtdauer auch die Müdigkeit vorhergesagt und eine Pausenempfehlung gegeben werden.
Die Sensorik wird zunehmend auf den gesamten Innenraum und alle Insassen ausgeweitet, um neue Use Cases zu ermöglichen. Zusätzliche Kameras ermöglichen die Erkennung von Gesten, um etwa berührungslos Anrufe entgegenzunehmen oder abzulehnen. Mikrofone erfassen Sprachbefehle, beispielsweise, um die Adresseingabe bei der Navigation zu vereinfachen. Radarsysteme erkennen selbst geringe Bewegungen durch die Atmung und können damit im Fahrzeug zurückgelassene Kinder oder Tiere erkennen.
Rückschlüsse auf Emotionen und Stressbelastung
Viele Hersteller integrieren bereits einen Sprachassistenten im Fahrzeug, der auf Wunsch Funktionen aktivieren oder Fragen beantworten kann. Die Antworten werden zur Sprachausgabe durch ein Text-to-Speech-Modell synthetisiert. Die Weiterentwicklung dieser Assistenten in Verbindung mit den Sensordaten des Fahrzeugs hat das Potenzial, die Nutzerinteraktion auf eine neue Stufe zu heben. Mehrere Faktoren sind hierfür entscheidend.
Die reichhaltigen Informationen der Innenraumsensoren können analysiert werden, um die Interaktion natürlicher und empathischer zu gestalten. Über die Mikrofone lassen sich nicht nur gesprochene Worte identifizieren, die menschliche Stimme kann auch analysiert werden, um Rückschlüsse auf Emotionen und Stressbelastung zu ziehen. Das Kamerasystem kann durch die Detektion von Mimik und Körperhaltung ebenfalls helfen, die Stimmung der Passagiere einzuordnen. Durch die Fusionierung der Signale wird die Robustheit und Erkennungsgenauigkeit gesteigert.
Mit diesen Informationen könnte das Fahrzeug sein Verhalten an den Zustand der Insassen anpassen. Beispielsweise könnte es die Tonlage seiner synthetisierten Stimme verändern und aktiver oder passiver agieren. Außerdem wäre es möglich, das Interieur automatisch anzupassen, um Stress zu reduzieren. Der Assistent könnte die Innenraumbeleuchtung regulieren, Sitzeinstellungen ändern und Musikvorschläge machen, um eine entspannende Wirkung zu erzielen.
Wichtig ist auch eine kontextbasierte Erkennung der Nutzerabsichten, damit der Assistent Fehlentscheidungen vermeiden (etwa einen frustrierten Fahrer nicht durch unpassende Äußerungen noch wütender machen) und proaktiv agieren kann. Beispielsweise kann über die Erkennung von Personen und Gegenständen im Fahrzeug sowie über Informationen wie Uhrzeit und Zieleingabe geschlussfolgert werden, ob es sich um eine Fahrt zur Arbeit oder einen Ausflug handelt. Das Fahrzeug könnte dann seine Navigationsvorschläge anpassen, um möglichst effizient oder über eine schönere Route ans Ziel zu kommen. Außerdem könnte es vorhersagen, welche Funktionen die Passagiere wahrscheinlich nutzen wollen, und sie proaktiv anbieten.
Fahrzeug passt sein Verhalten an
Wird das Fahrzeug immer wieder von denselben Personen genutzt, kann es aus diesen Interaktionen lernen, um sich zu personalisieren. Über den Fahrzeugschlüssel oder eine Gesichtserkennung kann es den Nutzer identifizieren und ein spezifisches Profil anlegen. Mittels lernender Algorithmen, etwa via Reinforcement Learning, kann das Fahrzeug sein Verhalten anpassen und auf Feedback des Nutzers reagieren, um eine optimale Erfahrung anzubieten. Beispielsweise können die Bedienoberflächen individualisiert und die Persönlichkeit des Assistenten informeller oder distanzierter eingestellt werden. Um den Nutzer nicht durch ständige Rückfragen zu verärgern, kann implizites Feedback etwa durch die Emotionserkennung genutzt werden.
Die automatisierte Erfassung der Personen im Innenraum und ihrer Gemütszustände und Absichten wirft natürlich Fragen des Datenschutzes und der KI-Ethik auf. Der EU AI Act etwa stuft KI zur Erkennung von Emotionen und biometrischen Charakteristiken als eine Technologie mit potenziell hohem Risiko ein. Entsprechend müssen bei der Auslegung dieser Systeme Vorkehrungen zum Schutz der Nutzer getroffen werden.
Neben Transparenz, welche Daten verarbeitet werden und dem Einholen des Einverständnisses der Nutzer sollte die Datenverarbeitung so weit wie möglich auf das Fahrzeug beschränkt werden, um einen unbeabsichtigten Abfluss von sensitiven Informationen über die Backend-Verbindung zu verhindern. Da die Rechenkapazität auf den Steuergeräten begrenzt ist, ergeben sich daraus Herausforderungen an die Entwicklung von effizienten KI-Systemen. Neben der Reduktion der Modellgröße durch Quantisierung oder Pruning ist hier auch Knowledge Distillation, also die Übertragung des Wissens eines größeren Modells auf ein kleineres, eine interessante Option.
Flottendaten der Kundenfahrzeuge wertvoll
Zur Entwicklung solcher intelligenten Innenraumfunktionen sind die Flottendaten der Kundenfahrzeuge von großem Wert für die Hersteller. Hier stellt sich jedoch die Frage des Zugriffs aus dem Backend unter Wahrung des Datenschutzes. Ein möglicher Lösungsansatz ist, dass die Fahrzeuge keine Rohdaten ihrer kritischen Sensoren (wie den Kameras oder Mikrofonen) teilen, sondern über Federated Learning die Parameter ihrer internen Modelle austauschen und aktualisieren.
Falls Rohdaten notwendig sind, könnten generative KI-Modelle zum Einsatz kommen. Diese Modelle würden vor der Übertragung eines Bildes oder einer Sprachaufzeichnung die identifizierbaren Merkmale der Personen in den Daten verschleiern. Die Herausforderung hierbei liegt darin, die Daten nur so weit zu verändern, dass keine Rückschlüsse auf die ursprüngliche Identität mehr möglich sind, sie aber weiterhin für die Entwicklung nutzbar sind. In jedem Fall sollten neue Systeme mit realen Daten validiert werden.
Der Einsatz von KI-Systemen im Fahrzeug birgt neben Herausforderungen und Risiken großes Potenzial zur Erhöhung der Sicherheit für Fahrer und Passagiere sowie zur Verbesserung des Nutzererlebnisses durch einen intelligenten, empathischen und proaktiven Assistenten. Die zunehmende Vernetzung und die Integration neuer Informations- und Entertainmenttechnologien wie Augmented Reality bieten hier enorme Möglichkeiten.
