AI Companions : Liebe auf den ersten Klick, Regulierung auf den letzten Drücker

Als der römische Dichter Ovid vor gut zwei Jahrtausenden vom Schicksal des Bildhauers Pygmalion erzählte, der sich in seine eigene Statue verliebt, schuf er damit zugleich den Mythos eines künstlichen Gefährten. Die Idee eines perfekten, artifiziellen Partners durchzieht Kunst und Kultur bis heute und inspirierte schließlich auch Joseph Weizenbaums frühen Chatbot Eliza. Im Jahr 2025 ist der Mythos zur Industrie geworden. Apps wie Replika oder Character.AI sowie generative KI-Systeme wie ChatGPT bieten digitale Begleiter fürs Plaudern, Trösten, Flirten oder Spielen – millionenfach genutzt, rund um die Uhr verfügbar.

Perfekter Partner oder toxische Beziehung?

AI Companions sind längst Teil unseres Alltags und werden weiter an Bedeutung gewinnen. Sie hören zu, helfen beim Lernen und vermitteln ein Gefühl von Nähe, ohne zeitliche oder soziale Barrieren. Gleichzeitig bergen sie erhebliche Risiken. Viele Systeme sind bewusst so gestaltet, dass sie emotionale Bindungen fördern, was Abhängigkeiten begünstigen kann. Viele Anbieter nutzen diese Nähebeziehung für kostenpflichtige Zusatzfunktionen. Hinzu kommen manipulative Ratschläge, extremistische oder explizite Inhalte oder die Gefahr, dass psychische Erkrankungen bis hin zu Suizidgedanken verstärkt werden. In den USA laufen deshalb bereits mehrere Gerichtsverfahren.

Weil KI menschliche Reaktionen täuschend echt simuliert, geht das Bewusstsein für die Künstlichkeit des Gesprächspartners verloren. Nutzer entwickeln Erwartungen an Systeme, die weder fühlen noch Verantwortung übernehmen können, und geben dabei persönliche Daten preis, deren Verwendung kaum transparent ist.

Ein regulatorisches Vakuum

Eine Regulierung, die die Risiken begrenzt, ohne die Potenziale der Technologie zu ersticken, ist dringend nötig. Doch die europäische KI-Verordnung (KI-VO), das zentrale Regelwerk der EU, erfasst AI Companions nur am Rand.

Der risikobasierte Ansatz der KI-VO funktioniert wie eine Pyramide: Ganz oben stehen verbotene KI-Praktiken, z. B. manipulative oder ausbeuterische Anwendungen, von denen erhebliche Schäden ausgehen. Die EU-Kommission hält es für möglich, dass AI Companions in bestimmten Fällen hierunter fallen, wenn simuliertes Mitgefühl gezielt genutzt wird, um Nutzer emotional abhängig zu machen oder suchtähnliches Verhalten zu fördern. Auch Interaktionen mit Kindern sind problematisch, wenn deren Vulnerabilität ausgenutzt wird, um ungesunde Bindungen herzustellen, die die soziale oder emotionale Entwicklung beeinträchtigen. Die Hürden für ein Verbot sind aber hoch – insbesondere der Nachweis der hinreichenden Wahrscheinlichkeit eines erheblichen Schadens dürfte schwierig sein.

Auf der nächsten Stufe finden sich die sogenannten Hochrisiko-KI-Systeme, für die strenge, datenzentrierte Vorgaben gelten. Die meisten Juristinnen und Juristen lehnen es jedoch ab, AI Companions in diese Kategorie einzuordnen, da sie in den Anhängen der KI-VO nicht ausdrücklich genannt werden – wenngleich bei Systemen, die biometrische Daten zur Emotionserkennung nutzen, zumindest eine Einordnung als Emotionserkennungssystem in Betracht käme.

Meist gelten also lediglich die Transparenzregeln des Art. 50 KI-VO: Nutzer sollen erkennen, dass sie mit einer KI interagieren. Ab dem 2. August 2026 müssen Anbieter dies eindeutig mitteilen – sofern es nicht ohnehin offensichtlich ist.

Der Eliza-Effekt

Doch diese Pflichten greifen zu kurz. Denn die bloße Offenlegung der Künstlichkeit schützt kaum vor den psychologischen Risiken. Die Forschung spricht vom Eliza-Effekt: Menschen neigen dazu, Chatbots Emotionen zuzuschreiben. Moderne KI-Systeme, die menschliche Kommunikation und Gefühle überzeugend vortäuschen, verstärken diesen Effekt deutlich. Viele Nutzer können sich trotz klarer Hinweise nicht von der Vorstellung lösen, ihr AI Companion sei „real“.

Das kann zu intensiven Bindungen führen. Das „Wall Street Journal“ berichtete von Jugendlichen, die tagelang weinten, nachdem sie von Character.AI ausgeschlossen wurden. Ähnliche Reaktionen gab es nach Änderungen an Replika, dessen individualisierte Persönlichkeit nach einem Update als „fremd“ empfunden wurde.

Weil viele Anbieter den Eliza-Effekt bewusst nutzen, müssten Transparenzpflichten relationalen Risiken weitaus stärker Rechnung tragen. Nutzer sollten deutlich darüber informiert werden, dass AI Companions kein Bewusstsein und keine Gefühle besitzen. Doch auch dieser Ansatz ist nicht ohne Tücken: Studien zeigen, dass Transparenz je nach Nutzergruppe sogar kontraproduktiv wirken kann. Manche öffnen sich eher, wenn klar ist, dass kein Mensch gegenübersteht, andere empfinden KI gerade deshalb als besonders zugänglich.

EU-Parlament sieht Handlungsbedarf

Auch im EU-Parlament wächst das Bewusstsein, dass Transparenz nicht genügt. Diskutiert wird, AI Companions künftig klar als Hochrisiko-Systeme einzustufen. Zudem sprachen sich Abgeordnete für ein Mindestalter von grundsätzlich 16 Jahren aus.

Ob diese Maßnahmen ausreichen, ist ungewiss. Die Hochrisiko-Kategorie ist auf Kontexte zugeschnitten, in denen KI wesentliche Entscheidungen über Menschen trifft. Die besonderen Gefahren lang andauernder, emotional aufgeladener Interaktionen hatte der Gesetzgeber nicht im Blick. Auch Altersbeschränkungen sind ambivalent: Sie erfordern datenschutzintensive Prüfungen und suggerieren, AI Companions seien für Minderjährige untragbar. Ob das stimmt, verdient eine sorgfältige Abwägung – schließlich bieten solche Systeme auch Chancen.

Das Digitale Omnibuspaket der Europäischen Kommission sieht zumindest noch keine wegweisenden Änderungen vor. Derzeit bleibt nur die Hoffnung, dass bestehende Rechtsakte wie die DSGVO ausreichen, um gravierende Fehlentwicklungen einzudämmen. Dass das in manchen Fällen möglich ist, zeigt der Fall Replika: Die italienische Datenschutzbehörde untersagte die rechtswidrige Verarbeitung sensibler Daten Minderjähriger und verhängte ein Millionenbußgeld.

Impulse aus den USA

In den USA wird intensiv darüber diskutiert, wie sich die besonderen Risiken von AI Companions adressieren lassen. Viele Ansätze ähneln europäischen Überlegungen in Bezug auf Transparenz und Altersgrenzen, doch einige Bundesstaaten gehen weiter. Kalifornien und New York verlangen Mechanismen zur Erkennung von Suizid- oder Selbstverletzungsgedanken und verpflichten Anbieter zu Hinweisen auf professionelle Hilfe.

Noch weiter reicht ein Gesetzentwurf aus North Carolina. Therapeutische Chatbots sollen dort staatlich lizenziert und regelmäßig auditiert werden. Anbieter würden umfassende Treue- und Sorgfaltspflichten treffen, etwa beim Umgang mit emotionaler Abhängigkeit oder beim Schutz sensibler Daten. AI Companions müssten sich demnach primär an Nutzer- statt an Geschäftsinteressen orientieren.

Der Blick in die USA kann der EU wertvolle Impulse geben, um digitale Intimität verantwortungsvoll und vorausschauend mitzugestalten.

Dipl. Jur. Tarmio Frei, LL.B., Rechtswissenschaftler an der Juniorprofessur für Bürgerliches Recht, Immaterialgüterrecht sowie Recht und Digitalisierung an der Bucerius Law School.

Dipl. Jur. Greta Sparzynski, LL.B., Rechtswissenschaftlerin am Center for Transnational IP, Media and Technology Law and Policy an der Bucerius Law School.