ChatGPT hat durch seine Leistungen bei der automatisierten Erstellung von Texten große Aufmerksamkeit erlangt. Neben den Möglichkeiten, die dieses Verfahren bietet, werden zahlreiche Befürchtungen geäußert. Dabei liegt der Fokus häufig auf dem Ersetzen von menschlicher Eigenleistung und dies wird bereits als Problem gesehen, beispielsweise beim Schreiben von Hausarbeiten.
Doch hat die Existenz von ChatGPT auch für das Erzeugen von Desinformationen Konsequenzen. Dabei nehmen wir zwei unterschiedliche Perspektiven ein, die unserer Meinung nach die Bandbreite der derzeitigen Möglichkeiten abdecken: Zum einen gehen wir von einem Journalisten aus, der sich von ChatGPT beim Schreiben von Nachrichten unterstützen lässt und dabei übersieht, dass das System auch falsche Aussagen plausibel klingen lässt. Zum anderen beschreiben wir, wie ein System zur Textsynthese von Personen eingesetzt werden kann, die Desinformationskampagnen erstellen und verbreiten wollen.
Erzeugung von Falschinformationen
ChatGPT schreibt von sich selbst, dass es in der Lage sei „eine Vielzahl von Aufgaben auszuführen, darunter Fragen beantworten, kreative Texte generieren und sogar Wettervorhersagen machen.“ Das Modell wurde zwar auf einem riesigen Datensatz aus Büchern, Quellcode und öffentlich zugänglichen Internetquellen trainiert, die Aktualität der Trainingsdaten reicht allerdings nur bis Ende 2021.
Wettervorhersagen treffen, wie vom Modell behauptet, ist somit unmöglich. Das Beispiel zeigt, dass der Algorithmus Dinge als Fakt ausgibt, auch wenn sie offensichtlich falsch sind. Dabei gilt: Je komplexer das Thema (Klimawandel, Gen- oder Medizintechnik), desto schwieriger wird es, die Richtigkeit der ChatGPT-Antwort zu erkennen.
Ein weiteres Problem ist zudem, dass Sprachmodelle keine logischen Schlussfolgerungen ziehen oder Zusammenhänge erkennen können. Wenn Antworten generiert werden, dann durch eine Kombination von Wörtern und Sätzen, die in Milliarden von Trainingsdaten statistisch häufig zusammen vorkommen. Das mag für Übersetzungsprogramme wie DeepL gut funktionieren, für Chatbots, die faktische Antworten auf Fragen generieren, sind Quellennachweise allerdings unerlässlich. Der Bot muss also nicht nur eine ausformulierte Antwort geben, sondern auch nachweisen, aus welcher Quelle die Grundlage seiner Antwort stammt, damit der Fragende die Antwort gegebenenfalls prüfen und zumindest die Vertrauenswürdigkeit der Quelle bewerten kann. Diese Funktionalität bietet zumindest die ChatGPT-Integration in Microsofts Suchmaschine Bing an, welche im Moment allerdings noch nicht einwandfrei funktioniert.
Automatisiertes Erzeugen von Desinformationskampagnen
Ein häufiger Ansatz zum Erkennen von Desinformationen ist die Überprüfung anderer Quellen. Wenn eine Nachricht auf mehreren Kanälen verbreitet wird und aus unterschiedlichen Quellen stammt, ist diese vertrauenswürdiger.
Durch die Möglichkeit, Inhalte in großer Menge und unterschiedlichen Ausprägungen zu erstellen, wird diese Strategie anfällig gegen Angriffe. Denkbar ist es beispielsweise, mithilfe eines Skripts eine ganze Reihe von Texten und Abbildungen zu einer Reihe Stichworten zu erstellen und diese dann auch noch automatisiert über verschiedene Kanäle zu verbreiten. So könnte eine Mitteilung zu „Terroranschlag, Darmstadt, Innenstadt, heute gegen Mittag, Autobombe“ in mehreren Varianten „Augenzeugenbericht für Social Media“, „reißerische Mitteilung im Stil einer Boulevardzeitung“ und „sachlicher Bericht im Stil einer Tageszeitung“ erzeugt werden. Die entsprechenden Berichte können dann als Fund oder Zitat über verschiedene Social-Media-Kanäle verbreitet werden. Passende Bilder werden entweder direkt synthetisch erzeugt oder im Internet gefundene Bilder automatisiert so verändert, dass sie zu den Stichpunkten passen. So kann in wenigen Augenblicken eine ganze Kampagne aus scheinbar unabhängigen Inhalten zu einem erfundenen Ereignis entstehen. Wer von diesem Ereignis liest, stößt auf weitere Meldungen, die das Gelesene bestätigen.
Betrachtet man die schnelle Entwicklung der Verfahren zum Erzeugen künstlicher Inhalte, ist dieses Szenario nicht mehr weit entfernt. Für eine völlige Automatisierung sind die bekannten Verfahren der Bilderstellung jedoch noch zu anfällig für Fehler. Schnell könnte ein falscher Ort oder Personen mit deutlich sichtbaren Fehlern gezeichnet werden. Unterstützen können die Verfahren aber entsprechende Kampagnen sehr effizient. Eine halbautomatische Vorgehensweise, bei der der Erstellende die erzeugten Inhalte noch sichtet und dann die besten auswählt, um seinen Desinformationsangriff durchzuführen, ist heute durchaus denkbar.
Gegenmaßnahmen
Da weder der Algorithmus noch der Trainingsprozess von OpenAIs Produkten bekannt sind, arbeiten Forschende weltweit an der Entwicklung von Mechanismen, die KI-generierte Text erkennen. Das Forschungsteam um Eric Mitchell der Stanford University hat beispielsweise „DetectGPT“ entwickelt, welches einen eingegebenen Text auf seine mathematische Auffälligkeit analysiert.
Auch am Fraunhofer-Institut für Sichere Informationstechnologie (SIT) und am Nationalen Forschungszentrum für angewandte Cybersicherheit ATHENE forschen wir an Möglichkeiten, mit ChatGPT erstellte Texte automatisch erkennen zu helfen. Unser Ansatz stammt dabei aus der Autorschaftsverifikation, mit der üblicherweise in forensischen Untersuchungen die Autorschaft zu einem Text untersucht wird. Dazu wird der Schreibstil eines Autors durch Beispiele erlernt und dann mit dem zu untersuchenden Text verglichen. Zur Erkennung synthetischer Texte trainiert man den Stil von ChatGPT und prüft dann, ob der Stil eines vorliegenden Texts damit übereinstimmt.
Festhalten lässt sich, dass keins der Erkennungsverfahren bislang zuverlässig funktioniert und weitere Forschung notwendig ist. Dementsprechend muss der Leser von Nachrichten zumindest damit rechnen, dass diese synthetisch erstellt und potenziell falsch sind, beabsichtigt oder unbeabsichtigt.
Inna Vogel ist Textforensikerin und Martin Steinebach ist Leiter der Abteilung Media Security und IT Forensics am Fraunhofer-Institut für Sichere Informationstechnologie SIT.
