Desinformation : KI-Hintertür in die Demokratie

Über „traditionelle” Desinformationskampagnen in sozialen Netzwerken oder News-Websites ist mittlerweile viel geschrieben worden. Weniger bekannt ist über den jüngsten Angriffsvektor: Large Language Models (LLM). In einem im März 2025 veröffentlichten Bericht haben Forscher von „News Guard“ aufgedeckt, dass populäre LLMs anfällig für Desinformationen sind, die von einem russischen Desinformationsnetzwerk namens „Pravda“ verbreitet werden.

Nach Berichten der französischen Desinformationsbekämpfungsagentur Viginum steckt dahinter eine IT-Firma, die sich auf der russisch besetzten Krim befindet. Das Netzwerk wurde kurz nach der russischen Invasion auf die Ukraine gegründet, ist in Dutzenden von Ländern aktiv und verbreitet kremlfreundliche Narrative. Es verfügt über Hunderte von Webseiten und Social-Media-Konten, die Desinformationsinhalte automatisch replizieren und amplifizieren.

Schätzungen zufolge hat „Pravda“ allein im Jahr 2024 mehr als 3,6 Millionen Online-Artikel veröffentlicht. Die Forschende untersuchten die fünfzehn meistverbreiteten Narrative dieses Netzwerks und verglichen sie mit den Antworten der zehn wichtigsten LLMs, darunter ChatGPT und Googles Gemini. In 33 Prozent der Fälle stimmten die Antworten überein. Das zeigt, dass LLMs ein nützliches Instrument zur Reproduktion von Propaganda beziehungsweise von manipulierten oder schlichtweg falschen Informationen sein können.

In einigen Fällen wurde sogar die „Pravda“ als Informationsquelle zitiert. Forscher des „American Sunlight Project“ haben diese Desinformationsstrategie als „LLM Grooming“ bezeichnet. Dabei werden die Trainingsdaten von LLM-Modellen gezielt manipuliert, um bestimmte Narrative oder Antworten in die KI-Modelle einzubetten. Im Januar 2024 überlegte der Kreml-Propagandist John Mark Dougan erstmalig öffentlich, LLMs mittels Desinformation zu vergiften. Das Resultat davon ist nun offenbar zu beobachten.

Vergiftungsmechanismus

Das Vorgehen ähnelt der Strategie der „Spamuflage“, die beispielsweise auch von China verwendet wird. Dabei werden Propagandabotschaften in eine Masse neutralerer und harmloser Nachrichten auf Social-Media-Plattformen eingebettet, um weniger aufzufallen. Bei LLM-Grooming geht es darum, das Narrative maschinell zu multiplizieren, etwa in den Antworten von Chatbots. Dabei wird der Mechanismus gekapert, mit denen KI-Modelle mit Trainingsdaten gefüttert werden: Web Scraping.

Da Tech-Unternehmen ihre LLMs teils willkürlich, teils illegal an allen öffentlich-erreichbaren Datenquellen füttern, kann durch die Überflutung dieser Datenquellen der Output manipuliert werden. Durch das massenhafte Veröffentlichen von Desinformation auf Websites und Social-Media-Kanälen wie etwa Reddit werden Desinformationsinhalte zunehmend auch von LLMs gescraped. Auf diese Weise kommt es zu einer Art „Infektion“ oder Vergiftung. Die Folgen davon dürften eher langfristig zutage treten, wenn die nächste Generation von LLMs trainiert wird. Daher sollten wir diese Bedrohung als eine unmittelbare Herausforderung betrachten, zumal synthetische Medien zunehmend die politische Realität beeinflussen.

LLMs haben weder einen moralischen Kompass noch sind sie in der Lage, den Wahrheitsgehalt von Aussagen rational zu bewerten, insbesondere wenn diese Aussagen dazu dienen, die Realität zu verzerren. Dies ist eine direkte Folge der Architektur der Transformatoren, die für die Erzeugung von Inhalten zuständig sind. Sie beruhen auf der probabilistischen Produktion von Wortketten, die sich zu logisch und semantisch korrekten Strukturen zusammenfügen. Sie sind daher auf Trainingsmaterial angewiesen. Die populäre Redewendung „Garbage in, Garbage out“ könnte man mit „Desinformation in, Desinformation out“ umschreiben. Je mehr Desinformation im Internet zirkuliert, desto mehr werden die Trainingsdaten kontaminiert, was sich in den von LLMs generierten Ergebnissen widerspiegelt.

Aktuell beweisen LLMs zumindest noch eine gewisse Widerstandsfähigkeit. Die Forschung von „News Guard“ zeigt, dass LLMs Desinformationsnarrative in mehr als 48 Prozent der Fälle „debunken“ konnten. Jedoch stehen die Entwickler neuer Modelle vor der zunehmenden Herausforderung, neue, hochqualitative Trainingsdaten auszuwählen oder entsprechende Sicherheitsvorkehrungen zu entwickeln. Der bisherige Ansatz von Open AI und Co, einfach alles zu scrapen, was man in die Hände bekommen kann, ob legal oder in der juristischen Grauzone, ist langfristig nicht nachhaltig.

Autoritarismus und die Normalisierung von Lügen

Denn die 33 Prozent Reproduktionsrate von Desinformation in LLM-Antworten ist nicht nur das Resultat gezielter Vergiftungshandlungen russischer Agenten oder dem „Hacking von LLMs“. Sie ist zum Teil ein natürliches Ergebnis der ohnehin schon großen Verbreitung russischer Online-Propaganda, die durch Social-Media-Akteure weitergegeben wird. Kurzum trägt die Normalisierung der Lüge und des politischen „Bullshits“ als ruchlose Variante der politischen Lüge ebenso zu dieser Dynamik bei.

Reichweitenstarke Botschafter wie Donald Trump und Elon Musk wiederholen aktiv russische Desinformationsnarrative und legitimieren diese dadurch vor ihren Followern. Gleichzeitig werden aktuell in den USA etablierte Schutzmechanismen gegen russische Einflussnahme abgebaut: Facebook und Co schaffen die bestehenden Moderationssysteme ab und setzen vermehrt auf „Community Notes“. Solche Nutzerinnenabstimmungen können leicht durch Bots übernommen werden.

Auf US-Regierungsebene werden zentrale Stellen, Fördermittel, Forschungsprojekte und Behörden, die sich auf Desinformationserkennung und Prävention spezialisiert haben, abgeschafft. Damit wird das Tor für ausländische Desinformation noch weiter geöffnet als zuvor. Die Folge davon ist klar: wenn künftig LLMs ihre Schlüsse aus den Abstimmungsergebnissen der Community Notes in den neu gestalteten Social Media ziehen, werden sie zunehmend anfälliger für Desinformation.

All diese Faktoren erschweren die Bekämpfung von Desinformation und erleichtern ihre Verbreitung. In einem solchen Informationsökosystem sind LLMs dazu verdammt, negative Phänomene zu reproduzieren. Dies ist die nächste Evolutionsstufe der Post-Truth-Welt.

Westliche Demokratien und ihre Werte

Es zeigt sich zunehmend, dass das liberal-demokratische Europa ein anderes Werteverständnis als die USA mit ihren autoritären Tendenzen hat. Problematisch ist dabei insbesondere die von Musk und US-Vize JD Vance politisierte Idee US-amerikanischer Meinungsfreiheit und des „free speech absolutism“, die krass vom Begriff der Meinungsfreiheit in Europa abweicht.

Das neue US-amerikanische libertäre Verständnis von Meinungsfreiheit besteht darin, sagen zu dürfen, was man will. Der lauteste, reichweitenstärkste Akteur setzt sich in einem solchen System durch. Dieses Wertemodell geht davon aus, dass alle Informationen gleichwertig sind: unreflektierter Bullshit, gezielte Desinformation oder aufwendig-produzierte und falsifizierte wissenschaftliche Fakten wiegen gleich schwer.

Damit versinkt die Wahrheit in einem Meer aus „minderwertiger“ Information, denn die Produktion von Wahrheit ist aufwendiger und kostenintensiver. Es ist leichter, Unwahrheiten in Masse zu verbreiten, als diese zu überprüfen. Das europäische, aus der Aufklärung stammende und durch die Erfahrungen des Faschismus geprägte, Verständnis der Meinungsfreiheit kennt noch immer Grenzen: Wer Falschinformationen über andere wissentlich verbreitet, trägt dafür die Verantwortung und kann zur Rechenschaft gezogen werden, wenn etwa Rechte anderer verletzt oder etwa verfassungsfeindliche Inhalte wie die Leugnung des Holocausts verbreitet werden.

Ferner scheinen es die „free speech“-Absolutisten ohnehin mit ihrer Ideologie nicht so genau zu nehmen, wenn zum Beispiel unliebsame, kritische Presse bei Pressekonferenzen oder US-Regierungseinrichtungen die Nennung bestimmter Worte per Dekret verboten wird. Insofern ist es wohlfeil, dass sich etwa US-Vizepräsident Vance über angebliche Zensur in Europa beschwert, im gleichen Atemzug aber in den USA krassere sprachpolitische Restriktionen eingeführt werden.

LLMs als Spiegel der Gesellschaft

Im Jahr 2024 wurde ein Experiment durchgeführt, das zeigte, dass LLMs, die in der westlichen Welt erstellt wurden, sich positiver auf die sogenannten demokratischen Werte beziehen. Nicht-westliche LLMs unterstützen eher Werte, die mit autoritären Systemen assoziiert werden, und setzen sich nicht so ausdrücklich für Bürgerrechte oder Freiheiten ein. Mit anderen Worten: Beide spiegeln das Wertesystem, also den kulturellen Kontext wider, in dem sie trainiert worden sind.

Künstliche Intelligenz existiert nicht losgelöst von der Realität. KI wird zu einer Art Spiegel, in dem sich kollektive Illusionen und Halbwahrheiten spiegeln. Darüber hinaus können LLMs und die von ihnen erzeugten Daten zu einem Instrument der selbsterfüllenden Prophezeiung werden. Wenn LLMs mit Desinformationen gefüttert werden, reproduzieren sie diese, was letztlich augenscheinlich die Gültigkeit der Desinformation zu bestätigen scheint. Das tritt insbesondere dann auf, wenn menschliche Nutzer: innen die generierten Inhalte nicht mehr kritisch reflektieren.

Wenn davon ausgegangen werden kann, dass LLMs die Werte ihrer Gesellschaften widerspiegeln, und das US-amerikanische Verständnis von Grundwerten weit vom europäischen entfernt sein wird, dann steigt die Dringlichkeit für eigene EU-LLMs, die EU-Werte repräsentieren.

Wichtig ist auch, dass neben technischen „Fixes“ beim LLM-Training auch der Mensch und die Stärkung demokratischer Prozesse wieder in den Vordergrund rücken müssen. Die Abwehrmaßnahmen gegen Desinformation sind nie perfekt, denn totale Informationskontrolle und Demokratie sind ein logischer Widerspruch. Gleichzeitig müssen Wege gefunden werden, gefährliche Informationen in ihrer Reichweite und Wirkung zu begrenzen, aber gleichzeitig Meinungsverschiedenheiten zuzulassen. Neben technischen Schutzmaßnahmen sollte das ein Pfeiler von sozialer Resilienz sein, um den Teufelskreis der Desinformation zu durchbrechen.

Matthias Schulze ist der Leiter des Forschungsschwerpunkts „Internationale Cybersicherheit“ am Institut für Friedensforschung und Sicherheitspolitik an der Universität Hamburg (IFSH). Mateusz Łabuz ist Doktorand an der Technischen Universität Chemnitz, wo er zu synthetischen Medien forscht. Er ist wissenschaftlicher Mitarbeiter am IFSH.