Als Facebook einige Jahre nach der Entwicklung der Google-Suche im Jahr 2004 gegründet wurde, richtete es sich an Harvard-Studenten. Heute hat es weltweit rund 2,9 Milliarden monatlich aktive Nutzer, und viele andere Online-Plattformen werden von Nutzern jede Sekunde aufgerufen. Das Konzept der „Gemeinschaft“ wurde ins Internet verlagert und definitiv ausgeweitet.
Wenn eine Gemeinschaft relativ klein ist, sind Interaktionen recht einfach zu handhaben – vor allem, wenn sich die Gemeinschaft, wie in den Anfängen, auch offline engagiert (beispielsweise auf dem Campus). In dem Moment, in dem sie eine Größenordnung erreicht, wie sie von Online-Plattformen erreicht wird, ist es nicht nur schwieriger, diese Größenordnung zu verwalten, sondern auch die Verhaltensweisen ändern sich, und die Hemmschwellen schwinden.
Das Hauptgeschäftsmodell dieser Plattformen basiert auf Werbung. Das ist nicht neu, vor allem nicht für den Mediensektor. Algorithmische Architekturen sind so aufgebaut, dass sie Online-Engagement begünstigen – je mehr Inhalte Engagement erzeugen, desto mehr Appetit machen sie den Werbetreibenden, desto mehr Gewinne erzielen die Plattformen, die in der Aufmerksamkeitsökonomie konkurrieren. Maschinelles Lernen ist darauf ausgelegt, dieses Rennen zu gewinnen.
User engagement: Der Goldstandard für Algorithmen – und Desinformation
Die KI Algorithmen werden anhand von Verhaltensmustern und Nutzerdaten mit dem Ziel trainiert, Engagement zu erzeugen. Die Algorithmen haben gelernt, dass (insbesondere negative) emotionale Inhalte, Sensationslust und spaltende Inhalte Engagement erzeugen. Da der Algorithmus belohnt wird, wenn er Engagement erzeugt, wendet er an, was er gelernt hat.
Wie eine EDMO-Analyse zu Desinformation in der EU zeigt, nutzen bösartige Akteure genau das gleiche Wissen, um schädliche Inhalte zu verbreiten. Im Gegenzug sind schädliche Inhalte zu einem immer wichtigeren Teil der Online-Welt geworden.
Der Bandwagon-Effekt (oder, wenn man so will, die Echokammer) solcher Inhalte erzeugt Dominoeffekte in der Offline-Welt. Eine EDMO-Analyse ergab, dass Desinformation in dreizehn europäischen Wahlkämpfen weit verbreitet war. Insbesondere der Wahlprozess wurde durch unbegründete Behauptungen über Wahlbetrug und unfaire Praktiken oft delegitimiert. Solche Inhalte haben direkte Auswirkungen auf unsere Fähigkeit, fundierte Entscheidungen zu treffen. In ähnlicher Weise wirken sich solche Inhalte auf Klimaschutzmaßnahmen, Entscheidungen über unsere Gesundheit, die Sicherheit von Migranten und Minderheiten oder den Schutz von Minderjährigen aus.
Potenzial und Grenzen aktueller Moderationsmethoden
Die Architektur von Online-Plattformen umfasst auch Algorithmen, die sicherstellen sollen, dass die Inhalte nicht gegen das Gesetz und die Nutzungsbedingungen verstoßen. Die Erkennung von Inhalten und die entsprechenden Maßnahmen werden also entweder von einem Algorithmus gesteuert, oder sie werden zunächst von diesem gefiltert und bewertet, bevor eine endgültige Entscheidung von Menschen getroffen wird, was auf menschlicher Seite Bedenken hinsichtlich der Ausbeutung und der psychischen Gesundheit aufwirft und auf maschineller Seite das Risiko der Voreingenommenheit birgt.
Somit trägt die Inhaltemoderation sowohl zur Verstärkung des Schadens als auch zur angeblichen Lösung bei. In beiden Fällen liegt sie in den Händen von Algorithmen. Es gibt Algorithmen, die Inhalte verstärken und vorschlagen, und es gibt Algorithmen, die schädliche Inhalte erkennen. In beiden Fällen ist das Risiko einer Verletzung der Grundrechte (unter anderem des Medienpluralismus im ersten Fall und der Meinungsfreiheit im zweiten Fall) hoch.
Sprache und Kontext sind der Schlüssel für die Mäßigung von Inhalten. Während Plattformen bei weit verbreiteten Sprachen wie Englisch auf große Datensätze zum Trainieren des Algorithmus zurückgreifen können, gilt dies nicht für weniger verbreitete Sprachen, was zu einer Diskriminierung zwischen Nutzern führt.
Kontext und kulturelles Bewusstsein sind für Algorithmen ebenfalls schwer zu erreichen. Zivilgesellschaftliche Organisationen nutzen Inhalte, um Gräueltaten und Menschenrechtsverletzungen anzuprangern, aber ohne den Kontext zu kennen, kann die algorithmische Moderation verhindern, dass diese Inhalte veröffentlicht werden. Ohne die Nuancen der Sprache, der Kultur und des Kontexts zu kennen, besteht eine hohe Fehlertoleranz.
Zwei weitere Herausforderungen sind erstens das Fehlen einer gemeinsamen Definition von schädlichen Inhalten. Jede Plattform hat ihre eigene Definition, die politischen Entscheidungsträger tun sich schwer, sich auf eine zu einigen, und die verschiedenen Gesetzgebungen haben unterschiedliche Definitionen angenommen, was auch die Plattformen verwirrt. Während bei illegalen schädlichen Inhalten die Grenzen etwas klarer sind, wird die Situation bei legalen, aber schädlichen Inhalten wie Desinformation schwieriger. Im Jahr 2023 legte das Weltwirtschaftsforum eine Liste von Inhalten vor, die laut seiner Global Coalition for Digital Safety als schädlich anzusehen sind. Sie umfasst unter anderem Desinformationen, Betrug, algorithmische Diskriminierung, Material über sexuellen Missbrauch und Ausbeutung von Kindern sowie gewaltverherrlichende und -fördernde Inhalte und Hassreden. Rechtssicherheit entsteht durch klare Definitionen.
Ein weiteres Problem ist die Geheimhaltung der Algorithmen und damit das fehlende Wissen darüber, wie diese Algorithmennetze trainiert werden, mit welchen Daten, auf der Grundlage welcher Anweisungen und so weiter. Diese Geheimhaltung gilt auch für überprüfte Forscher und Prüfer.
Gesamtgesellschaftliches, schnelles Handeln nötig
Wie all dies gelöst werden kann, ist umstritten und bedarf eines konkreten Ansatzes, da die Menschenrechte auf dem Spiel stehen. Es braucht nicht nur eine einzige Lösung, sondern ein Puzzle aus verschiedenen Lösungen, die zusammenwirken. Dieser Multi-Stakeholder- und multidisziplinäre Ansatz ist auch der Kern von EDMO, das sich auf die Bekämpfung von Desinformation konzentriert und auf nationale und regionale Zentren in allen EU-Mitgliedstaaten setzt, um sicherzustellen, dass die lokalen Sprachen, Kulturen und Besonderheiten berücksichtigt werden. Zu den vielen Teilen, aus denen sich dieses Puzzle zusammensetzt, gehören:
- Erarbeitung gemeinsamer Definitionen für schädliche Inhalte und verschiedene Unterkategorien, die sowohl von den politischen Entscheidungsträgern als auch von den Plattformen übernommen werden müssen. Wenn verschiedene Plattformen unterschiedliche Regeln anwenden, werden nicht nur die Nutzer verwirrt, sondern auch ihre Wahrnehmung des Wertes der Grundrechte wird geschwächt.
- Transparenz und Rechenschaftspflicht in Bezug auf die Funktionsweise und die Schulung von Algorithmen sowie die Einigung der Plattformen auf ein bestimmtes Maß an Entscheidungstransparenz, das den Nutzern garantiert werden muss. Geprüfte Forscher und Prüfer müssen die Möglichkeit haben, die Rechenschaftspflicht umzusetzen, und die Nutzer haben das Recht zu erfahren (und im Falle eines Einspruchs), wie und warum ihre Inhalte moderiert wurden.
- Wenn Inhalte nicht illegal sind, sollte die Entfernung von Inhalten begrenzt sein und eher gekennzeichnet und nicht algorithmisch verstärkt werden. Algorithmen müssen anders trainiert werden.
- Medien- und Informationskompetenz muss auf allen Ebenen der Gesellschaft und in allen Altersgruppen stark gefördert und als lebenslanger Lernprozess betrachtet werden. Psychologische Unterstützung und der Aufbau von Gemeinschaften sind auch offline von grundlegender Bedeutung.
- Die Zusammenarbeit mit unabhängigen Faktenprüfern und die Kooperation mit den zuständigen Behörden bei illegalen Inhalten ist wichtig.
In der EU ist der Rechtsakt über digitale Dienste ein Meilenstein der Gesetzgebung, der eine Reihe dieser Fragen aufgreift. Im Hinblick auf die Wahrung der Grundrechte stützt sie sich auf die Bewertung der systemischen Risiken, die sich aus der Gestaltung oder Funktionsweise der Plattformen ergeben. Natürlich wird die Wirksamkeit dieser Verordnung in einigen Jahren bewertet werden.
Lassen Sie mich mit einer provokanten Frage an uns alle schließen: Wie viel ist uns unser Recht auf Information wert? Wären wir bereit, für den Zugang zu Informationen Geld zu bezahlen (wie wir es jahrzehntelang getan haben)?
Paula Gori ist Generalsekretärin und Koordinatorin des European Digital Media Observatory (EDMO), einer Vernetzungsstelle für die europäische Counter-Desinfo-Community, angesiedelt an der School of Transnational Governance in Florenz. Dort ist sie seit 2017 auch im Leitungsteam tätig. Zuvor koordinierte sie unter anderem an der Florence School of Regulation Themen elektronischer Kommunikation und Wettbewerb. Sie war mehrere Jahre wissenschaftliche Koordinatorin einer jährlichen Konferenz zur Post- und Lieferwirtschaft. Paula Gori ist eine der Autor:innen des Berichts für die Europäische Kommission zur Medienfreiheit- und des Medienpluralismus.
