Künstliche Intelligenz (KI) : Vertrauen trotz „Paper Mills“ – Wie die Wissenschaft mit KI umgehen sollte

In einer Zeit, die von globalen Herausforderungen wie Pandemien und geopolitischen Spannungen geprägt ist, ist das anhaltende Vertrauen in die Wissenschaft besonders hoch zu schätzen. Sobald es jedoch um Künstliche Intelligenz (KI) geht, ist das Vertrauen der Öffentlichkeit nach wie vor gering. Laut einer im vergangenen Herbst von der Europäischen Kommission durchgeführten Eurobarometer-Sonderumfrage zum Wissen und zur Einstellung der europäischen Bürger gegenüber Wissenschaft und Technologie vertrauen nur 38 Prozent Erkenntnissen und Forschung, die mithilfe von KI gewonnen wurden. Ein Viertel äußert demgegenüber sogar explizites Misstrauen. Vor dem Hintergrund, dass KI zunehmend in Forschungsprozesse integriert wird, stellt diese Vertrauenslücke die Wissenschaft vor eine zentrale Herausforderung.

Bei Elsevier sind wir uns bewusst, dass KI ein wesentlicher Bestandteil der Zukunft der Wissenschaft ist. Ob es darum geht, wichtige Erkenntnisse effizienter zu gewinnen, Finanzierungsmöglichkeiten zu finden, wissenschaftliche Artikel zu verfassen, reibungslos zusammenzuarbeiten oder die Auswirkungen der Forschung zu verstärken: Die nächste Generation von Werkzeugen für Forscher muss auf Präzision, Geschwindigkeit und vertrauenswürdigen Inhalten basieren und durch verantwortungsbewusste KI unterstützt werden. Laut unserem Bericht „Insights 2024: Attitudes toward AI” glauben 92 Prozent der Forscher, dass KI das wissenschaftliche Output-Volumen erhöhen wird, und 87 Prozent glauben, dass KI die Qualität verbessern wird.

„Paper Mills“: Künstliche Intelligenz fälscht Forschung

Allerdings bergen dieselben Werkzeuge, die Fortschritt versprechen, auch Risiken – insbesondere bei falscher Nutzung. Die wachsende Gefahr des unlauteren Einsatzes von KI untergräbt die Glaubwürdigkeit wissenschaftlicher Ergebnisse. Generative KI kann, wenn sie nicht an fundierte Quellen gebunden ist, Fehlinterpretationen, Halluzinationen und manipulierte Bilder in das Forschungsökosystem einschleusen. Dabei hat sich ein beunruhigender Trend herausgebildet: „Paper Mills“ stellen mithilfe von KI gefälschte Forschungsergebnisse in Massenproduktion her, verkaufen die Urheberschaft und nutzen Forscher aus.

Dies ist nicht nur ein technisches, sondern auch ein ethisches und strukturelles Problem. Wenn nicht gegengesteuert wird, könnte der betrügerische Einsatz von KI die Grundlagen der akademischen Glaubwürdigkeit untergraben. Noch problematischer wird es, wenn solche unüberprüften Inhalte in die Trainingsdaten neuer KI-Tools einfließen und somit eine gefährliche Rückkopplungsschleife entsteht: Fehlerhafte Informationen trainieren fehlerhafte Systeme. Das Ergebnis könnte eine verschmutzte Forschungslandschaft sein, in der sich Fehlinformationen schneller verbreiten als sie korrigiert werden können.

Forschungsartikel rigoros prüfen

Um dieser Herausforderung zu begegnen, ist kollektive Verantwortung entscheidend. Verantwortungsvolle KI ist nicht das Ergebnis der Wachsamkeit eines einzelnen Akteurs, sondern das Ergebnis koordinierter Maßnahmen im gesamten Forschungsökosystem. Bei Elsevier verfolgen wir einen ganzheitlichen Ansatz bei der Implementierung von KI – von algorithmischen Folgenabschätzungen und funktionsübergreifenden Entwicklungsteams bis hin zur kontinuierlichen Zusammenarbeit mit Endnutzern, die uns wichtiges Feedback liefern. Verantwortungsvolle KI erfordert die Verankerung von Werten wie Transparenz und menschlicher Kontrolle in jeder Phase der Entwicklung und Bereitstellung.

Unser Engagement geht über die Produktentwicklung hinaus. Als Wissenschaftsverlag wenden wir strenge redaktionelle Standards an und lehnen die meisten eingereichten Artikel ab, um die Qualität unserer Publikationen zu gewährleisten. So wurden im Jahr 2024 von 3,5 Millionen eingereichten Manuskripten nur 720.000 veröffentlicht. Jeder Artikel wird einer gründlichen Prüfung auf ethische Konformität unterzogen, einschließlich einer fortschrittlichen Betrugserkennung. Bei Auffälligkeiten untersucht unser internes Team, das sich mit der Integrität der Forschung befasst, den Fall und stellt sicher, dass in jeder Phase eine Vertrauensbasis gewahrt bleibt.

Es braucht Aufklärung

Wir setzen uns zudem für proaktive Aufklärung ein. Mit der Initiative „United 2 Act” unterstützen wir Autoren, Redakteure und Institutionen dabei, zu verstehen, wie KI verantwortungsbewusst eingesetzt werden kann und wie sich Missbrauch erkennen lässt. Darüber hinaus arbeiten wir mit Regierungen und Universitäten zusammen, um Strukturen zu reformieren, die unbeabsichtigt unethisches Verhalten fördern könnten.

Letztendlich liegt die Verantwortung für vertrauenswürdige Wissenschaft im Zeitalter der KI bei uns allen: Bei Forschern, Lehrenden, Institutionen und Verlagen. Wissenschaftler müssen die Fähigkeiten und Grenzen der KI differenziert verstehen. Verlage müssen wachsam und transparent bleiben.

KI ist kein Ersatz für wissenschaftliches Denken, sondern eine Technologie, die dieses verbessern kann. Wenn wir uns gemeinsam zu ethischen Grundsätzen, transparenten Praktiken und gemeinsamer Verantwortung verpflichten, können wir sicherstellen, dass KI zu einem Katalysator für Fortschritt wird. So schützen wir die Integrität der Wissenschaft und das Vertrauen, das sie zu Recht genießt.

Laura Hassink ist Managing Director für STM-Wissenschaftsjournale beim niederländischen Wissenschaftsverlag Elsevier. Sie verantwortet ein Portfolio von 2.650 Fachzeitschriften in den Bereichen Naturwissenschaft, Technologie und Medizin, die jährlich über 560.000 Forschungsartikel veröffentlichen.