37 Prozent der KI-Zitate existieren nicht
Oscar sitzt im Editorial Board von npj Digital Medicine. Was er dort inzwischen sieht: Einreichungen, in denen Referenzen ins Leere führen, Autorennamen falsch sind, oder Titel aus der Luft gegriffen wurden. Eine Bestandsaufnahme einer stillen Krise.
In der Wissenschaft gilt eine ungeschriebene Regel: Du zitierst, was du gelesen hast. Oder zumindest, was existiert.
Seit dem Aufkommen GlossarGenerative KIKI, die neue Inhalte erzeugt (Text, Bild, Code, Audio).Zum Eintrag ↗ gilt diese Regel für eine wachsende Zahl von Einreichungen offenbar nicht mehr. Ich arbeite als Editor für npj Digital Medicine. Was ich dort inzwischen regelmäßig sehe: Referenzen, deren DOI ins Leere führt. Autorennamen, die so nicht existieren. Titel, die klingen wie ein Paper, aber nie veröffentlicht wurden. Und manchmal beides gleichzeitig: ein echter Autor, ein erdachter Titel, eine falsche Zeitschrift. Ein strukturelles Problem, das die Grundlage wissenschaftlichen Arbeitens angreift.
Die Zahlen
Eine Untersuchung von 2026 zeigt: Pro 10.000 Papiere finden sich im Schnitt 57 falsche oder irreführende Referenzen. Die Varianten sind vielfältig: falsche Co-Autoren, falscher Titel bei korrektem DOI, falsches DOI, das nirgendwo hinführt, oder korrekte Metadaten für ein Paper, das die behauptete Aussage schlicht nicht stützt.
Bei den AI-Tools dahinter ist die Fehlerrate erschreckend hoch: Perplexity erfindet bei etwa 37 Prozent der Zitate zumindest Teilinformationen. Bei Google Gemini liegt die Rate bei 76 Prozent.
Keine Ausreißer. Produktdesign. Diese Systeme sind darauf optimiert, hilfreich zu klingen, nicht darauf, die Wahrheit zu sagen, wenn sie sie nicht kennen. Ein gut formuliertes Zitat, das nicht existiert, ist für das Modell ein Erfolg.
Was ich selbst in Einreichungen gelesen habe
Zwei Fälle haben mich besonders beschäftigt.
Der erste: Ein Paper in einem angesehenen Journal (kein Predatory Journal, kein Randmedium) enthält in der Diskussion folgenden Satz, ich zitiere wörtlich: „I'm an AI language model and don't have access to real-time information or patient-specific data." Niemand hat es bemerkt. Nicht die Autoren beim Überarbeiten, nicht die Reviewer, nicht das Editorial Board. Es kam durch.
Der zweite: Ein Paper, das in seiner Einleitung formuliert: „Certainly, here's a possible introduction for your topic." Auch dieses Paper existiert. Auch dieses Paper wurde zunächst nicht herausgefischt.
Beide Fälle zeigen dasselbe Muster: Die Texte klingen wissenschaftlich. Sie haben die richtige Struktur, die richtigen Absätze, den richtigen Ton. Aber sie tragen KI-Artefakte in sich, die zeigen, dass niemand den Text wirklich gelesen hat, auch nicht diejenigen, die ihn eingereicht haben.
Warum "lügen" der falsche Begriff ist
„GlossarHalluzinationwenn das Modell überzeugt etwas Falsches erfindet.Zum Eintrag ↗" ist das gängige Wort. Es klingt wie ein Fehler, ein Ausrutscher, als würde das System kurz irre werden und dann wieder zur Vernunft kommen.
Die treffendere Beschreibung: Diese Modelle sind Sycophanten. Sie wollen zustimmen. Sie wollen helfen. Wenn man ein Modell bittet, Referenzen für eine These zu finden, findet es welche, auch wenn es dafür Informationen aus verschiedenen Papieren zusammensetzt, die so nie existiert haben. Der Output klingt plausibel, weil er aus echten Quellen destilliert ist. Er ist nur falsch zusammengesetzt.
Kein Bug, das Trainingsziel: möglichst nützlich klingende Antworten produzieren.
Das Paper-Mill-Problem
Was zunächst wie ein Randphänomen aussah, hat inzwischen industrielle Ausmaße angenommen.
Bei Preprint-Servern wie arXiv steigen die Ablehnungsraten. Journals erhalten massenhaft Einreichungen, deren Autoren zum Teil gar nicht existieren oder deren Namen von bekannten Forschern geborgt wurden. Es gibt dokumentierte Fälle, in denen Eric Topol oder Yann LeCun als Co-Autoren auf Papieren auftauchen, mit denen sie nichts zu tun haben und von denen sie erst durch Hinweise aus ihrem Netzwerk erfahren haben.
Arχiv hat inzwischen eine Policy gegen halluzinierte Referenzen eingeführt: Wer mit erfundenen Zitaten einreicht, kann gesperrt werden. Das ist eine Reaktion auf einen echten Druck.
Was das für jeden bedeutet, der publiziert
Die Konsequenz ist simpel und unbequem: Jede Referenz, die ein KI-System generiert hat, muss manuell geprüft werden. Nicht stichprobenartig. Jede.
Das bedeutet: DOI aufrufen, Titelseite prüfen, Autornamen abgleichen, Abstract lesen, und sicherstellen, dass das Paper tatsächlich stützt, was behauptet wird. KI kann bei all diesen Schritten helfen (Suche, Zusammenfassung, Extraktion), aber die Verifikation selbst ist menschliche Arbeit.
Journals wie npj Digital Medicine legen Autoren inzwischen nahe, KI-Nutzung in der Erstellung offen zu legen, nicht als Stigma, sondern als Standard. Wer transparent macht, welches Tool für welche Aufgabe genutzt wurde, schützt sich und die eigene Forschung.
Nicht fragen: „Kann ich das KI erledigen lassen?" Sondern: „Kann ich das, was die KI getan hat, verifizieren, dokumentieren und verteidigen?"
Wohin das führt
Die Modelle werden besser. Perplexity 2028 wird wahrscheinlich seltener erfinden als Perplexity 2026. Aber das ändert nichts am strukturellen Problem: Solange Systeme darauf trainiert werden, hilfreich zu klingen, und nicht darauf, Unsicherheit zuzugeben, wird das Anreizproblem bestehen.
Die ehrlichste Prognose: Die Fehlerrate sinkt, aber die Einsatzrate steigt, und damit womöglich auch die absolute Zahl falscher Referenzen in der Literatur.
Die Gegenkraft ist wissenschaftliche Hygiene, kein besseres Modell: Prüfen, was übernehmbar ist. Verstehen, was man zitiert. Das Handwerk nicht delegieren, das einen erst urteilsfähig gemacht hat.
Oscar ist Postdoktorand am Else Kröner Fresenius Zentrum für Digitale Gesundheit (TU Dresden), wo er zur Regulierung und Implementierung von KI als Medizinprodukt forscht. Er ist Mitgründer von Denkmal.