Das Modell erzeugt plausiblen Text — auch dort, wo es nichts weiß. Dann entstehen erfundene Quellen, Paragrafen und Zahlen, vorgetragen im selben souveränen Ton wie alles andere. Das ist kein Bug, sondern die Kehrseite des Funktionsprinzips: Ein System, das die wahrscheinlichste Fortsetzung erzeugt, hat keinen eingebauten Mechanismus, der Nichtwissen einer flüssigen Antwort vorzieht. Der Begriff selbst ist dabei irreführend, weil er nach einem seltenen Aussetzer klingt. Tatsächlich ist es dieselbe Operation wie bei jeder richtigen Antwort — nur ohne Deckung in den Daten. Gefährlich wird sie, weil die Fehler nicht absurd klingen, sondern genau so, wie eine korrekte Angabe klingen müsste. Dagegen helfen Grounding, Quellenpflicht und Prüfungen an den Stellen, an denen ein Fehler Folgen hat.
Ein Beispiel
Eine Forscherin lässt sich Literatur zu einem Thema zusammenstellen. Sie bekommt zwölf Referenzen: plausible Titel, existierende Journale, stimmige Jahrgänge, korrekt formatierte DOIs. Vier davon existieren nicht. Ein fünfter Titel existiert, stammt aber von anderen Autoren. Nichts daran sieht falsch aus — das Modell hat gelernt, wie eine gute Referenz klingt, und genau das produziert es, wenn es die echte nicht kennt.
Genauer betrachtet
Das Modell hat keinen Zustand für „weiß ich nicht“. Es erzeugt in jedem Fall die wahrscheinlichste Fortsetzung, auch wenn die Datengrundlage dünn ist. Erfundene Belege sehen deshalb genauso aus wie echte: formal korrekt, inhaltlich frei.
Warum das zählt
Der entscheidende Punkt für die Praxis: Halluzinationen sind kein Fehler, der sich wegtrainieren lässt, sondern die Kehrseite des Funktionsprinzips. Ein Modell, das immer die wahrscheinlichste Fortsetzung erzeugt, hat keinen Mechanismus, um „ich weiß es nicht“ zu bevorzugen. Daraus folgt die Bauregel: Nicht dem Modell vertrauen, sondern die Quelle mitgeben und die Antwort dagegen prüfbar machen. Und die Prozessregel: Die Prüfung dort einbauen, wo der Fehler teuer wird — bei Zahlen, Namen, Paragrafen und Referenzen. Alles davon ist billig zu prüfen und teuer zu übersehen.
Häufig missverstanden
Halluzinationen lassen sich nicht wegprompten. Sie sinken durch Grounding, Quellenzwang und Prüfschritte und bleiben ein Restrisiko, das der Ablauf abfangen muss.