36 · Nutzung & Prompting
Retrieval-Augmented Generation (RAG)
Modell zieht passende Dokumente hinzu, bevor es antwortet.
Statt das Modell aus dem Gedächtnis antworten zu lassen, wird zur Frage passendes Material gesucht und mitgegeben: erst suchen, dann antworten. Das Modell wird damit vom Wissensspeicher zum Formulierer, und die Verantwortung für die Fakten wandert dorthin, wo sie hingehört — in die Dokumente. Der Gewinn ist dreifach und im Betrieb entscheidend. Die Antwort ist aktuell, weil das Dokument aktuell ist. Sie ist nachweisbar, weil die Fundstelle mitgeliefert werden kann. Und sie ist löschbar, weil man ein Dokument entfernen kann, ein antrainiertes Wissen aber nicht. Der Preis ist, dass aus einem Modellprojekt ein Dokumentenprojekt wird: Die Qualität hängt am Zuschnitt der Textabschnitte, an der Güte der Suche und an der Pflege des Bestands, nicht am Modell.
Ein Beispiel
Die Anfrage „Wie lange ist die Gewährleistung bei Baureihe 7?“ läuft in drei Schritten. Erstens: In den hinterlegten Dokumenten wird nach passenden Abschnitten gesucht. Zweitens: Die drei besten Treffer werden vor die Frage gesetzt. Drittens: Das Modell antwortet und nennt die Fundstelle. Ändert sich die Gewährleistung morgen, tauscht man das Dokument aus — und die nächste Antwort stimmt, ohne dass irgendetwas trainiert wurde.
Genauer betrachtet
Der Ablauf hat drei Schritte: Frage in einen Vektor übersetzen, passende Textstücke suchen, beides zusammen an das Modell geben. Der Vorteil ist Aktualität ohne Nachtraining — die Wissensbasis lässt sich austauschen, ohne das Modell anzufassen.
Warum das zählt
RAG ist für die meisten Unternehmensfälle die richtige Bauweise, weil es die drei Dinge liefert, die Fine-Tuning nicht liefert: Aktualität, Nachweisbarkeit und Löschbarkeit. Es verschiebt das Projekt aber vollständig ins Datenmanagement. Die Qualität hängt am Zerschneiden der Dokumente, an der Suchgüte und an der Pflege des Bestands — nicht am Modell. Deshalb der nüchterne Rat: Wer RAG plant, plant ein Dokumentenprojekt mit einem Sprachmodell obendrauf. Wer es als Modellprojekt plant, scheitert an der Pflege.
Häufig missverstanden
Die Qualität entscheidet sich in der Suche, nicht im Modell. Wenn das richtige Textstück nicht gefunden wird, antwortet ein sehr gutes Modell sehr überzeugend daneben.
Nachbarschaft
Verwandte Begriffe
Newsletter
Der Brief.
Ein Artikel pro Woche, dazu was uns beim Bauen aufgefallen ist. Kein Wochenrückblick, keine Werbung, keine Weitergabe der Adresse. Abmelden mit einem Klick in jeder Ausgabe.