55 · Training & Ausrichtung

RLHF

Feinschliff per menschlichem Feedback (Reinforcement Learning from Human Feedback).

Nach dem Vortraining bewerten Menschen Modellantworten: besser, schlechter, so nicht. Aus diesen Urteilen lernt das Modell, was als hilfreich, harmlos und ehrlich gilt — RLHF hat aus roher Textvorhersage die umgänglichen Assistenten gemacht, die wir kennen. Es überträgt allerdings auch die Vorlieben der Bewertenden: Zustimmung wird belohnt, Widerspruch selten.

Ein Beispiel

Nach dem Pretraining kann ein Modell Text fortsetzen, aber nicht unbedingt hilfreich antworten. Also lässt man Menschen je zwei Antworten vergleichen und die bessere markieren — hunderttausendfach. Aus diesen Vergleichen entsteht ein Bewertungsmodell, gegen das das Sprachmodell anschließend optimiert wird. Das Ergebnis ist der Unterschied zwischen einem Textgenerator und etwas, das sich wie ein Gesprächspartner verhält.

Genauer betrachtet

Menschen vergleichen Antwortpaare, daraus wird ein Bewertungsmodell gelernt, und dieses dient als Zielgröße für weiteres Training. So entsteht der hilfsbereite Ton heutiger Assistenten. Er ist antrainiert, keine Eigenschaft des Sprachmodells.

Warum das zählt

Wer die Vergleiche gemacht hat, prägt, was das Modell für eine gute Antwort hält — und diese Menschen sind nicht Ihre Belegschaft, nicht Ihre Branche und meist nicht Ihr Kulturkreis. Ein Nebeneffekt ist gut dokumentiert und im Alltag spürbar: Bewertet wird, was hilfreich wirkt, und deshalb neigen so trainierte Modelle zu Zustimmung. Sie widersprechen einer falschen Prämisse in der Frage seltener, als sie sollten. Für Fachanwendungen, in denen Widerspruch der eigentliche Wert wäre, muss man das im Prompt ausdrücklich gegensteuern.

Häufig missverstanden

Optimiert wird, was Bewertende gut fanden, nicht was stimmt. Das erklärt die Neigung zu ausführlicher Zustimmung: Sie kommt in Vergleichen besser an als ein knappes „weiß ich nicht“.

Nachbarschaft

Verwandte Begriffe

Der Brief.