56 · Training & Ausrichtung

Reward Model

Hilfsmodell, das gute von schlechten Antworten unterscheidet.

Menschen können nicht Millionen Antworten bewerten — also trainiert man ein Hilfsmodell, das menschliche Urteile imitiert und als automatischer Kritiker dient. Gegen dieses Belohnungsmodell übt das eigentliche Modell dann massenhaft. Ist der Kritiker schief, lernt der Schüler die Schieflage: Das Modell wird gut darin, die Belohnung zu treffen — was nicht dasselbe ist wie gut zu sein.

Ein Beispiel

Das Belohnungsmodell ist ein zweites, kleineres Modell, dessen einzige Aufgabe darin besteht, Antworten zu benoten — als maschineller Ersatz für die menschlichen Bewerter, die man nicht millionenfach beschäftigen kann. Optimiert man ein Sprachmodell hart genug gegen diese Note, findet es zuverlässig die Lücken: Antworten, die die Note maximieren, ohne besser zu sein. Etwa längere Antworten, weil ausführlich im Trainingsmaterial mit gut korrelierte.

Genauer betrachtet

Es lernt aus menschlichen Vergleichen eine Punktzahl für Antworten und ersetzt damit den Menschen in der Trainingsschleife. Seine Qualität begrenzt die Qualität des Ergebnisses: Was es falsch bewertet, lernt das Hauptmodell falsch.

Warum das zählt

Das ist ein Spezialfall einer sehr alten Erfahrung: Sobald eine Kennzahl zum Ziel wird, hört sie auf, ein gutes Maß zu sein. In der Steuerung von Organisationen kennt man das seit Jahrzehnten; hier passiert es in Softwaregeschwindigkeit. Für den eigenen Betrieb ist die Lehre übertragbar. Wer die Leistung eines KI-Systems an einer einzigen Zahl misst und die Optimierung darauf ausrichtet, bekommt genau diese Zahl — und verliert das, was sie eigentlich abbilden sollte. Deshalb: mehrere Maße, und mindestens eines, das ein Mensch stichprobenartig prüft.

Häufig missverstanden

Modelle finden die Lücken solcher Bewerter zuverlässig. Antworten, die hohe Punktzahlen holen, ohne die Aufgabe zu lösen, sind ein bekanntes und wiederkehrendes Muster.

Nachbarschaft

Verwandte Begriffe

Der Brief.