33 · Nutzung & Prompting

Temperatur

Regler für Zufall/Kreativität der Antworten.

Ein Regler für die Risikofreude beim Würfeln des nächsten Tokens: niedrig heißt vorhersehbar und wiederholbar, hoch heißt abwechslungsreich bis abwegig. Für Verträge und Extraktion will man Richtung null, fürs Brainstorming darf es mehr sein. Wer reproduzierbare Ergebnisse braucht, muss diesen Regler kennen.

Ein Beispiel

Bei Temperatur 0 wählt das Modell immer das wahrscheinlichste nächste Token; dieselbe Eingabe liefert weitgehend dieselbe Ausgabe. Bei 1,0 würfelt es stärker mit — gut für Formulierungsvorschläge, schlecht für die Extraktion einer Rechnungsnummer. Ein Team, das eine Datenextraktion mit Standardeinstellung betrieb, wunderte sich über sporadisch abweichende Ergebnisse bei identischen Belegen. Die Ursache stand in einer Zeile Konfiguration, die niemand angefasst hatte.

Genauer betrachtet

Der Wert skaliert die Wahrscheinlichkeitsverteilung vor der Auswahl. Bei 0 wird immer das wahrscheinlichste Token genommen, bei höheren Werten auch seltenere. Für Extraktion und Klassifikation gehört sie nach unten, für Entwürfe darf sie hoch.

Warum das zählt

Die Einstellung ist trivial und wird trotzdem regelmäßig übersehen, weil sie einen Standardwert hat, der für Gespräche gedacht ist und nicht für Verarbeitung. Faustregel: Alles, was ein Ergebnis extrahiert, klassifiziert oder prüft, läuft auf 0. Alles, was formulieren soll, darf höher. Wichtiger noch — auch bei 0 ist die Ausgabe nicht garantiert identisch, weil Rechenreihenfolgen auf der Hardware variieren. Wer Reproduzierbarkeit braucht, protokolliert die Ausgabe, statt sich auf ihre Wiederholbarkeit zu verlassen.

Häufig missverstanden

Auch bei Temperatur 0 sind Antworten nicht garantiert identisch. Parallelisierung und Änderungen beim Anbieter führen zu Abweichungen, auf die man keinen Verlass bauen sollte.

Nachbarschaft

Verwandte Begriffe

Der Brief.