10 · Grundlagen & Modelle

Parameter

die gelernten „Stellschrauben“ eines Modells; mehr = meist mächtiger.

Parameter sind die Stellschrauben, die das Training justiert — moderne Modelle haben Milliarden davon. Die Zahl ist zur Schlagzeile geworden, weil mehr Parameter lange ziemlich verlässlich mehr Fähigkeit bedeuteten. Inzwischen gilt das nur noch mit Fußnoten: Datenqualität, Trainingsmethode und Rechenzeit beim Antworten entscheiden mit, und kleine Modelle schlagen große in eng umrissenen Aufgaben.

Ein Beispiel

„70 Milliarden Parameter“ klingt nach einer Leistungsangabe wie PS beim Motor. Nützlicher ist die Lesart als Platzbedarf: Jeder Parameter ist eine Zahl, die gespeichert und bei jeder Anfrage durchgerechnet werden muss. 70 Milliarden davon belegen in üblicher Genauigkeit rund 140 Gigabyte — mehr, als in eine einzelne Grafikkarte passt. Wer wissen will, ob ein Modell im eigenen Haus laufen kann, rechnet zuerst das, nicht die Qualität.

Genauer betrachtet

Parameter sind die Zahlen, die beim Training verändert werden. Ihre Anzahl bestimmt, wie viel ein Modell überhaupt speichern kann, und zusammen mit der Datenmenge, wie gut es das tut. Für den Betrieb ist sie außerdem die Untergrenze des Speicherbedarfs.

Warum das zählt

Die Parameterzahl ist eine schlechte Auskunft über Qualität und eine gute über Kosten. Kleinere, sorgfältig trainierte Modelle schlagen regelmäßig größere, ältere; der Zusammenhang zwischen Größe und Können ist längst kein Automatismus mehr. Was die Zahl zuverlässig sagt: wie viel Speicher nötig ist, wie teuer eine Anfrage wird und wie schnell die Antwort kommt. Für die Frage „Cloud oder eigene Hardware?“ ist sie deshalb die erste Kennzahl, für die Frage „gut genug?“ die falsche.

Häufig missverstanden

Als Vergleichsmaß taugt die Parameterzahl kaum noch. Trainingsdaten, Datenqualität und Nachtraining erklären die Unterschiede zwischen aktuellen Modellen besser als die Größe.

Nachbarschaft

Verwandte Begriffe

Der Brief.