Rechenleistung & Kosten
Test-Time Compute
Die jüngste Stellschraube: Nicht das Modell wird größer, sondern seine Denkzeit pro Frage — mehr Zwischenschritte, mehrere Anläufe, interne Prüfungen. Damit wird Qualität zur Laufzeitentscheidung mit Preisschild: Die Routinefrage bekommt Sekunden, das Vertragsproblem Minuten. Budgetieren muss man beides.
Ein Beispiel
Lange galt: Die Fähigkeit eines Modells steht nach dem Training fest. Test-Time Compute bricht damit — dasselbe Modell wird besser, wenn man es bei der Anfrage länger rechnen lässt: mehrere Lösungswege erzeugen, vergleichen, verwerfen, den besten auswählen. Bei schwierigen Aufgaben ist der Unterschied erheblich. Bei einfachen ist er null, und die zusätzliche Rechenzeit ist verschenkt.
Genauer betrachtet
Statt ein größeres Modell zu trainieren, bekommt das vorhandene mehr Rechenzeit beim Antworten: längere Ableitungen, mehrere Versuche, Auswahl unter den Ergebnissen. Bei Aufgaben mit prüfbarem Ergebnis ist der Zugewinn erheblich.
Warum das zählt
Das ist die wirtschaftlich interessanteste Verschiebung der letzten Zeit, weil sie Qualität zu einer Größe macht, die pro Vorgang eingekauft wird — nicht mehr zu einer Eigenschaft des Modells. Damit wird sie planbar: Ein Vorgang mit hohem Fehlerpreis darf mehr Rechenzeit kosten als einer, der billig zu korrigieren ist. Diese Staffelung sollte eine fachliche Entscheidung sein, keine Voreinstellung. Und sie erklärt, warum pauschale Preisangaben pro Anfrage zunehmend unbrauchbar werden.
Häufig missverstanden
Der Preis ist unmittelbar spürbar, weil er pro Anfrage anfällt. Für einfache Aufgaben ist es der teuerste Weg zu einer Antwort, die auch billiger richtig gewesen wäre.