72 · Rechenleistung & Kosten

Test-Time Compute

extra Rechenzeit beim Antworten für besseres „Nachdenken“.

Die jüngste Stellschraube: Nicht das Modell wird größer, sondern seine Denkzeit pro Frage — mehr Zwischenschritte, mehrere Anläufe, interne Prüfungen. Damit wird Qualität zur Laufzeitentscheidung mit Preisschild: Die Routinefrage bekommt Sekunden, das Vertragsproblem Minuten. Budgetieren muss man beides.

Ein Beispiel

Lange galt: Die Fähigkeit eines Modells steht nach dem Training fest. Test-Time Compute bricht damit — dasselbe Modell wird besser, wenn man es bei der Anfrage länger rechnen lässt: mehrere Lösungswege erzeugen, vergleichen, verwerfen, den besten auswählen. Bei schwierigen Aufgaben ist der Unterschied erheblich. Bei einfachen ist er null, und die zusätzliche Rechenzeit ist verschenkt.

Genauer betrachtet

Statt ein größeres Modell zu trainieren, bekommt das vorhandene mehr Rechenzeit beim Antworten: längere Ableitungen, mehrere Versuche, Auswahl unter den Ergebnissen. Bei Aufgaben mit prüfbarem Ergebnis ist der Zugewinn erheblich.

Warum das zählt

Das ist die wirtschaftlich interessanteste Verschiebung der letzten Zeit, weil sie Qualität zu einer Größe macht, die pro Vorgang eingekauft wird — nicht mehr zu einer Eigenschaft des Modells. Damit wird sie planbar: Ein Vorgang mit hohem Fehlerpreis darf mehr Rechenzeit kosten als einer, der billig zu korrigieren ist. Diese Staffelung sollte eine fachliche Entscheidung sein, keine Voreinstellung. Und sie erklärt, warum pauschale Preisangaben pro Anfrage zunehmend unbrauchbar werden.

Häufig missverstanden

Der Preis ist unmittelbar spürbar, weil er pro Anfrage anfällt. Für einfache Aufgaben ist es der teuerste Weg zu einer Antwort, die auch billiger richtig gewesen wäre.

Nachbarschaft

Verwandte Begriffe

Der Brief.