73 · Rechenleistung & Kosten

Tokenmaxxing

Strategie, viel Tokens statt zusätzliches Personal einzusetzen.

Die Strategie, Arbeitsvolumen über Modellnutzung statt über Personal zu skalieren: Wo eine Aufgabe in Tokens ausdrückbar ist, wird sie in Tokens erledigt. Das kann Engpässe lösen und Kosten senken — oder Geld verbrennen, wenn niemand misst, was die Tokens erwirtschaften. Ohne Gegenrechnung ist Tokenmaxxing nur ein moderneres Wort für ungezählte Überstunden.

Ein Beispiel

Ein Team stellt fest, dass mehr Kontext und ausführlichere Zwischenschritte die Ergebnisse verbessern, und dreht beides hoch. Die Qualität steigt tatsächlich — und die Rechnung verzehnfacht sich, während die Antwortzeit von zwei auf achtzehn Sekunden geht. Beides fällt erst auf, als die Monatsrechnung kommt, weil im Test mit zwanzig Fällen gearbeitet wurde und nicht mit zwanzigtausend.

Genauer betrachtet

Der Gedanke: Wo eine Aufgabe durch mehr Modelldurchläufe lösbar ist, ist Rechenzeit die günstigere Ressource als zusätzliche Stellen. Sie ist sofort verfügbar, skaliert nach oben und unten und braucht keine Einarbeitung.

Warum das zählt

Der Begriff beschreibt spöttisch eine reale Versuchung: Token sind die eine Stellschraube, die zuverlässig etwas verbessert, und deshalb wird an ihr gedreht, bis die Kosten es verbieten. Die nüchterne Gegenfrage lautet, ab wo der zusätzliche Aufwand keinen messbaren Gewinn mehr bringt. Sie ist mit einer Eval in einer Stunde beantwortbar: dieselben Fälle bei halbem und doppeltem Kontext, Trefferquote vergleichen. In der Regel liegt der Punkt, ab dem nichts mehr passiert, deutlich früher als vermutet.

Häufig missverstanden

Die Rechnung geht nur auf, wenn die Prüfung mitwächst. Sonst entstehen mehr Ergebnisse, als Menschen beurteilen können, und der Engpass wandert von der Erzeugung in die Kontrolle.

Nachbarschaft

Verwandte Begriffe

Der Brief.