70 · Rechenleistung & Kosten

Inferenzkosten

was eine einzelne KI-Antwort an Rechenleistung kostet.

Der Preis einer einzelnen Antwort, getrieben von Modellgröße, Kontextlänge und Nachdenk-Zeit. Einzeln Centbruchteile, skaliert ein Budgetposten: tausend Mitarbeitende mal dutzende Anfragen täglich mal 250 Arbeitstage. Wer KI ernsthaft einführt, braucht dafür dieselbe Kostenrechnung wie für jede andere Ressource — pro Aufgabe, nicht pro Lizenz.

Ein Beispiel

Ein Vorgang schickt 4.000 Token Kontext hin und bekommt 600 zurück. Bei einem mittleren Modell sind das etwa 1,5 Cent. Klingt nach nichts — bis man mit 8.000 Vorgängen am Tag multipliziert: 120 Euro täglich, 44.000 Euro im Jahr, für einen einzigen Ablauf. Läuft derselbe Vorgang durch einen Agenten mit zwölf Schritten statt einem Aufruf, steht dieselbe Rechnung mit einem zweistelligen Faktor davor.

Genauer betrachtet

Abgerechnet wird nach Tokens, meist mit unterschiedlichen Preisen für Eingabe und Ausgabe. Der größte Hebel ist selten das Modell, sondern die Kontextlänge: Ein System, das bei jeder Anfrage zehn Dokumente mitschickt, bezahlt zehn Dokumente.

Warum das zählt

Inferenzkosten sind der Posten, der Piloten in die Produktion begleitet und dort zum Problem wird — weil er mit der Nutzung wächst und nicht mit dem Projekt. Die drei wirksamsten Hebel sind bekannt und werden selten früh gezogen: den Kontext kürzen statt alles mitzugeben, für den Regelfall ein kleineres Modell einsetzen und wiederkehrende Anfragen zwischenspeichern. Alle drei sind später mühsam nachzurüsten. Deshalb gehört die Kostenrechnung pro Vorgang in die Architekturphase, nicht in die erste Rechnung.

Häufig missverstanden

Die Preise pro Million Tokens sind seit Jahren gefallen, die Rechnungen trotzdem gestiegen. Es wird mehr genutzt und mehr Kontext mitgeschickt. Die Menge frisst den Preisverfall.

Nachbarschaft

Verwandte Begriffe

Der Brief.