Rechenleistung & Kosten
Inference Yield
Die Kennzahl hinter dem Hype: Wert pro ausgegebenem Token — nicht wie viel KI man nutzt, sondern was dabei herauskommt. Zwei Firmen können identische API-Rechnungen haben und völlig verschiedene Renditen, je nachdem, ob Tokens Entwürfe erzeugen, die niemand liest, oder Entscheidungen beschleunigen. Yield denken heißt: Anwendungsfälle priorisieren, nicht Nutzungsstatistiken feiern.
Ein Beispiel
Zwei Systeme bearbeiten Reklamationen. Das erste kostet 3 Cent pro Vorgang, liefert aber nur bei 60 Prozent ein Ergebnis, das ohne Nacharbeit durchgeht. Das zweite kostet 11 Cent und schafft 92 Prozent. Pro brauchbarem Vorgang gerechnet: 5 Cent gegen 12 — das billige System sieht immer noch besser aus. Rechnet man die vier Minuten Nacharbeit dazu, die ein Mensch für jeden der 40 Prozent braucht, kippt das Verhältnis deutlich.
Genauer betrachtet
Die Kennzahl setzt den erzielten Nutzen ins Verhältnis zum eingesetzten Rechenaufwand: abgeschlossene Vorgänge je Euro statt Tokens je Euro. Sie zwingt dazu, den Nutzen überhaupt zu beziffern.
Warum das zählt
Der Begriff ist jung und die Rechnung dahinter alt: Nicht der Preis pro Anfrage zählt, sondern der Preis pro verwertbarem Ergebnis, einschließlich der menschlichen Nacharbeit. In fast allen Fällen, die wir gesehen haben, ist die Nacharbeit der größere Posten — und der einzige, der nicht in der Anbieterrechnung steht. Wer zwei Angebote vergleicht, braucht deshalb zwei Zahlen aus dem eigenen Betrieb: Durchgangsquote ohne Nacharbeit und Minuten pro Nacharbeitsfall. Ohne sie vergleicht man Listenpreise.
Häufig missverstanden
Ohne diese Kennzahl wird Auslastung mit Wert verwechselt. Viele Anfragen können bedeuten, dass etwas gut angenommen wird — oder dass Nutzer es dreimal versuchen müssen.