69 · Rechenleistung & Kosten

Inferenz (Inference)

das Anwenden eines fertigen Modells (das „Antworten“).

Training ist das Lernen, Inferenz das Arbeiten: jede einzelne Antwort eines fertigen Modells. Während Training einmalig teuer ist, summiert sich Inferenz mit jeder Nutzung — bei Erfolg wird sie zum dominanten Kostenblock. Deshalb dreht sich Betriebsoptimierung fast immer um Inferenz: kleinere Modelle, kürzere Kontexte, Caching, Batching.

Ein Beispiel

Training ist das Einstellen der Gewichte, Inferenz ist das Benutzen. Jede Anfrage an ein Modell ist ein Inferenzlauf: Die Eingabe wird in Token zerlegt, durch alle Schichten gerechnet, ein Token nach dem anderen erzeugt. Das Modell verändert sich dabei nicht — es lernt aus Ihrer Anfrage nichts, es sei denn, der Anbieter verwendet sie ausdrücklich zum Training. Zwei identische Anfragen kosten deshalb zweimal.

Genauer betrachtet

Bei der Inferenz rechnet das Modell die Eingabe einmal durch und erzeugt die Antwort Token für Token. Nichts wird dabei gespeichert oder gelernt. Dieselbe Frage in einer neuen Sitzung trifft auf denselben Ausgangszustand.

Warum das zählt

Die Unterscheidung räumt ein häufiges Missverständnis aus: „Das Modell lernt unsere Daten“ ist bei normaler Nutzung falsch — Ihre Eingaben verändern die Gewichte nicht. Was stimmt, ist etwas anderes und steht in den Nutzungsbedingungen: Ob der Anbieter Eingaben speichert und für künftiges Training verwenden darf. Das ist eine Vertragsfrage, keine technische, und bei Geschäftskundenverträgen üblicherweise abwählbar. Fragen Sie danach ausdrücklich, und lassen Sie es sich schriftlich geben.

Häufig missverstanden

Deshalb hat ein Modell kein Gedächtnis über Sitzungen hinweg. Was wie Erinnerung aussieht, ist ein Verlauf, den die Anwendung jedes Mal mitschickt.

Nachbarschaft

Verwandte Begriffe

Der Brief.