65 · Rechenleistung & Kosten

Compute

die Rechenleistung, die Training/Betrieb verschlingt.

Die Währung des KI-Zeitalters: Rechenleistung für Training und Betrieb, gemessen in Chip-Stunden und Stromrechnungen. Zugang zu Compute entscheidet, wer vorne mitspielt — deshalb die Rechenzentren-Milliarden, deshalb die Exportkontrollen für Chips. Für Unternehmen übersetzt sich Compute schlicht in: Was kostet uns eine Antwort, und was ist sie wert?

Ein Beispiel

Compute zerfällt in zwei Posten, die betriebswirtschaftlich nichts miteinander zu tun haben. Das Training eines großen Modells ist eine einmalige Investition in dreistelliger Millionenhöhe, die der Anbieter trägt. Der Betrieb — jede einzelne Anfrage — ist eine laufende Ausgabe, die Sie tragen. Für ein Unternehmen, das Modelle einkauft statt baut, ist ausschließlich der zweite Posten relevant, und er wächst mit der Nutzung, nicht mit dem Projekt.

Genauer betrachtet

Rechenleistung fällt zweimal an: einmal groß beim Training, dauerhaft im Betrieb. Über die Lebensdauer eines erfolgreichen Modells übersteigt der Betriebsanteil das Training oft deutlich, denn er wächst mit jeder Nutzung.

Warum das zählt

Der übliche Planungsfehler: Der Pilot mit fünfzig Anfragen am Tag kostet nichts und wird deshalb nicht kalkuliert. Bei fünfzigtausend Anfragen sieht die Rechnung anders aus, und dann steht die Architekturentscheidung schon. Wer früh eine Zahl pro Vorgang ermittelt und mit der erwarteten Menge multipliziert, erkennt rechtzeitig, ob ein kleineres Modell, eine Zwischenspeicherung oder eine Vorfilterung nötig ist. Diese Rechnung dauert eine Stunde und entscheidet, ob aus dem Piloten Betrieb werden kann.

Häufig missverstanden

In der Planung wird meist das Training betrachtet, weil die Zahl beeindruckt. Für die eigene Kalkulation ist fast immer der Betrieb der entscheidende Posten.

Nachbarschaft

Verwandte Begriffe

Der Brief.