66 · Rechenleistung & Kosten

GPU

Spezialchip, der KI-Berechnungen massiv beschleunigt.

Ursprünglich für Spielegrafik gebaut, zufällig perfekt für KI: Grafikprozessoren rechnen tausende einfache Operationen parallel — genau das Muster neuronaler Netze. Nvidias Vorsprung bei Chips und Software (CUDA) machte GPUs zum knappsten Gut der Branche. Wartezeiten und Preise für diese Chips sind ein besserer Konjunkturindikator der KI als jede Umfrage.

Ein Beispiel

Ein normaler Prozessor rechnet nacheinander sehr schnell; eine GPU rechnet tausende einfache Rechnungen gleichzeitig. Neuronale Netze bestehen fast nur aus solchen Rechnungen — Matrizen multiplizieren, immer wieder. Deshalb läuft dieselbe Aufgabe auf einer GPU um Größenordnungen schneller. Der Zufall der Geschichte ist, dass diese Bauweise ursprünglich für Computerspiele entwickelt wurde und die KI-Forschung sie zweckentfremdet hat.

Genauer betrachtet

Grafikprozessoren rechnen tausende Matrixoperationen gleichzeitig — genau die Operation, aus der neuronale Netze bestehen. Der begrenzende Faktor ist im Betrieb selten die Rechenleistung, sondern der Speicher und dessen Bandbreite.

Warum das zählt

Für Entscheidungen zum Selbstbetrieb ist eine Zahl wichtiger als alle anderen: der Speicher auf der Karte. Er bestimmt, welches Modell überhaupt läuft — passt es nicht hinein, hilft keine Rechenleistung. Danach kommt die Frage der Auslastung: Eine Karte, die zu zehn Prozent ausgelastet ist, kostet dasselbe wie eine ausgelastete. Genau deshalb ist Selbstbetrieb bei schwankender Last oft teurer als der Zukauf, obwohl die Rechnung pro Anfrage besser aussieht. Der Vergleich muss über die Auslastung gehen, nicht über den Listenpreis.

Häufig missverstanden

Die Zahl der Karten sagt wenig. Ohne passende Anbindung und Auslastung steht teure Hardware im Leerlauf. Die Kennzahl ist Auslastung, nicht Kapazität.

Nachbarschaft

Verwandte Begriffe

Der Brief.