Rechenleistung & Kosten
Skalierungsgesetze (Scaling Laws)
Die empirische Beobachtung, die das Wettrüsten erklärt: Mehr Daten, mehr Parameter, mehr Rechenzeit ergeben in erstaunlich glatter Kurve bessere Modelle — vorhersagbar genug, um Milliardeninvestitionen darauf zu bauen. Ob die Kurve trägt oder abflacht, ist die teuerste offene Frage der Branche; zuletzt verschob sich das Wachstum vom Training zur Rechenzeit beim Antworten.
Ein Beispiel
Über Jahre galt eine erstaunlich verlässliche Beobachtung: Mehr Rechenleistung, mehr Daten und mehr Parameter ergeben in vorhersagbarem Maß bessere Modelle. Das war keine Theorie, sondern eine gemessene Kurve — und sie erlaubte etwas Seltenes in der Forschung: Man konnte vor einem Trainingslauf für hunderte Millionen Euro ziemlich genau sagen, wie gut das Ergebnis wird. Genau darauf beruhten die Investitionsentscheidungen der letzten Jahre.
Genauer betrachtet
Empirisch gefunden: Der Fehler sinkt vorhersagbar mit Modellgröße, Datenmenge und Rechenaufwand, wenn diese im richtigen Verhältnis wachsen. Das machte Investitionen planbar — man wusste vorher ungefähr, was mehr Geld bringt.
Warum das zählt
Interessant ist, was aus der Kurve geworden ist. Der Zugewinn aus reiner Vergrößerung ist spürbar flacher geworden, und der Schwerpunkt hat sich verschoben — zu besserer Datenqualität und zu Rechenzeit während der Anfrage statt während des Trainings. Für Unternehmen heißt das vor allem eines: Die Annahme „das nächste Modell kann automatisch alles besser“ trägt nicht mehr zuverlässig. Fortschritt kommt inzwischen ungleichmäßig, mal beim Reasoning, mal bei den Kosten, mal bei der Länge des Kontexts. Wer plant, plant besser gegen die heutige Fähigkeit.
Häufig missverstanden
Die Kurven sagen etwas über den Vorhersagefehler, nicht über Nützlichkeit. Und sie flachen ab: Der Zuwachs pro verdoppeltem Aufwand wird kleiner, was den Schwerpunkt zu Datenqualität und Nachtraining verschoben hat.