17 · Grundlagen & Modelle
Quantisierung
Modell verkleinern, damit es schneller/billiger läuft.
Die Gewichte werden gröber gespeichert — weniger Nachkommastellen, weniger Bits —, das Modell wird kleiner und schneller, meist bei kaum messbarem Qualitätsverlust. Klingt technisch, entscheidet aber, ob ein Modell auf einem Laptop, einem Telefon oder nur im Rechenzentrum läuft. Quantisierung ist einer der Gründe, warum lokale KI realistisch geworden ist.
Ein Beispiel
Ein 70-Milliarden-Parameter-Modell braucht in voller Genauigkeit rund 140 Gigabyte Speicher und damit mehrere Rechenzentrums-Grafikkarten. Speichert man jede Zahl statt mit 16 Bit nur mit 4 Bit, schrumpft dasselbe Modell auf etwa 35 Gigabyte — und läuft auf einer einzelnen Karte oder einem gut ausgestatteten Arbeitsplatzrechner. Die Antworten werden dabei messbar, aber meist geringfügig schlechter. Für viele Aufgaben ist der Unterschied nicht bemerkbar, für manche ist er entscheidend.
Genauer betrachtet
Statt in 16 Bit werden die Gewichte in 8 oder 4 Bit abgelegt. Das senkt Speicherbedarf und Bandbreite ungefähr proportional und macht Modelle auf kleinerer Hardware lauffähig. Der Genauigkeitsverlust ist bei 8 Bit meist vernachlässigbar und wird darunter spürbar.
Warum das zählt
Quantisierung ist die Stellschraube, die aus „geht nur in der Cloud“ ein „geht im eigenen Haus“ macht — und damit oft die technische Voraussetzung dafür, dass Daten das Unternehmen nicht verlassen müssen. Sie ist aber kein kostenloser Gewinn, und wie viel Qualität verloren geht, hängt stark von der Aufgabe ab. Verlangen Sie deshalb keine allgemeine Zusicherung, sondern einen Vergleich an Ihren eigenen Fällen: dieselben hundert Eingaben durch beide Fassungen, Ergebnisse nebeneinander. Diese Messung kostet einen Tag und beantwortet die Frage endgültig.
Häufig missverstanden
Der Verlust zeigt sich nicht im Durchschnitt, sondern an den Rändern: lange Kontexte, Zahlen, seltene Sprachen. Wer nur die üblichen Testfälle prüft, sieht ihn nicht.
Nachbarschaft
Verwandte Begriffe
Newsletter
Der Brief.
Ein Artikel pro Woche, dazu was uns beim Bauen aufgefallen ist. Kein Wochenrückblick, keine Werbung, keine Weitergabe der Adresse. Abmelden mit einem Klick in jeder Ausgabe.