19 · Architektur
Transformer
die Architektur hinter heutigen Sprachmodellen.
Seit 2017 die Standardarchitektur: Der Transformer verarbeitet eine Sequenz nicht Wort für Wort, sondern schaut auf alle Positionen gleichzeitig und lernt, welche einander wichtig sind. Das macht ihn hervorragend parallelisierbar — und damit trainierbar in Größenordnungen, an denen ältere Architekturen scheiterten. GPT steht für Generative Pretrained Transformer.
Ein Beispiel
Vor 2017 lasen Sprachmodelle Text wie ein Mensch: Wort für Wort, von links nach rechts, und was zwanzig Wörter zurücklag, war fast vergessen. Die Transformer-Architektur ließ dieses Nacheinander fallen. Sie verarbeitet alle Wörter eines Abschnitts gleichzeitig und lässt jedes prüfen, welche anderen für seine Bedeutung wichtig sind. Das machte Training auf tausenden Grafikkarten parallelisierbar — und erst dadurch Modelle in der heutigen Größe überhaupt bezahlbar.
Genauer betrachtet
Der Transformer verarbeitet alle Positionen einer Sequenz gleichzeitig statt nacheinander. Das machte das Training auf vielen Grafikkarten parallelisierbar und war der eigentliche Durchbruch von 2017: keine neue Idee über Sprache, sondern eine, die sich gut rechnen ließ.
Warum das zählt
Die Architektur erklärt zwei Eigenschaften, die im Betrieb täglich auffallen. Erstens: Kontext ist alles. Was im Fenster steht, kann das Modell verknüpfen; was nicht drinsteht, existiert für die Antwort nicht. Zweitens: Der Rechenaufwand wächst überproportional mit der Länge des Kontexts, weil jedes Wort mit jedem verglichen wird. Deshalb sind lange Kontexte teuer und langsam, und deshalb ist „alles reinkippen“ auch dann keine gute Strategie, wenn das Fenster es hergibt.
Häufig missverstanden
Der Aufwand wächst quadratisch mit der Sequenzlänge. Sehr lange Kontexte sind deshalb teuer, und Anbieter erkaufen sie mit Näherungen, die die Qualität in der Mitte des Textes senken können.
Nachbarschaft
Verwandte Begriffe
Newsletter
Der Brief.
Ein Artikel pro Woche, dazu was uns beim Bauen aufgefallen ist. Kein Wochenrückblick, keine Werbung, keine Weitergabe der Adresse. Abmelden mit einem Klick in jeder Ausgabe.