22 · Architektur

Mixture of Experts (MoE)

nur Teile des Modells werden je Anfrage aktiviert (effizienter).

Das Modell besteht aus vielen spezialisierten Teilnetzen; ein Router aktiviert pro Anfrage nur die passenden zwei oder drei. So kann ein Modell riesig sein, ohne dass jede Antwort das Ganze durchrechnen muss — Fähigkeit wächst schneller als Kosten. Viele aktuelle Spitzenmodelle arbeiten so, auch wenn es außen nicht sichtbar ist.

Ein Beispiel

Ein MoE-Modell mit 400 Milliarden Parametern rechnet pro Anfrage vielleicht nur mit 40 Milliarden davon. Eine kleine Steuerkomponente entscheidet für jedes Wort, welche zwei von hundert Teilnetzen zuständig sind — der Rest bleibt aus. Das Modell ist damit so groß wie ein sehr großes und so schnell wie ein mittleres. Bezahlen muss man allerdings den Speicher für alle 400 Milliarden, denn welcher Teil gleich gebraucht wird, weiß man vorher nicht.

Genauer betrachtet

Das Modell enthält viele Teilnetze, und eine Auswahlschicht schickt jedes Token an zwei oder drei davon. Dadurch hat das Modell sehr viele Parameter, rechnet pro Anfrage aber nur mit einem Bruchteil. Ein Modell mit 400 Milliarden Parametern kann so kosten wie eines mit 40.

Warum das zählt

MoE ist der Hauptgrund, warum die Parameterzahl als Kostenauskunft unbrauchbar geworden ist. Bei einem klassischen Modell konnte man von der Größe auf Rechenaufwand und Preis schließen; bei MoE gehen Größe, Rechenaufwand und Speicherbedarf auseinander. Wer Angebote vergleicht, sollte deshalb nicht nach Parametern fragen, sondern nach den drei Zahlen, die tatsächlich zählen: Preis pro Million Token, Antwortzeit unter Last und benötigter Speicher beim Selbstbetrieb.

Häufig missverstanden

Der Speicherbedarf sinkt nicht mit. Alle Experten müssen geladen sein, auch wenn nur wenige rechnen. Für den Eigenbetrieb ist genau das der teure Teil.

Nachbarschaft

Verwandte Begriffe

Der Brief.