16 · Grundlagen & Modelle

Destillation

ein kleines Modell lernt von einem großen (günstiger im Betrieb).

Ein großes Modell spielt Lehrer: Seine Antworten werden zum Trainingsmaterial für ein kleineres, das ähnlich gut antworten soll, aber einen Bruchteil kostet. So wandern Fähigkeiten von teuren Spitzenmodellen in Alltagsmodelle. Für den Betrieb ist das zentral — die wenigsten Aufgaben brauchen das größte Modell, sie brauchen ein ausreichend gutes zum richtigen Preis.

Ein Beispiel

Ein großes Modell beantwortet eine Kundenanfrage hervorragend, kostet aber pro Anfrage so viel, dass sich der Anwendungsfall nicht rechnet. Also lässt man es hunderttausend typische Anfragen beantworten und trainiert ein kleines Modell darauf, genau diese Antworten nachzubilden. Das Ergebnis ist für diese eine Aufgabe fast so gut und um ein Vielfaches billiger. Außerhalb der Aufgabe fällt es deutlich ab — es hat nicht das Können übernommen, sondern das Verhalten in einem Ausschnitt.

Genauer betrachtet

Das kleine Modell wird nicht auf die richtigen Antworten trainiert, sondern auf die Ausgabeverteilung des großen. Die enthält mehr Information als ein bloßes Label, nämlich auch, welche Alternativen das große Modell für nahe beieinander hielt. Deshalb reichen vergleichsweise wenige Beispiele.

Warum das zählt

Destillation ist der übliche Weg von einem funktionierenden Piloten zu einem bezahlbaren Betrieb, und sie erklärt, warum kleine Modelle in Benchmarks manchmal erstaunlich gut abschneiden. Sie hat aber zwei Haken, die im Angebot selten stehen. Der eine ist rechtlich: Die Nutzungsbedingungen der großen Anbieter untersagen es häufig ausdrücklich, ihre Ausgaben zum Training konkurrierender Modelle zu verwenden. Der andere ist fachlich: Ein destilliertes Modell erbt die Fehler des Lehrers, ohne dessen Bandbreite zu erben. Es ist zuverlässig genau dort, wo man geprüft hat.

Häufig missverstanden

Das destillierte Modell erbt die Fehler seines Lehrers. Es ist außerdem meist eng auf den destillierten Aufgabenbereich beschränkt und fällt außerhalb davon spürbar ab.

Nachbarschaft

Verwandte Begriffe

Der Brief.