14 · Grundlagen & Modelle

Pretraining

das erste, breite Training auf riesigen Datenmengen.

Im Pretraining liest das Modell einmal quer durch alles, was sich an Text und Daten auftreiben lässt, und lernt dabei Sprache, Fakten und Muster — ohne Aufgabe, ohne Ziel, nur Vorhersage. Diese Phase kostet den Löwenanteil der Millionen und bestimmt den Charakter des Modells. Alles Spätere — Fine-Tuning, Ausrichtung — ist Feinschliff an einem Rohling, der hier entsteht.

Ein Beispiel

Im Pretraining bekommt das Modell keine Aufgaben und keine Bewertung durch Menschen. Es bekommt Text — sehr viel Text — und die immer gleiche Übung: Verdecke das nächste Wort und rate es. Milliardenfach. Aus dieser stumpfen Wiederholung entsteht nebenbei alles, was später wie Wissen aussieht: Grammatik, Faktenzusammenhänge, Programmierkonventionen, Umgangsformen. Niemand hat sie einzeln beigebracht; sie waren die billigste Methode, das nächste Wort besser zu raten.

Genauer betrachtet

Im Pretraining lernt das Modell aus sehr großen, überwiegend unbeschrifteten Textmengen, indem es fortlaufend fehlende Stellen vorhersagt. Hier entstehen Sprachgefühl und Weltwissen, und hier fällt der größte Teil der Kosten an.

Warum das zählt

Zwei praktische Folgerungen. Erstens: Was nicht in den Trainingstexten stand, weiß das Modell nicht — Ihr internes Preismodell, Ihre Betriebsvereinbarung, der Vorgang von letzter Woche. Kein Prompt holt das nach; es muss mitgeliefert werden. Zweitens: Das Pretraining hat einen Stichtag. Alles danach fehlt, und das Modell weiß nicht, dass es fehlt — es antwortet zu neueren Ereignissen genauso flüssig wie zu alten. Für alles Zeitkritische ist ein Modell ohne Anbindung an aktuelle Quellen die falsche Quelle.

Häufig missverstanden

Was im Pretraining nicht vorkam, lässt sich später nur begrenzt nachreichen. Interne Begriffe und firmeneigene Zusammenhänge gehören deshalb in den Kontext, nicht in die Hoffnung auf Vorwissen.

Nachbarschaft

Verwandte Begriffe

Der Brief.