15 · Grundlagen & Modelle

Fine-Tuning

Nachtraining für eine spezielle Aufgabe/Domäne.

Ein fertiges Modell bekommt Nachhilfe mit eigenen Beispielen: Tonfall der Firma, Fachvokabular, ein bestimmtes Aufgabenformat. Das ist um Größenordnungen billiger als eigenes Training und oft wirksamer als lange Prompts. Aber es lohnt erst, wenn einfachere Mittel ausgereizt sind — viele Probleme, die nach Fine-Tuning aussehen, sind in Wahrheit Kontext-Probleme.

Ein Beispiel

Ein Versicherer will, dass Antworten im eigenen Haus-Ton verfasst werden: höflich, knapp, ohne Konjunktiv. Dafür ist Fine-Tuning das richtige Werkzeug — man zeigt dem Modell einige hundert Beispielantworten, und es übernimmt den Stil. Derselbe Versicherer will außerdem, dass das Modell die aktuellen Tarife kennt. Dafür ist Fine-Tuning das falsche Werkzeug: Tarife ändern sich quartalsweise, und jedes Mal neu zu trainieren ist teuer, langsam und ungenau. Sie gehören in den Kontext, nicht ins Modell.

Genauer betrachtet

Beim Nachtraining wird ein fertiges Modell mit einigen hundert bis einigen tausend Beispielen weiter angepasst. Sparsame Verfahren wie LoRA verändern dabei nur eine kleine Zusatzmatrix statt aller Gewichte, was Kosten und Speicherbedarf deutlich senkt.

Warum das zählt

Die Faustregel, die die meisten Fehlinvestitionen verhindert: Fine-Tuning ändert, *wie* ein Modell antwortet. Retrieval ändert, *worüber* es antwortet. Verhalten, Format und Ton lassen sich antrainieren; Fakten sollte man nachschlagen lassen. Wer Wissen ins Modell trainiert, bekommt ein Modell, das veraltet, ohne es zu merken, dessen Quellen nicht nachweisbar sind und dessen Aktualisierung jedes Mal Geld kostet. Prüfen Sie deshalb bei jedem Fine-Tuning-Vorhaben zuerst, ob die Aufgabe nicht in Wahrheit eine Retrieval-Aufgabe ist.

Häufig missverstanden

Fine-Tuning bringt Form und Stil bei, kein neues Faktenwissen. Wer aktuelle oder firmeneigene Inhalte braucht, ist mit Retrieval besser bedient.

Nachbarschaft

Verwandte Begriffe

Der Brief.