62 · Training & Ausrichtung

Overfitting

Modell lernt Beispiele auswendig, statt zu verallgemeinern.

Das Modell lernt die Trainingsbeispiele auswendig statt das Muster dahinter: glänzt im Test, versagt an Neuem. Erkennbar daran, dass die Leistung auf zurückgehaltenen Daten deutlich abfällt. Das Prinzip lohnt sich als Denkfigur weit über KI hinaus — auch Prozesse und Kennzahlen können auf die Vergangenheit überangepasst sein.

Ein Beispiel

Ein Modell zur Erkennung von Hautkrebs erreicht im Test 96 Prozent. Im Einsatz fällt es auf 71. Die Ursache: In den Trainingsbildern waren die bösartigen Befunde überdurchschnittlich oft mit einem Lineal fotografiert worden, weil Ärzte bei Verdacht die Größe dokumentieren. Das Modell hatte gelernt, Lineale zu erkennen. Im Alltag ohne Lineal fehlt ihm das Merkmal, auf das es sich verlassen hatte.

Genauer betrachtet

Das Modell passt sich so eng an die Trainingsbeispiele an, dass es deren Zufälligkeiten mitlernt. Erkennbar wird das am Auseinanderdriften von Trainings- und Testfehler: Auf Bekanntem wird es besser, auf Neuem schlechter.

Warum das zählt

Overfitting ist der Grund, warum eine Zahl aus dem Test nichts wert ist, wenn nicht geklärt ist, woran sie gemessen wurde. Die einfache Schutzmaßnahme ist Disziplin: Ein Teil der Daten wird zurückgelegt und erst am Ende einmal verwendet. Wer diese Prüfmenge während der Entwicklung mehrfach anschaut und daraufhin nachjustiert, hat sie verbraucht — die Anpassung findet dann eben über den Umweg des Entwicklers statt. In Projekten ist das der häufigste Grund, warum Piloten glänzen und Produktion enttäuscht.

Häufig missverstanden

Dasselbe passiert auf Projektebene. Wer Prompts so lange an denselben zehn Beispielen schleift, bis alle stimmen, hat auf zehn Fälle überangepasst und nicht die Aufgabe gelöst.

Nachbarschaft

Verwandte Begriffe

Der Brief.