Eine Eval ist die Messung, ob ein System die Aufgabe löst, für die es gedacht ist — an echten Fällen aus dem eigenen Haus, gegen ein vorher festgelegtes Maß. Das klingt selbstverständlich und fehlt in den meisten Vorhaben. Der Grund ist nicht Nachlässigkeit, sondern dass generative Systeme das Messen schwer machen: Bei einer Ja-Nein-Entscheidung ist Richtigkeit offensichtlich, bei einem freien Text muss erst definiert werden, was richtig überhaupt heißt. Genau darin liegt die Arbeit — und sie ist fachlich, nicht technisch. Ein Modell kann die Prüfung schreiben; woran man erkennt, dass ein Ergebnis trägt, kann es nicht entscheiden. Wo dieses Maß fehlt, findet man Fehler nur zufällig. Wo es existiert, findet man sie in Minuten.
Ein Beispiel
Eine Eval ist keine Software, sondern eine Tabelle: hundert Zeilen mit einer echten Eingabe und dem Ergebnis, das richtig gewesen wäre. Dazu die Festlegung, was als Übereinstimmung zählt. Damit lässt sich in Minuten beantworten, was sonst Wochen Diskussion kostet — ob der neue Prompt besser ist, ob das billigere Modell reicht, ob das Update etwas kaputt gemacht hat. Der Aufwand steckt im Anlegen der Tabelle, nicht im Messen.
Genauer betrachtet
Eine brauchbare Eval besteht aus echten Fällen aus dem eigenen Betrieb, einer schriftlichen Definition von „richtig“ und einer Auswertung, die wiederholbar ist. Zwanzig gut gewählte Fälle sind aussagekräftiger als tausend zufällige.
Warum das zählt
Der wiederkehrende Befund aus Projekten: Fehler entstehen fast nie dort, wo ein Maß definiert ist. Wo gemessen wird, werden sie in Minuten gefunden; wo nicht, findet man sie zufällig oder gar nicht. Die eigentliche Arbeit ist deshalb nicht das Beheben, sondern das Festlegen des Maßstabs — und das kann kein Modell übernehmen. Ein Modell kann die Prüfung schreiben. Woran man erkennt, dass ein Ergebnis trägt, ist eine fachliche Entscheidung und bleibt beim Menschen. Solange „sieht gut aus“ der Maßstab ist, gibt es keinen.
Häufig missverstanden
Ohne Eval bemerkt man Verschlechterungen erst an Beschwerden. Sie ist die einzige Stelle, an der sich ein Modellwechsel oder eine Änderung am Prompt vorher beurteilen lässt.