Die Arbeitsteilung dreht sich: Der Mensch definiert, was „richtig“ heißt — Testfälle, Abnahmekriterien, Grenzwerte —, die KI produziert dagegen an, bis es passt. Der Harness, das Testgeschirr, wird damit zum eigentlichen Ort der Qualität: Wer ihn schreibt, führt. Schlechte Kriterien erzeugen fleißig Falsches; gute machen selbst mittelmäßige Modelle brauchbar.
Ein Beispiel
Der Test prüft eine Behauptung: Bei dieser Eingabe muss diese Rechnungsnummer herauskommen. Der Rahmen drumherum ist das, was die Prüfung praktikabel macht: Er hält zweihundert Fälle bereit, ruft das System für jeden auf, vergleicht, zählt, zeigt die Abweichungen und läuft bei jeder Änderung automatisch. Ohne Rahmen bleibt es bei drei Fällen, die jemand von Hand durchklickt, wenn er daran denkt.
Genauer betrachtet
Ein Harness ist der Rahmen, der eine Aufgabe automatisch ausführt und das Ergebnis prüft: bei Code etwa Testläufe, bei Texten Formatprüfungen oder ein zweites Modell mit klarer Vorgabe. Er macht aus einem Eindruck eine Zahl.
Warum das zählt
Bei nicht-deterministischen Systemen ändert sich die Rolle des Tests. Eine einzelne Zusicherung sagt wenig, weil dieselbe Eingabe beim nächsten Mal anders beantwortet werden kann. Was zählt, ist die Quote über viele Fälle und ihre Veränderung über die Zeit. Deshalb ist der Rahmen wichtiger als der einzelne Test — und deshalb ist er die Infrastruktur, ohne die weder Prompt-Arbeit noch Modellwechsel noch Red Teaming dauerhaft etwas bringen. Er ist das Erste, was gebaut werden sollte, und wird meistens zuletzt gebaut.
Häufig missverstanden
Der Rahmen legt fest, was als richtig gilt. Diese Festlegung ist eine inhaltliche Entscheidung und gehört zu den Menschen, nicht in die Automatik.