Standardisierte Aufgabensammlungen, an denen sich Modelle vergleichen lassen — Mathematik, Programmieren, Fachwissen. Nützlich als grobe Landkarte, tückisch als Kaufgrund: Benchmarks veralten, sickern in Trainingsdaten und messen Prüfungssituationen, nicht Alltag. Die ehrlichste Zahl bleibt die eigene: Wie gut löst das Modell eure Aufgabe an euren Beispielen?
Ein Beispiel
Ein Modell erreicht 87 Prozent Diagnosegenauigkeit, Menschen kommen auf 78. Der Benchmark arbeitet mit vollständigen Fallvignetten und klaren Fragen. Die Ambulanz arbeitet mit diffusem Schmerz, lückenhafter Anamnese und Zeitdruck. Die Zahl ist echt und die Testbedingungen sind ordentlicher als jeder Dienstag. Gefährlich wird es im Detail: Ein guter Durchschnitt kann Untertriage bei einzelnen Patientengruppen verdecken.
Genauer betrachtet
Ein Benchmark ist eine feste Aufgabensammlung mit einer festen Auswertung. Sein Wert liegt im Vergleich zwischen Modellen unter gleichen Bedingungen, nicht in einer Aussage über die Leistung bei Ihrer Aufgabe.
Warum das zählt
Benchmarks vergleichen Modelle miteinander und sagen nichts über Ihre Aufgabe. Dazu kommen zwei bekannte Verzerrungen: Testdaten geraten mit der Zeit ins Trainingsmaterial, und Anbieter optimieren auf die Tests, an denen sie gemessen werden. Beides lässt Werte steigen, ohne dass etwas besser wird. Die belastbare Alternative kostet einen Tag: fünfzig bis zweihundert echte Fälle aus dem eigenen Haus, mit dem Ergebnis, das richtig gewesen wäre. Diese Messung ist unbestechlich, weil sie niemand kennt, auf den man optimieren könnte.
Häufig missverstanden
Bekannte Benchmarks landen im Trainingsmaterial und verlieren dadurch ihre Aussagekraft. Ein hoher Wert kann Können bedeuten oder Wiedererkennen. Von außen ist das kaum zu unterscheiden.