Die Demo und der Dienstag
Fast jede Vorführung eines KI-Systems zeigt denselben Ausschnitt: den gelungenen Durchlauf. Das ist kein Betrug, sondern ein Format. Man sollte nur wissen, was es auslässt.
Auf der Bühne funktioniert es. Jemand tippt eine Frage ein, das System denkt kurz sichtbar nach, und nach zwanzig Sekunden liegt ein Ergebnis vor, für das ein Mensch einen Nachmittag gebraucht hätte. Der Applaus ist verdient. Die Aufgabe war echt, die Lösung war es auch.
Und trotzdem hat man gerade fast nichts erfahren.
Was eine Vorführung zeigt
Eine Demo beantwortet eine einzige Frage: Ist diese Aufgabe für dieses System grundsätzlich lösbar? Das ist keine kleine Frage. Vor fünf Jahren wäre die Antwort bei vielen dieser Aufgaben Nein gewesen. Wer heute sieht, dass ein Modell einen Vertrag zusammenfasst, eine Datenbank abfragt und daraus eine Mail entwirft, sieht eine echte Fähigkeit.
Er sieht nur nicht, wie oft.
Zwischen „kann“ und „tut verlässlich“ liegt der gesamte Betrieb. Ein System, das neun von zehn Fällen richtig löst, sieht in einer Vorführung genauso aus wie eines, das neunundneunzig von hundert schafft. In beiden Fällen läuft der gezeigte Durchlauf durch. Der Unterschied zwischen den beiden Systemen ist der Unterschied zwischen einem Werkzeug und einem Ärgernis. Aber er ist auf einer Bühne unsichtbar.
Warum der Ausschnitt immer derselbe ist
Man muss dafür niemandem Absicht unterstellen. Das Format erzwingt die Auswahl.
Eine Vorführung dauert Minuten. In dieser Zeit lässt sich genau ein Durchlauf zeigen. Wer einen auswählt, wählt sinnvollerweise einen, der funktioniert. Alles andere wäre eine merkwürdige Entscheidung. Der Vorführende hat den Fall vorher ausprobiert. Er kennt die Formulierung, die zuverlässig zum Ziel führt. Die Daten sind vorbereitet, weil unvorbereitete Daten die Vorführung sprengen würden.
Jeder einzelne dieser Schritte ist vernünftig. Zusammen ergeben sie ein Bild, das systematisch besser ist als der Alltag.
Dazu kommt eine Eigenschaft heutiger Systeme, die das Problem verschärft: Sie scheitern nicht sichtbar. Klassische Software stürzt ab oder gibt eine Fehlermeldung. Ein Sprachmodell liefert auch dann eine flüssige, gut formulierte Antwort, wenn die Grundlage dünn ist. Ein misslungener Durchlauf sieht auf den ersten Blick aus wie ein gelungener. In zwanzig Sekunden auf einer Bühne fällt der Unterschied niemandem auf. Im Betrieb fällt er auf. Nur später und teurer.
Drei Fragen, die keine Demo beantwortet
Wie oft geht es schief, und woran merkt man es? Nicht die Trefferquote im Durchschnitt, sondern die Verteilung: Welche Fälle gehen daneben, und haben sie etwas gemeinsam? Ein System, dessen Fehler zufällig streuen, ist beherrschbar. Eines, das an einer bestimmten Sorte Fall systematisch scheitert, ist gefährlich. Weil genau diese Fälle in der Vorführung nicht vorkommen.
Was passiert beim zwanzigsten Schritt? Fehler multiplizieren sich über Ketten. Bei fünfundneunzig Prozent Trefferquote pro Schritt ist ein zwanzigschrittiger Ablauf in etwa jedem dritten Durchlauf irgendwo falsch. Vorgeführt wird üblicherweise ein Ablauf mit drei Schritten.
Wer räumt hinterher auf? Jedes System, das handeln darf, produziert Fälle, die jemand zurückdrehen muss. Die Vorführung endet beim Ergebnis. Der Betrieb fängt dort an.
Was man stattdessen zeigen könnte
Es gibt eine Vorführung, die mehr sagt als jede polierte: der Durchlauf mit einem Fall, den der Vorführende vorher nicht gesehen hat. Aus dem Publikum, mit echten Unterlagen, ohne Vorbereitung. Das dauert länger, geht öfter schief und ist ungleich informativer.
Fast noch besser: Zeigt die Protokolle. Nicht das Ergebnis, sondern die letzten hundert Durchläufe im Echtbetrieb, mit den misslungenen darunter. Wer das zeigen kann, hat gemessen. Wer gemessen hat, weiß etwas über sein System, das eine Vorführung nicht hergibt.
Wir haben das noch selten gesehen. Nicht, weil Anbieter etwas verbergen wollen. Sondern weil die Messung oft schlicht nicht existiert.
Die brauchbare Prüffrage
Wer vor einer Vorführung sitzt, kann sich einen Satz sparen und stattdessen eine Frage stellen: Wie viele Durchläufe laufen bei euch am Tag, und welcher Anteil braucht menschliche Nacharbeit?
Die Antwort ist entweder eine Zahl oder ein Ausweichen. Beides ist eine Auskunft.
Eine Zahl bedeutet, dass jemand hingesehen hat. Ein Ausweichen bedeutet nicht, dass das System schlecht ist. Es bedeutet, dass niemand weiß, ob es gut ist. Und dass Sie das Risiko übernehmen würden, es herauszufinden.
Eine gute Vorführung macht eine Behauptung merkbar. Wahr macht sie sie nicht.