Modelle lernen aus Daten — und Daten tragen Geschichte: wer eingestellt wurde, wer Kredit bekam, wer fotografiert wurde. Solche Schieflagen wandern ins Modell und werden dort skaliert und mit Objektivitäts-Anschein versehen. Bias verschwindet nicht durch guten Willen, sondern durch Messen entlang der Gruppen, die es betrifft — und durch die Bereitschaft, Ergebnisse zu korrigieren, die der eigenen Statistik schmeicheln.
Ein Beispiel
Eine Spracherkennung im Callcenter versteht Hochdeutsch gut und starke Dialekte schlecht. Im Durchschnitt liegt die Erkennungsrate bei 94 Prozent — ein guter Wert, mit dem das System abgenommen wird. Für einen Teil der Anrufer liegt sie bei 71 Prozent, und diese Anrufer werden systematisch schlechter bedient. Die Durchschnittszahl hat den Befund nicht gezeigt; sie hat ihn versteckt.
Genauer betrachtet
Verzerrungen entstehen an drei Stellen: in den Daten, in der Bewertung während des Trainings und in der Anwendung, wenn ein System auf eine Gruppe angesetzt wird, für die es nicht gebaut war. Nur die erste wird meist diskutiert.
Warum das zählt
Verzerrung ist selten Absicht und fast immer eine Frage der Auswertung. Sie wird sichtbar, sobald man die Leistung nach Gruppen aufschlüsselt statt nur den Mittelwert zu betrachten — nach Region, Alter, Sprache, Geschlecht, Betriebsgröße, je nach Anwendungsfall. Das ist eine Auswertung von einer Stunde und sollte in jede Abnahme gehören. Für Systeme, die über Menschen entscheiden, verlangt der EU AI Act das ohnehin. Wichtig ist die Ehrlichkeit bei dem, was folgt: Wenn eine Gruppe schlechter bedient wird, ist die Frage, ob das System eingesetzt wird, nicht nur, ob es besser wird.
Häufig missverstanden
Messen lässt sich Verzerrung nur, wenn vorher benannt ist, zwischen welchen Gruppen und ab welcher Größe man Gleichheit erwartet. Ohne diese Festlegung bleibt es bei Anekdoten.