Wenn ein KI-System realen Schaden anrichtet: die falsche Auskunft mit Folgen, die diskriminierende Entscheidung, der Agent mit Zugriff zu viel. Reife Organisationen behandeln das wie IT-Sicherheitsvorfälle — melden, eindämmen, aufarbeiten, ohne Schuldigen-Theater. Wer Vorfälle sammelt und auswertet, lernt aus kleinen Schäden, bevor große entstehen.
Ein Beispiel
Der Kundenassistent hat drei Wochen lang eine falsche Kündigungsfrist genannt. Aufgefallen ist es durch eine Beschwerde. Die Fragen danach sind immer dieselben: Wie viele Kunden waren betroffen? Was genau wurde gesagt? Seit wann? Was hat sich geändert — Modell, Prompt, Dokument? Ohne Protokoll ist keine dieser Fragen beantwortbar, und dann bleibt nur die pauschale Entschuldigung an alle.
Genauer betrachtet
Ein Vorfall ist mehr als ein Fehler: eine Ausgabe oder Handlung, aus der Schaden entstanden ist oder entstehen konnte. Zur Bearbeitung gehören Meldeweg, Rekonstruktion aus dem Protokoll, Sofortmaßnahme und die Frage, was strukturell gefehlt hat.
Warum das zählt
Für KI-Systeme fehlt in den meisten Häusern, was für IT-Störungen selbstverständlich ist: eine Definition, was überhaupt ein Vorfall ist, ein Meldeweg, eine Zuständigkeit und eine Nachbereitung. Das ist keine große Struktur — eine Seite reicht. Sie sollte drei Dinge festlegen: was gemeldet werden muss (auch Beinahe-Fälle), an wen, und dass jeder Vorfall in einen automatischen Test wandert. Der letzte Punkt ist der, der aus Ärger Lernen macht. Der EU AI Act verlangt für Hochrisikosysteme ohnehin eine Meldepflicht.
Häufig missverstanden
Ohne Meldeweg werden Vorfälle einzeln aufgeräumt und nicht gezählt. Dann fehlt genau die Häufigkeit, an der man erkennen würde, dass es kein Einzelfall war.