Benchmark-Performance ≠ Bedside-Performance
Ein KI-Modell diagnostiziert mit 87 % Genauigkeit, und trotzdem kann es in der Klinik gefährlich sein. Warum die Zahlen aus Studien nicht das erzählen, was wir hören wollen, und was stattdessen zählt.
87 Prozent. Das ist die Diagnosegenauigkeit eines agentischen KI-Systems, das Kollegen aus unserem Institut Ende 2025 in Nature veröffentlicht haben. Die menschliche Vergleichsgruppe kam auf 78 Prozent. Der Agent übertrifft den Arzt. Auf dem Papier.
Ich halte diese Zahl für wichtig. Und ich halte sie für gefährlich, wenn man sie falsch liest.
Der Fall, der mich nicht loslässt
Stellen Sie sich folgende Fallvignette vor: Patient, Langzeitflug, danach Immobilisierung, dann Brustschmerz und Atemnot. Jeder Medizinstudierende im zweiten Semester würde das sofort benennen: Lungenarterienembolie, LAE, ein Notfall.
Ein frühes ChatGPT-System hat das als Jetlag diagnostiziert. Empfehlung: hinlegen, ausruhen, irgendwann zum Arzt gehen.
Das ist kein Randfall. Das ist aus einer Publikation unserer Forschungsgruppe, Anfang 2025 veröffentlicht. Wir hatten Fallvignetten mit klassischen Notfallpräsentationen erstellt und gesehen, was die Modelle damit machen. Die Ergebnisse waren erschreckend: Gerade bei eindeutigen Notfällen (LAE, Sepsis, Schlaganfall) haben die Modelle dramatisch untertriagiert. Während sie bei Routinefragen übervorsichtig waren (Overtriage), haben sie die kritischen Fälle systematisch unterschätzt.
Das Muster wurde kurz darauf in Nature Medicine systematisch bestätigt: Routinefälle → Overtriage. Echte Notfälle → Undertriage. Das ist genau das falsche Verhalten.
Das Problem mit dem Benchmark
Die Diagnosegenauigkeit von 87 Prozent kommt aus einer GlossarBenchmarkstandardisierter Test zum Vergleich von Modellen (z. B. SWE-bench, MMLU).Zum Eintrag ↗-Studie. Benchmarks sind kontrollierte Umgebungen: sauber strukturierte Fallvignetten, vollständige Symptomangaben, klare Fragen. Ein Patient in der Ambulanz ist das Gegenteil davon.
Das erste Problem: Fallvignetten sind zu gut. Kein Patient kommt mit einer vollständigen Symptomkonstellation, wie sie ein Lehrbuch beschreibt. Schmerz ist diffus, Anamnese ist lückenhaft, Kontext fehlt. Die Benchmarks testen nicht das, was in der Realität gefragt ist.
Das zweite Problem: Multiple-Choice ist kein Arzt-Proxy. Viele Benchmarks sind auf Tests wie dem USMLE, dem amerikanischen Medizinstaatsexamen, basiert. Die Modelle wurden dabei irgendwann sehr gut. Die Frage ist: Ist die Leistung in Multiple-Choice-Fragen ein valider Prädiktor für klinisches Urteilsvermögen? Ich würde das verneinen. Wissen abzufragen ist nicht dasselbe wie Versorgung zu leisten.
Das dritte Problem ist das technisch heikelste: Sobald ein Benchmark öffentlich ist, kann er zum Trainingsdatensatz werden. Das Modell lernt die richtigen Antworten, nicht die dahinterliegende medizinische Logik. Der Benchmark wird wertlos, sobald er weit genug verbreitet ist. Hersteller-eigene Benchmarks sind deshalb immer mit Vorsicht zu genießen: Sie sind für ihre eigenen Produkte optimiert, nicht für unabhängige Vergleichbarkeit.
Bias auf zwei Ebenen
Schlechte Benchmark-Performance ist nur eine Hälfte des Problems. Die andere ist GlossarBias (Verzerrung)systematische Schieflage in Daten/Ausgaben.Zum Eintrag ↗, komplexer, weil er auf zwei Ebenen operiert.
Maschinenseitiger Bias entsteht dort, wo Trainingsdaten nicht die Wirklichkeit abbilden. Ein bekanntes Beispiel: Bilddatensätze für Hautdiagnostik stammen überproportional aus amerikanischen und ostasiatischen Kliniken. Der afrikanische Kontinent ist nahezu absent. Das bedeutet nicht, dass das Modell schlechter wird. Es bedeutet, dass es für bestimmte Populationen systematisch unzuverlässiger ist, ohne dass das in den aggregierten Accuracy-Zahlen sichtbar wird. Aggregations-Bias: Gesamtperformance stimmt, Subgruppen-Performance divergiert erheblich.
Wir haben das in unseren Daten gesehen. Bei unterrepräsentierten Bevölkerungsgruppen zeigt sich deutlich mehr Undertriage. Genau dort, wo die Systeme am wenigsten trainiert wurden, treffen sie die gefährlichsten Fehlentscheidungen.
Menschenseitiger Bias ist das, womit sich die klinische Psychologie seit Jahrzehnten befasst: Automation Bias. Menschen vertrauen Maschinenaussagen tendenziell mehr als eigenen Einschätzungen, auch wenn die Maschine falsch liegt. Und dieser Effekt wird verstärkt, nicht abgeschwächt, wenn das System seine Entscheidung erklärt.
Das ist das sogenannte Whitebox-Paradox: GlossarErklärbarkeit (Explainability)nachvollziehbar machen, warum die KI so entschied.Zum Eintrag ↗-Features (also visuelle Erklärungen, warum das Modell zu einer Diagnose kommt) sind eigentlich gedacht, um kritische Prüfung zu ermöglichen. In der Praxis erhöhen sie das Vertrauen, unabhängig davon, ob die Erklärung korrekt ist. Transparenz, die Sicherheitsgefühl erzeugt ohne Sicherheit zu liefern, ist kein Gewinn.
Was wir brauchen: eine andere Evaluationskaskade
Statische Benchmarks sind kein Ende, sondern ein Anfang. Was danach kommen muss:
Retrospektive Validierung: echte Patientendaten, historisch, um zu prüfen, ob das Modell in der tatsächlichen Patientenpopulation der anvisierten Klinik funktioniert.
Virtuelle EHR-Umgebungen und dynamische Simulationen: In unserer Arbeitsgruppe haben wir Anfang 2025 das Konzept des Digital Twin für medizinische KI-GlossarEval (Evaluation)Messung, wie gut ein Modell eine Aufgabe löst.Zum Eintrag ↗ in Nature Medicine beschrieben. Die Technologie ist noch nicht fertig, aber die Richtung ist klar. Modelle müssen in simulierten klinischen Umgebungen getestet werden, bevor sie bei echten Patienten eingesetzt werden.
Prospektive Studien in der realen Welt: das Wichtigste und das, was am schwierigsten zu ersetzen ist. Wie performen die Systeme tatsächlich, wenn sie im Workflow stecken? Mit echten Übergaben, echten Dokumentationslücken, echten Zeitdrücken?
Post-Implementierungsmonitoring: mit begleitender ökonomischer Evaluation. Eine KI, die klinisch valide ist, aber zu mehr unnötigen Überweisungen führt oder das Gesamtoutcome nicht verbessert, erfüllt ihren Zweck nicht.
Was Modelle können, muss dort sichtbar werden, wo sie es nicht können
Eine weitere Baustelle, an der wir gerade arbeiten: Performance muss granularer kommuniziert werden. Ein Modell, das für Innere Medizin gut trainiert ist, kann für seltene Erkrankungen nahezu unbrauchbar sein. Aggregierte Accuracy-Zahlen zeigen das nicht.
Das Konzept der Broad Model Card, das wir gerade einreichen, erweitert das bekannte Model-Card-Format (das auch von der FDA empfohlen wird) auf Systeme, die theoretisch tausende Diagnosen abdecken. Statt einer Gesamtgenauigkeit wird Performance über den gesamten Krankheitsatlas dargestellt: ICD-Codes als Raster, granular über Erkrankungsgruppen hinweg.
87 Prozent. Und dann?
Ein Modell mit 87 Prozent Benchmark-Genauigkeit ist ein vielversprechender Kandidat. Nicht mehr. Bis zur Bedside-Performance liegt ein Weg, der retrospektive Validierung, prospektive Studien, Subgruppen-Analyse und Post-Market-Monitoring umfasst.
Die Zahlen, die in Presseberichten auftauchen, kommen selten aus dieser Kaskade. Sie kommen aus dem ersten Schritt. Das zu wissen, ändert, wie man sie liest.
KI hat enormes Potenzial in der klinischen Versorgung. Aber das Potenzial realisiert sich nicht durch bessere Modelle allein. Es braucht bessere Evaluation, bessere Kommunikation von Grenzen und Menschen, die wissen, wann sie der Maschine nicht glauben sollten.
Oscar ist Postdoktorand am Else Kröner Fresenius Zentrum für Digitale Gesundheit (TU Dresden) und Mitgründer von Denkmal.