Validation reicht nicht mehr
Ein Skalpell liegt auf dem Regal, bis man es braucht. Ein KI-Modell lernt dazu, driftet, passt sich an und fällt dabei durch jedes Raster, das für statische Medizinprodukte gebaut wurde. Warum das EU-Zulassungssystem für adaptive KI grundlegend neu gedacht werden muss.
Artikel 1 der europäischen Medizinprodukteverordnung benennt das Ziel klar: Patientensicherheit. Dazu hat Europa über Jahrzehnte ein umfassendes System aufgebaut: Risikoklassen, Konformitätsbewertung, CE-Kennzeichnung, Post-Market-Surveillance. Das System funktioniert. Es hat Skandale verhindert, Standards gesetzt, Vertrauen aufgebaut.
Und es hat ein fundamentales Problem: Es wurde für ein Skalpell entworfen.
Ein Skalpell hat einen definierten Zweck. Es liegt auf dem Regal, bis jemand es braucht. Es verändert sich nicht. Es lernt nicht. Es driftet nicht. Irgendwann wird es entsorgt. Die regulatorischen Anforderungen, die sich aus diesem Modell ergeben (einmalige Zulassung, definiertes Redesign-Verfahren bei Änderungen, reaktive Post-Market-Überwachung), passen dazu perfekt.
Sie passen nicht zu KI.
Das Adaptivitätsproblem
Ein zugelassenes KI-Modell kann sich auf drei Arten verändern, ohne dass ein Mensch aktiv eingreift.
Die erste ist die offensichtlichste: Funktionserweiterungen wie neue Indikationen, neue Dateneingaben, neue Outputs. Dafür gibt es in den USA seit einigen Jahren das Predetermined Change Control Plan (PCCP), und in der EU ein ähnliches, weniger etabliertes Konzept. Das ist ein Schritt in die richtige Richtung.
Die zweite ist heikler: Site-Adaptation und Personalisierung. Ein Modell, das in einer Klinik eingesetzt wird, kann sich an deren Daten anpassen: an Patientenpopulationen, Diagnosegewohnheiten, technische Infrastruktur. Es ist nach sechs Monaten Betrieb nicht mehr dasselbe wie beim ersten Tag. Das heutige Regulierungsmodell behandelt es trotzdem so.
Die dritte ist die gefährlichste: Performance-Degradation. Ein Modell, das bei der Zulassung auf historischen Daten valide performt hat, kann im Echtbetrieb schlechter werden, etwa durch Sample Drift (neue Daten passen nicht mehr zum Training), Guideline-Änderungen oder Geräte-Updates. Ohne kontinuierliches Monitoring merkt man das oft erst, wenn Schaden entstanden ist.
Was Post-Market-Surveillance heute leistet und was nicht
Man könnte einwenden: Es gibt doch Überwachungspflichten nach der Zulassung. Stimmt. Hersteller müssen Daten sammeln, regelmäßig berichten, ein Qualitätsmanagementsystem betreiben.
Das Problem: Diese Daten werden nicht wirklich genutzt. Sie werden nicht systematisch ausgewertet. Sie fließen nicht in regulatorische Entscheidungen ein. Und sie werden nicht genutzt, um das Gerät selbst kontinuierlich zu verbessern. Die Post-Market-Surveillance ist im heutigen System ein Compliance-Instrument, kein Lernmechanismus.
Das ist der Kern der Kritik: Nicht, dass das System zu streng wäre. Sondern dass es an der falschen Stelle ansetzt.
Von Validation zu Continuous Assurance
Die These, an der ich in meiner Forschungsgruppe am EKFZ Dresden arbeite: Validation allein reicht nicht mehr. Die Idee, ein Gerät einmal zu prüfen, zu zertifizieren und dann laufen zu lassen, ist für adaptive Systeme konzeptuell falsch, nicht schlecht ausgeführt, sondern falsch angesetzt.
Was stattdessen gebraucht wird, ist Continuous Assurance: ein Regime, das aus dem Betrieb selbst lernt, Drift-Signale erkennt, Subgruppen-Performance monitort und diese Erkenntnisse systematisch an Hersteller und Regulierungsbehörden zurückspielt.
Das ist kein Science-Fiction. Ein Großteil der dafür benötigten Daten wird heute schon gesammelt, er wird nur nicht genutzt. Kliniken erfassen Outcomes, Fehlerraten, Nutzungsverhalten. Was fehlt, ist die regulatorische Infrastruktur, die daraus eine kontinuierliche Feedbackschleife macht.
Ein konkreter Baustein: das Broad GlossarModel CardSteckbrief eines Modells (Fähigkeiten, Grenzen, Risiken).Zum Eintrag ↗-Konzept, an dem unser Forschungsteam gerade arbeitet. Es erweitert die bekannten Model Cards (die auch die FDA empfiehlt) auf Systeme, die theoretisch tausende Diagnosen abdecken können, und kommuniziert Leistung nicht als Durchschnitt, sondern granular über den gesamten Krankheitsatlas. Was ein System für innere Medizin gut kann, kann es für seltene Erkrankungen gar nicht können. Das muss sichtbar sein.
Was die MDR 2.0 bringt und was offen bleibt
Die Europäische Kommission hat einen Reformvorschlag auf den Tisch gelegt. Die MDR 2.0 ist das ernsthafteste Überarbeitungsvorhaben seit Jahren: Sie versucht die Doppelregulierung durch AI Act und MDR zu entflechten, überarbeitet Geräteklassen und klinische Evidenzanforderungen, und enthält das Konzept eines regulatorischen Sandboxes.
Das sind reale Verbesserungen. Aber der Vorschlag adressiert drei Kernprobleme nicht:
Er schließt nicht die Lücke zwischen MDR und AI Act. Die Fragmentierung bleibt bestehen. Hersteller navigieren weiter durch zwei Regime, die nicht aufeinander abgestimmt sind.
Er ignoriert kontinuierlich lernende Systeme. Open Learning, Continuous Learning, adaptives Training nach Deployment: all das kommt nicht vor.
Er hat kein Konzept für Agentische KI. Systeme, die autonom entscheiden, welche Tools sie einsetzen, die in mehrere Workflowpunkte eingreifen, die nicht mehr als einzelne zweckgebundene Geräte beschreibbar sind: Das Regulierungsmodell kennt sie schlicht nicht.
Ein Lichtblick: die Krankenhäuser
Es gibt einen interessanten Ansatz in der Reform: Krankenhäuser sollen mehr Raum bekommen, eigene Systeme zu entwickeln, ähnlich wie es für In-vitro-Diagnostika heute schon möglich ist (Artikel 5(5) MDR). Kolleginnen aus den Niederlanden und unser Team in Dresden arbeiten daran, diesen Weg systematisch auszubauen.
Das ist kein Allheilmittel. Aber es schafft Räume für Innovation innerhalb eines kontrollierten Rahmens: mit Qualitätssystem, ohne Notified-Body-Beteiligung, mit enger Kopplung an die klinische Praxis, die regulierte Geräte oft nicht haben.
Was bleibt
Das Regulierungssystem ist nicht kaputt. Seine Kernprinzipien sind solide. Aber es war für eine Welt statischer Geräte entworfen. KI ist das Gegenteil davon.
Die Richtung ist klar: weg von einmaliger Validation, hin zu kontinuierlicher Überwachung. Weg von reaktiver Post-Market-Surveillance, hin zu einem GlossarClosed LoopSystem, das aus seinen Ergebnissen lernt (Aktion → Messung → Insight → Aktion).Zum Eintrag ↗-System, das aus Echtbetrieb lernt. Und weg von einem Regulierungsmodell, das Agentische KI schlicht nicht kennt.
Wie schnell das geht, hängt nicht nur von der EU ab. Es hängt auch davon ab, ob Hersteller in Europa bleiben, statt den Weg nach Amerika zu wählen, und gemeinsam an besseren Lösungen arbeiten. Am Ende schützt nur ein System, das mit der Technik mitwächst, und das entsteht nicht von allein.
Oscar ist Postdoktorand am Else Kröner Fresenius Zentrum für Digitale Gesundheit (TU Dresden) und forscht zur Regulierung und Implementierung von KI als Medizinprodukt. Er ist Mitgründer von Denkmal.