Von einem funktionierenden KI-Modell zum Produkt mit CE-Kennzeichnung oder FDA-Marktzugang.

Aus einem Forschungsmodell soll ein Medizinprodukt werden

Ein Startup hat ein Modell, das Auffälligkeiten in medizinischen Bildern findet, trainiert mit Forschungsdaten. Jetzt braucht es einen produktiven Inferenzdienst, die Integration ins Krankenhaus und die Dokumentation für die EU MDR oder die FDA, je nach Markt.

Wir stellen die eingefrorene Modellversion als Inferenzdienst bereit und binden sie über DICOM an das PACS an. Die Ergebnisse lassen sich an der Befundungsstation anzeigen. Außerdem richten wir ein Modellregister ein und versionieren die Datensätze. Wir verifizieren das Modell anhand zurückgehaltener Testdaten, getrennt nach Scanner und Patientengruppe. Die Software dokumentieren wir gemäß IEC 62304.

Ihre klinischen Partner führen die klinischen Leistungsstudien durch. Wir liefern die Leistungsnachweise des eigenständig getesteten Modells und die zugehörigen Aufzeichnungen als Grundlage.

Ein freigegebenes Modell nachtrainieren, ohne jede Änderung neu einzureichen

Ein KI-Diagnostikprodukt verfügt über eine FDA-Freigabe und eine CE-Kennzeichnung. Das Modell soll regelmäßig nachtrainiert werden.

Ein vorab festgelegter Change-Control-Plan (PCCP) beschreibt die geplanten Änderungen und deren mögliche Folgen. Er legt außerdem fest, wie Retraining, Verifizierung und Freigabe ablaufen. Unsere FDA-Berater erstellen den Plan nach dem entsprechenden FDA-Leitfaden. Unsere Entwickler bauen die Pipeline, die den Plan umsetzt. In der EU meldet der Hersteller geplante Änderungen am zertifizierten Produkt der Benannten Stelle. Diese entscheidet, ob sie die Änderungen vor dem Release genehmigen muss. Für jede Änderung gelten außerdem die jeweiligen Vorgaben der EU MDR. Nach der KI-Verordnung gelten vorab festgelegte und dokumentierte Änderungen nicht als wesentliche Änderung. Voraussetzung ist, dass der Anbieter sie bereits bei der ersten Konformitätsbewertung festgelegt hat. In den USA reicht der Hersteller den Plan für ein bereits freigegebenes Produkt mit einer neuen Einreichung (Marketing Submission) ein. Nach der Genehmigung sind für Änderungen innerhalb des genehmigten Plans keine neuen Einreichungen erforderlich. Voraussetzung ist, dass der Hersteller das genehmigte Änderungsprotokoll einhält.

Radiologie-KI im klinischen Einsatz überwachen

Eine Radiologie-KI läuft seit zwei Jahren in mehreren Krankenhäusern. Ihre Leistung soll auch nach dem Inverkehrbringen vorschriftsgemäß überwacht werden.

Wir protokollieren jede Inferenz mit Modellversion und Aufnahmemetadaten, jedoch ohne Patientenkennungen. Dabei halten wir die mit dem Krankenhaus vereinbarten Regeln für Aufbewahrung und Zugriff ein. Wir messen die Leistung anhand von Fällen mit unabhängigen Referenzergebnissen, etwa konsentierten Befunden, pathologischen Befunden oder Verlaufskontrollen. Einen Abschlussbefund verwenden wir nur dann als Referenz, wenn der Befunder die Modellausgabe nicht gesehen hat. Zwischen diesen Messungen beobachten wir, ob sich Eingaben und Ausgaben verändern. Drift, Leistung nach Patientengruppe und Override-Raten vergleichen wir mit den Referenzwerten des Release. Bei Auffälligkeiten benachrichtigen wir die zuvor namentlich festgelegten Verantwortlichen. Die Ergebnisse dienen der Überwachung nach dem Inverkehrbringen gemäß EU MDR und der Beobachtung nach dem Inverkehrbringen gemäß KI-Verordnung. Für die FDA fließen sie in die Beschwerdebearbeitung und das Medical Device Reporting ein.