Context Card
Die Grenzen eines Modells dokumentieren: was die Gebrauchsanweisung eines KI-Produkts sagen muss
Wie sollten die Grenzen eines KI-Modells für die Anwender eines Medizinprodukts dokumentiert werden?
Die kurze Antwort
Als Sicherheitsinformation, gebunden an Evidenz: die Population und die Bedingungen, für die das Modell validiert wurde, die angegebene Leistung mit ihrer Unsicherheit, bekannte Fehlerarten und Eingaben, für die es nicht gebaut ist, und was der Anwender prüfen oder tun muss. Die KI-VO verlangt Fähigkeiten, Grenzen und Genauigkeit in der Gebrauchsanweisung (Art. 13), die MDR verlangt Restrisiken und Kontraindikationen, und die Transparenzprinzipien von FDA, Health Canada und MHRA von 2024 ergänzen, wer welche Information wann braucht.
Für: Technische Redaktion, Gebrauchstauglichkeit und Regulatory Affairs bei KI-gestützten Medizinprodukten
Das Wichtigste
- Eine Grenze ist eine Aussage über eine Version, belegt durch Validierungsnachweise.
- Population und Bedingungen der Validierung nennen, nicht nur die Zielpopulation.
- Die Leistung mit ihrer Unsicherheit und dem gemessenen Maß angeben.
- Eingaben beschreiben, für die das Modell nicht gebaut ist, und was das Produkt mit ihnen macht.
- Dem Anwender sagen, was er prüft und wann er sich nicht auf die Ausgabe verlassen darf – das ist menschliche Aufsicht in der Gebrauchsanweisung.
Der Zusammenhang
Wohin Grenzen gehören
- Die Gebrauchsanweisung nach KI-VO (Art. 13 Abs. 3) enthält Merkmale, Fähigkeiten und Leistungsgrenzen, das Maß der Genauigkeit und seine Kennzahlen, bekannte Umstände, die zu Risiken führen können, gegebenenfalls die Leistung für bestimmte Gruppen und die Maßnahmen der menschlichen Aufsicht.
- Die Anforderungen der MDR an Kennzeichnung und Gebrauchsanweisung (Anhang I Kapitel III) umfassen Restrisiken, Kontraindikationen, Warnhinweise und Vorsichtsmaßnahmen sowie die Leistungsmerkmale.
- Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles (FDA, Health Canada, MHRA, 13. Juni 2024) fragt, wer die Information braucht, warum, was, wo, wann und wie – vom Etikett bis zur Bedienoberfläche.
Bei einem Produkt, das ein Hochrisiko-KI-System ist, landen diese Anforderungen in einer Gebrauchsanweisung.
Ein Muster für eine Grenze
- Validierungsumfang – „Validiert an Röntgenaufnahmen des Thorax Erwachsener (ab 18 Jahren) von stationären digitalen Radiographiesystemen.“
- Angegebene Leistung – Kennzahl, Wert, Konfidenzintervall, der Datensatz, an dem gemessen wurde.
- Bekannte Fehlerarten – Eingaben außerhalb des Umfangs (Kinder, mobile Systeme, Aufnahmen mit Implantaten) und was das Produkt dann tut: warnen, ablehnen oder eine Ausgabe liefern, auf die man sich nicht verlassen darf.
- Was der Anwender tut – prüfen, bestätigen, übersteuern; wer entscheidet.
- Verweis auf die Evidenz – der Validierungsbericht und die Risikokontrolle, die die Aussage umsetzt.
Was eine Grenze nicht ist
Ein Hinweis, die Ausgabe „könne ungenau sein“, ist keine Grenze; er sagt dem Anwender nichts, wonach er handeln kann. Eine Model Card ist eine nützliche Quelle, aber für Entwickler geschrieben; die Gebrauchsanweisung übersetzt sie für den klinischen Anwender und die betreibende Organisation.
Wenn sich Grenzen ändern
Ein Modellupdate kann die Grenzen ändern. Die Gebrauchsanweisung jeder Produktversion beschreibt die Grenzen dieser Version (siehe Modell-, Software- und Produktversionen); eine nach dem Inverkehrbringen beobachtete Drift kann eine Grenze nötig machen, die die Validierung nicht gezeigt hat.
Fragen, die sich daran anschließen
- Genügt ein allgemeiner Haftungshinweis?
- Nein. Anwender brauchen konkrete Grenzen, nach denen sie handeln können: wo das Modell validiert wurde, was es mit anderen Eingaben macht und was sie prüfen müssen.
- Gehören Grenzen auch in die Bedienoberfläche?
- Oft ja. Die Transparenzprinzipien von 2024 nennen die Bedienoberfläche als Ort für Informationen, die das Patientenrisiko betreffen; Gebrauchsanweisung und Oberfläche müssen dasselbe sagen.
Quellen
- Regulation (EU) 2024/1689 (Artificial Intelligence Act) — EUR-Lex, 12. Juli 2024Geltendes Recht: Verbindliches Recht, das zum Prüfdatum gilt.
- Regulation (EU) 2017/745 on medical devices (MDR) — EUR-Lex, 5. Mai 2017Geltendes Recht: Verbindliches Recht, das zum Prüfdatum gilt.
- Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles — FDA, Health Canada and MHRA, 13. Juni 2024Finale Leitlinie: Von einer Behörde oder einem offiziellen Gremium final veröffentlichte Leitlinie. Sie erläutert das Recht, ist aber selbst kein Recht.
- Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations (draft guidance) — U.S. Food and Drug Administration, 7. Januar 2025Leitlinienentwurf: Ein Entwurf zur Konsultation. Er kann sich noch ändern und ist nicht wie der finale Text zu behandeln.
Prüfprotokoll und Änderungen
Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.
Geprüft
Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.