Context Card
Die Herkunft der Trainingsdaten gehört in die Produktakte, nicht nur ins Data-Science-Werkzeug
Warum gehört die Herkunft der Trainingsdaten in die technische Dokumentation eines KI-gestützten Medizinprodukts?
Die kurze Antwort
Weil die Leistung, die ein Produkt angibt, nur so gültig ist wie die Daten, mit denen es trainiert, abgestimmt und getestet wurde. Die KI-VO verlangt Nachweise zur Daten-Governance über Herkunft, Erhebung, Aufbereitung und Prüfung auf Verzerrungen (Art. 10, Anhang IV), und die FDA verlangt mit ihren Partnerbehörden, dass Studienteilnehmer und Datensätze die vorgesehene Patientenpopulation abbilden. Die Herkunft verbindet die angegebene Leistung mit den Daten dahinter.
Für: Data-Science-, Regulatory- und Dokumentationsteams bei KI-gestützten Medizinprodukten
Das Wichtigste
- Herkunft beantwortet: Woher stammt jeder Datensatz, unter welchen Bedingungen wurde er erhoben, wie wurde er aufbereitet?
- Repräsentativität wird an der Zweckbestimmung gemessen: Population, Umfeld, Geräte, die die Daten erzeugt haben.
- Trainings-, Tuning- und Testdaten sind getrennt zu halten, die Testdaten unabhängig.
- Personenbezogene Gesundheitsdaten in Trainingssätzen unterliegen der DSGVO; die Akte nennt die Rechtsgrundlage, nicht die Daten.
- Ein Herkunftsnachweis überdauert das Modell: Er wird gebraucht, um eine spätere Leistungsdrift zu erklären.
Der Zusammenhang
Was Herkunft hier bedeutet
Content Provenance und Data Lineage beschreiben, woher etwas stammt und wie es umgeformt wurde. Bei Trainingsdaten eines Medizinprodukts heißt das je Datensatz: die Quelle (Standorte, Register, frühere Studien), der Zeitraum, die erfassenden Geräte und Protokolle, die Ein- und Ausschlusskriterien, der Annotationsprozess und wer annotiert hat, die Aufbereitungsschritte und die Aufteilung in Trainings-, Tuning- und Testdaten. W3C PROV bietet ein Vokabular für solche Nachweise.
Warum sie in die Akte gehört
Art. 10 KI-VO verlangt für Hochrisiko-KI-Systeme eine Daten-Governance: Gestaltungsentscheidungen, Erhebungsverfahren und Herkunft, Aufbereitung, Annahmen, Verfügbarkeit und Eignung, Prüfung auf mögliche Verzerrungen und Maßnahmen zu ihrer Erkennung und Korrektur. Anhang IV verlangt die Datenanforderungen und Datenblätter in der technischen Dokumentation. Die Good-Machine-Learning-Practice-Prinzipien von FDA, Health Canada und MHRA (2021) verlangen, dass Datensätze die vorgesehene Patientenpopulation abbilden und Trainings- und Testdaten unabhängig sind.
Die Repräsentativität wird an der Zweckbestimmung gemessen: Ein Modell, das mit Daten Erwachsener trainiert wurde, trägt keine Aussage für Kinder; Bilder eines Scannertyps tragen keine Aussage für alle Scanner.
Was die Technische Redaktion daraus mitnimmt
Die Gebrauchsanweisung nennt die Population und die Bedingungen, für die das Produkt validiert wurde, und die Grenzen, die aus den Daten folgen. Diese Aussagen müssen auf den Herkunftsnachweis zurückverweisen – sonst macht die Gebrauchsanweisung eine Aussage, die die Akte nicht trägt (siehe Grenzen eines Modells dokumentieren).
Was diese Karte nicht sagt
Sie entscheidet nicht, welche Daten für ein Produkt genügen. Das ist eine Frage der klinischen Bewertung und der Prüfung durch die benannte Stelle.
Fragen, die sich daran anschließen
- Müssen die Trainingsdaten in die technische Dokumentation?
- Nein. Die Akte enthält die Beschreibung der Daten und ihrer Governance – Herkunft, Merkmale, Aufbereitung, Aufteilung, Prüfung auf Verzerrungen –, nicht die Daten selbst.
- Genügt ein öffentlicher Datensatz als Herkunftsnachweis?
- Name und Version sind ein Anfang. Die Akte braucht auch, was der Datensatz enthält, wie er erhoben und annotiert wurde und ob er die vorgesehene Population abbildet.
Quellen
- Regulation (EU) 2024/1689 (Artificial Intelligence Act) — EUR-Lex, 12. Juli 2024Geltendes Recht: Verbindliches Recht, das zum Prüfdatum gilt.
- Good Machine Learning Practice for Medical Device Development: Guiding Principles — FDA, Health Canada and MHRA, 27. Oktober 2021Finale Leitlinie: Von einer Behörde oder einem offiziellen Gremium final veröffentlichte Leitlinie. Sie erläutert das Recht, ist aber selbst kein Recht.
- Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations (draft guidance) — U.S. Food and Drug Administration, 7. Januar 2025Leitlinienentwurf: Ein Entwurf zur Konsultation. Er kann sich noch ändern und ist nicht wie der finale Text zu behandeln.
- Regulation (EU) 2016/679 (General Data Protection Regulation) — EUR-Lex, 4. Mai 2016Geltendes Recht: Verbindliches Recht, das zum Prüfdatum gilt.
Prüfprotokoll und Änderungen
Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.
Geprüft
Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.