Context Card
Erklärbarkeit und Handlungstraceability
Was unterscheidet Erklärbarkeit von der Nachvollziehbarkeit tatsächlicher Handlungen?
Die kurze Antwort
Erklärbarkeit ist die Eigenschaft eines KI-Systems, die wesentlichen Einflussfaktoren eines Ergebnisses für Menschen verständlich darzustellen. Handlungstraceability ist die aufgezeichnete Kette von Auslöser und Evidenz über Richtlinienentscheidung, Freigabe und ausgeführte Änderung bis zum validierten Ergebnis. Bei Agenten, die produktive Systeme verändern, bleibt eine Erklärung ohne passenden Handlungsnachweis eine Erzählung.
Für: KI-Governance, Betrieb und Technische Dokumentation
Das Wichtigste
- Erklärbarkeit betrifft das Modellergebnis, Traceability die Handlung des Systems.
- Eine erzeugte Erklärung ist selbst eine Modellausgabe und kein Ausführungsnachweis.
- Ein Handlungsnachweis verbindet Beobachtung, Richtlinienentscheidung, Umfang, Reversibilität, Ergebnis und menschlichen Eingriff.
- Beobachtbarkeitsdaten sind das Rohmaterial, die Handlungskette die dokumentierte Struktur.
- Beides ist nötig: Erklärung macht prüfbar nachvollziehbar, der Nachweis macht belegbar.
Der Zusammenhang
Zwei verschiedene Fragen
Erklärbarkeit beantwortet das Warum: welche Eingaben, Merkmale oder abgerufenen Dokumente ein Ergebnis beeinflusst haben — global für ein Modell oder lokal für einen Einzelfall. Handlungstraceability beantwortet, was geschehen ist: welche Beobachtung einen Schritt ausgelöst hat, welche Regel oder Richtlinie ihn erlaubte, welches Werkzeug mit welchen Parametern aufgerufen wurde, wer freigegeben hat, was sich geändert hat, ob die Änderung reversibel war und ob das Ergebnis verifiziert wurde.
Die Unterscheidung ist entscheidend, weil die Erklärung eines Agenten von demselben probabilistischen System stammt, das gehandelt hat. Eine sprachlich überzeugende Zusammenfassung kann einen Grund nennen, der nie wirksam war. Befragungen zur Verbreitung agentenbasierter KI zeigen regelmäßig beides: mehr Handlungsspielraum in produktiven Umgebungen und gleichzeitig höhere Erwartungen an Erklärungen — erfüllbar nur, wenn Erklärung und Nachweis dasselbe Ereignis betreffen.
Die Handlungskette aufbauen
Das Rohmaterial liefert die Beobachtbarkeit: Logs, Metriken und Traces, aus denen sich der innere Zustand eines laufenden Systems erschließen lässt. Zum Nachweis wird es erst durch Struktur. Brauchbare Handlungsnachweise erhalten die auslösende Evidenz, die Kennung der erlaubenden Richtlinie, Umfang und Reversibilität der Änderung, das validierte Ergebnis, den Eskalationsweg bei unerwarteter Wirkung sowie jede menschliche Überschreibung und Rücknahme. Die Protokollierung sollte nur anfügbar oder anderweitig gegen nachträgliche Veränderung geschützt sein, denn ein Agent, der seinen eigenen Nachweis ändern kann, entzieht der Prüfung die Grundlage. Änderungen an Rechten, Prompts und Werkzeugen gehören in die Änderungssteuerung, damit eine vergangene Handlung gegen die damals wirksame Konfiguration rekonstruierbar bleibt.
Woher die Anforderungen kommen
Stand September 2026 verlangt die KI-Verordnung für Hochrisikosysteme die technische Möglichkeit automatischer Ereignisaufzeichnung über die Lebensdauer (Artikel 12); Transparenzpflichten betreffen Informationen für Nutzer und Betreiber, nicht erzeugte Selbsterklärungen. Managementsystem- und Risikorahmen wie ISO/IEC 42001 und das NIST AI RMF zielen in dieselbe Richtung: dokumentierte Nachvollziehbarkeit von Entscheidungen und Handlungen. Solche Nachweise zu führen ist eine Governance-Aufgabe und macht ein System nicht automatisch transparent, sicher oder konform.
Fragen, die sich daran anschließen
- Ist eine vom Modell erzeugte Erklärung wertlos?
- Nein, sie hat eine andere Rolle. Sie hilft beim Bilden einer Hypothese und bei der Kommunikation mit Nutzern. Ein Ausführungsnachweis ist sie nicht; sie muss zusammen mit dem Handlungsprotokoll gelesen werden.
- Wie detailliert muss ein Handlungsnachweis sein?
- So detailliert, dass die Kette einer Handlung rekonstruierbar ist: Auslöser, Evidenz, erlaubende Richtlinie, Parameter, Freigabe, Änderung, Ergebnis. Die Tiefe folgt meist Reversibilität und Reichweite der Handlung.
- Wer liest solche Nachweise?
- Zuerst Betrieb und Incident Response, dann interne Revision, Safety- oder Qualitätsfunktionen und in regulierten Bereichen externe Prüfer. Die Dokumentation sollte Aufbewahrungsfrist und verantwortliche Stelle nennen.
Quellen
- EU AI Act Article 12: Record-Keeping — euaiact.com, 29. September 2026
- Artificial Intelligence Risk Management Framework (AI RMF 1.0) — NIST, 26. Januar 2023
- ISO/IEC 42001 explained: what it is — ISO, 29. September 2026
Prüfprotokoll und Änderungen
Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.
Geprüft
Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.