Kann der Agent seine eigenen Überschreitungen melden?

Er kann helfen, ist aber keine Kontrolle: Ein gekaperter oder falsch konfigurierter Agent erkennt oder meldet womöglich nicht, was er getan hat. Die Erkennung läuft außerhalb des Agenten, an Gateway, Plattform und angebundenen Systemen.

Wie lange sollten Traces aufbewahrt werden?

Lange genug für Nachbetrachtungen und Meldungen und im Einklang mit dem Datenschutz. Für Hochrisiko-KI-Systeme bewahren Betreiber Protokolle nach Art. 26 Abs. 6 KI-Verordnung mindestens sechs Monate auf; andere Regeln können mehr verlangen.

Sind Köder-Tokens in der OT erlaubt?

Ja, auf der IT-Seite der OT – in Engineering-, Historian- oder MES-Systemen –, aber nie als Signal, das eine Steuerung oder eine Sicherheitsfunktion liest.

Alle Context Cards

Context Card

Erkennen, dass ein KI-Agent seine Grenze überschreitet

Woran merkt man, dass ein KI-Agent etwas getan hat, das er nicht durfte – bevor es Kunden, Bedienpersonal oder der Monatsbericht merken?

Von knowledge.aitechdoc.world

Geprüft 21. Oktober 2026

Prüfprotokoll und Änderungen

Die kurze Antwort

Eine Grenzüberschreitung zeigt sich darin, was der Agent getan hat, nicht darin, wie gut seine Ergebnisse aussehen. Signale sind abgelehnte Werkzeugaufrufe, ungewöhnliche Mengen, Ziele oder Zeiten, Aktionen, die nicht zum erklärten Auftrag passen, und berührte Köder-Tokens – sichtbar nur, wenn jeder Lauf aufgezeichnet wird. In der OT und an Maschinen kommen Signale aus dem Prozess hinzu, aber Alarme zu Agenten ersetzen nie die Prozessalarme.

Für: Entwicklung von Dokumentationssystemen, technische Projektleitung und Betriebsteams, die KI-Agenten betreiben

Das Wichtigste

Gute Ergebnisse beweisen nichts: Ein Agent kann ein gutes Ergebnis über eine verbotene Aktion erreichen.
Der Agenten-Trace mit jedem Werkzeugaufruf ist die Grundlage der Erkennung.
Abgelehnte Aufrufe, Mengensprünge, neue Ziele und Aktionen außerhalb des erklärten Auftrags sind die stärksten Signale.
Köder-Tokens liefern Alarme fast ohne Fehlalarme.
In der OT und an Maschinen bleiben Prozessalarme das wichtigste Signal für das Bedienpersonal; Alarme zu Agenten kommen hinzu, sie ersetzen nichts.

Der Zusammenhang

Ergebnisse verdecken den Weg

Ein Agent, der liefert, was verlangt war, wirkt gesund. Ob er einen verbotenen Ordner gelesen, einen neuen Empfänger angeschrieben oder einen Datensatz außerhalb seines Auftrags geändert hat, zeigt nur sein Agenten-Trace – die Aufzeichnung jedes Werkzeugaufrufs, jedes Parameters, jeder Ablehnung und Freigabe. Erkennung beginnt mit der Aufzeichnung; ohne sie findet man eine Überschreitung erst an ihrem Schaden.

Signale, auf die es ankommt

Signal	Was es bedeuten kann	Wo es sich zeigt
Abgelehnte Werkzeugaufrufe	Der Agent versucht, seine Positivliste zu verlassen	Gateway, Plattformprotokoll
Mengensprünge	Massenänderungen, Massennachrichten, flottenweite Befehle	Trace, Transaktionsprotokolle, Geräte-Cloud
Neue Ziele	Neue Empfänger, Systeme, Gerätegruppen oder Tags	Trace, Mail- und API-Protokolle
Aktionen außerhalb des Auftrags	Ein gekapertes Ziel oder eine missverstandene Anweisung	Trace im Vergleich mit dem erklärten Auftrag
Berührte Köder-Tokens	Zugriff über den Auftrag hinaus	Köder-Datensätze, -Schlüssel oder -Dokumente
Langsame Verschiebung der Muster	Ein abtrünniger Agent oder eine geänderte Konfiguration	Normalverhalten, Anomalieerkennung

Je Systemtyp

IT-Systeme: Beobachten Sie Transaktionszahlen je Agentenidentität in ERP und CRM, ausgehende Mails, Löschungen in Repositories und Cloud-Konsolen sowie Statuswechsel im CCMS.
IoT-Flotten: Beobachten Sie die Größe von Befehlspaketen, Rollout-Wellen und Einstellungen außerhalb des üblichen Bereichs; ein Köder-Gerät im Geräteverzeichnis fängt das Durchzählen ab.
OT: Beobachten Sie Schreibzugriffe am Conduit und Änderungen in Historian und MES; Prozessalarme und Alarmmanagement bleiben das wichtigste Signal für das Bedienpersonal.
Maschinen und Roboter: Beobachten Sie Programm- und Parameteränderungen und Aufträge an das Flottenmanagement; die eigene Überwachung und die Sicherheitsfunktionen der Maschine wirken unabhängig von jedem Alarm zu Agenten.

Standards und Reifegrad

Agentenplattformen bringen eigene Traces mit. OpenTelemetry entwickelt semantische Konventionen für generative KI, damit Traces werkzeugübergreifend lesbar werden; ihr Status ist im Oktober 2026 „Development“. Die agentischen Top 10 von OWASP empfehlen Verhaltensüberwachung gegen abtrünnige Agenten. NIST SP 800-61 Rev. 3 ordnet die Erkennung der CSF-2.0-Funktion Detect zu.

Den Gesamtzusammenhang zeigt die Pathway-Map zu Grenzüberschreitungen von KI-Agenten.

Fragen, die sich daran anschließen

Kann der Agent seine eigenen Überschreitungen melden?: Er kann helfen, ist aber keine Kontrolle: Ein gekaperter oder falsch konfigurierter Agent erkennt oder meldet womöglich nicht, was er getan hat. Die Erkennung läuft außerhalb des Agenten, an Gateway, Plattform und angebundenen Systemen.
Wie lange sollten Traces aufbewahrt werden?: Lange genug für Nachbetrachtungen und Meldungen und im Einklang mit dem Datenschutz. Für Hochrisiko-KI-Systeme bewahren Betreiber Protokolle nach Art. 26 Abs. 6 KI-Verordnung mindestens sechs Monate auf; andere Regeln können mehr verlangen.
Sind Köder-Tokens in der OT erlaubt?: Ja, auf der IT-Seite der OT – in Engineering-, Historian- oder MES-Systemen –, aber nie als Signal, das eine Steuerung oder eine Sicherheitsfunktion liest.

Quellen

OWASP Top 10 for Agentic Applications for 2026 — OWASP GenAI Security Project, 9. Dezember 2025
Semantic conventions for generative AI systems — OpenTelemetry
NIST SP 800-61 Rev. 3: Incident Response Recommendations and Considerations for Cybersecurity Risk Management — NIST, 3. April 2025

Prüfprotokoll und Änderungen

Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.

Geprüft 21. Oktober 2026

Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.

Glossarbegriffe dieser Card

Die Glossare erscheinen auf US-Englisch.

Agent trace
Deutsch: Agenten-Trace
An agent trace is the structured, time-stamped record of one AI agent run: the task and its origin, the model and configuration, each reasoning step the platform exposes, every tool call with its parameters and result, the approvals requested and given, and the final output — linked so that the run can be reconstructed afterwards.
Canary token
Deutsch: Köder-Token
A canary token is a decoy — a fake credential, document, record, URL or device entry that no legitimate process ever uses — placed so that any access to it raises an alert, revealing an intruder or an AI agent that is reaching beyond its task.
Anomaly detection
Deutsch: Anomalieerkennung
In industrial data analytics, anomaly detection is the identification of data points, patterns or time periods that deviate significantly from expected or learned normal behavior. Methods range from fixed limits and statistical tests to unsupervised machine learning models.
Security monitoring
Deutsch: Sicherheitsüberwachung
In cybersecurity, security monitoring is the continuous collection and analysis of logs, network traffic and system states to detect attacks, policy violations and anomalies in time to respond. In OT, it covers industrial networks, controllers, HMIs and remote access paths.
Rogue agent (AI)
Deutsch: Abtrünniger Agent
A rogue agent is an AI agent that keeps acting outside its intended purpose or authority over time — because it was compromised, misconfigured or has drifted — while still appearing legitimate to the systems it uses.
Agent goal hijack
Deutsch: Kapern des Agentenziels
Agent goal hijack is an attack in which content or instructions an AI agent processes change what the agent is trying to achieve — its objective, its plan or its choice of tasks — so that it pursues the attacker’s goal with its own legitimate tools and permissions.
Tool allowlist (AI agent)
Deutsch: Werkzeug-Positivliste
A tool allowlist is the explicit list of tools, functions, MCP servers and parameter ranges an AI agent is permitted to call; every call that is not on the list is refused and logged, instead of being allowed until someone forbids it.
AI interaction log
Deutsch: KI-Interaktionsprotokoll
In AI governance, an AI interaction log is a record of exchanges with an AI system — the prompt or input, the system, model and version identifiers, the returned output, and what a human then did with it — kept so that a later reader can reconstruct how an output came about. It is the evidence layer beneath review and sign-off: without it, a claim that a model version was checked or an output was approved cannot be substantiated. Scope, retention and access have to be defined deliberately, because such logs often contain confidential input, customer data and personal data. In EU law the artifact appears not under this name but as the "logs" that high-risk AI systems must be able to record automatically, and that providers and deployers must keep.
OpenTelemetry
In software operations, OpenTelemetry (OTel) is a vendor-neutral open-source observability framework of the Cloud Native Computing Foundation (CNCF) that defines APIs, SDKs, semantic conventions, a data protocol (OTLP) and a Collector for generating, processing and exporting telemetry such as traces, metrics and logs.