Context Card
Warum eine nachgebaute Oberfläche keine Testgrenze ist
Was macht einen Testaufbau für einen KI-Agenten isoliert – eine nachgebaute Oberfläche oder eine durchgesetzte Grenze?
Die kurze Antwort
Eine Testgrenze für einen KI-Agenten ist die Summe der durchgesetzten Beschränkungen für alles, was ein Lauf erreichen kann: Werkzeuge, Netzziele, Anmeldedaten, Dateipfade und Weiterleitungen. Eine nachgebaute oder simulierte Weboberfläche verändert nur, was das Modell sieht, und ist ein Element dieser Grenze, nicht die Grenze selbst. Erreicht der Lauf beim Ausfall der Kopie weiterhin den echten Dienst, ist er nicht isoliert.
Für: Entwicklung und technische Redaktion bei KI-Agententests
Das Wichtigste
- Eine Testgrenze wird außerhalb des Modells durchgesetzt, nicht durch die Formulierung der Aufgabe.
- Eine Anweisung wie "nur ausfüllen, nicht absenden" ist eine Erwartung, keine Beschränkung.
- Fällt eine Übungsseite aus, sollte das Werkzeug einen Fehler liefern und nicht auf den echten Dienst ausweichen.
- Auch scheinbar lesende Zugriffe können beim Zielsystem Wirkungen auslösen.
- Was die Grenze blockiert hat, gehört in die Testaufzeichnung.
Der Zusammenhang
Was die Grenze umfassen muss
Ein Lauf in der Evaluation gibt einem Modell Aufgaben und Werkzeuge und zeichnet auf, was geschieht. Eine nachgebaute Formularseite verändert die Oberfläche, auf der das Modell arbeitet. Die Grenze ist etwas anderes: die Liste der Ziele, die der Lauf im Netzwerk erreichen darf, die aufrufbaren Werkzeuge, die vorhandenen Anmeldedaten, die beschreibbaren Pfade sowie der Umgang mit Weiterleitungen und Kurzlinks, die eine Anfrage auf ein Ziel lenken können, das niemand freigegeben hat. Der Aufgabentext gehört nicht zu dieser Grenze: "Formular ausfüllen, vor dem Absenden stoppen" beschreibt eine Erwartung; ohne durchsetzende Schicht verhindert nichts das Absenden.
Entscheidend ist der Fehlerfall. Ist eine Übungskopie nicht verfügbar oder eine Sitzung geschlossen, sollte das Werkzeug einen Fehler zurückgeben. Ein Ausweichen auf eine vergleichbare Seite ist der Weg, auf dem eine Testaufgabe bei einem echten Dienst landet.
"Nur lesend" ist keine Grenze
Das Sperren schreibender Methoden verkleinert die Angriffsfläche, garantiert aber nichts. Eine scheinbar lesende Anfrage kann bei einem Dienst mit Softwarefehler oder ungewöhnlichem Entwurf eine Wirkung auslösen: einen Zähler, eine Benachrichtigungsmail, eine Zustandsänderung hinter einem Link. Bei Browserwerkzeugen sagt ein ausgeführter Klick wenig darüber, was der Dienst damit getan hat. Beweiskräftig ist die Antwort des Servers, nicht der Bildschirmabzug.
Ersatzdienste und Testaufzeichnung
Brauchbare Ersatzlösungen sind nachgebildete Zieldienste, Empfänger innerhalb der Testdomäne, freigegebene Schreibziele und Offline-Kopien von Websites, die ein Lauf sonst aufrufen würde. Jede dieser Lösungen muss dieselben Kennungen und Fehlerbilder tragen wie das echte Ziel, sonst misst der Test eine andere Aufgabe.
Eine Testaufzeichnung sollte zeigen, welche Ziele angefragt, welche blockiert wurden und welche Berechtigungen galten. Sie beschreibt das Verhalten einer Konfiguration in den geprüften Fällen; ein Nachweis für künftige Läufe ist sie nicht. Deshalb bleibt die Grenze selbst Gegenstand der Prüfung der Sicherheit und der Änderungskontrolle.
Fragen, die sich daran anschließen
- Kann man dem Modell sagen, im Testbereich zu bleiben?
- Man kann es, und es hilft oft. Eine Anweisung wird aber zusammen mit der gesehenen Seite interpretiert und darf nicht das Einzige sein, was Test und echten Dienst trennt.
- Isoliert ein eigenes Browserprofil einen Lauf?
- Es trennt Cookies und Sitzungen, was nützlich ist. Ziele, ausgehende Verbindungen, Mail, Zahlungen und Dateizugriffe müssen zusätzlich begrenzt werden.
- Was gehört in die Dokumentation eines Agententests?
- Aufgabe, Werkzeuge mit Version, erlaubte Ziele, verwendete Anmeldedaten, blockierte Versuche und erhaltene Antworten. Ohne Antworten zeigt die Aufzeichnung Absichten statt Wirkungen.
Quellen
- Agentic AI – Threats and Mitigations — OWASP GenAI Security Project, 13. Oktober 2026
- Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1 — NIST, 26. Januar 2023
Prüfprotokoll und Änderungen
Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.
Geprüft
Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.