Context Card
Vom Verhaltensziel zum Bewertungskriterium
Wie wird aus einer formulierten Verhaltensregel ein Score in einer Modellevaluierung?
Die kurze Antwort
Eine Verhaltensregel wird messbar, wenn sie in benannte Teilverhalten zerlegt wird, jeweils mit Testprompts und einer Rubrik, die festlegt, welche Antwort als regelkonform gilt. Der Score beschreibt dann die Übereinstimmung der geprüften Ausgaben mit dieser Rubrik, für genau diese Modellversion und diesen Promptsatz. Er zeigt nicht, dass die Regel richtig ist oder dass ihre Annahmen zutreffen.
Für: Engineering und Technische Redaktion für KI-Evaluierung
Das Wichtigste
- Policy-Sätze sind erst prüfbar, wenn sie in beobachtbare Teilverhalten zerlegt sind.
- Eine Rubrik macht aus einer Wertaussage eine verifizierbare Anforderung.
- Eine Trefferquote gilt für eine Modellversion, einen Promptsatz und eine Rubrikversion.
- Regelkonformität ist kein empirischer Beweis für die Annahmen der Regel.
- Evaluierungsberichte sollten kennzeichnen, was Sicherheit, Faktentreue oder Policy-Treue misst.
Der Zusammenhang
Die Kette vom Satz zum Score
Ein Satz aus einer Verhaltensrichtlinie ist im Wortlaut nicht prüfbar. Evaluierungsarbeit macht daraus eine Hierarchie: ein benanntes Verhalten, etwa Transparenz über die eigenen Fähigkeiten, darunter Teilverhalten für jeweils einen beobachtbaren Aspekt, Prompts, die die Situation herstellen, und eine Rubrik, die festlegt, welche Antwort als regelkonform zählt. Damit ist der Satz zu einer Anforderung im ingenieurmäßigen Sinn geworden: präzise genug zum Prüfen und rückverfolgbar auf seine Quelle. Bewerten können Menschen, regelbasierte Prüfungen oder ein Modell als Judge – jede Variante hat ihr eigenes Fehlerprofil und ihre eigene Dokumentationspflicht.
Was ein guter Score zeigt
Ein Ergebnis der Evaluierung zeigt, wie sich Stichprobenausgaben einer Modellversion zu einer Rubrik verhalten, unter einem bestimmten Promptsatz. Das ist ein echter Befund – und schmaler, als es wirkt. Er zeigt nicht, dass die Regel sinnvoll ist, dass ihre Prämissen stimmen oder dass das Verhalten außerhalb des Testsatzes stabil bleibt. Ein Score zu einer Regel über die Selbstdarstellung misst, ob das Modell so antwortet, wie die Richtlinie es verlangt; über die inneren Zustände, die die Richtlinie behauptet oder bestreitet, entscheidet er nichts.
Ergebnisarten auseinanderhalten
Das Vokabular der Verifizierung hilft: Nachweise sind immer Nachweise für eine formulierte Behauptung, und diese Behauptung muss vor den Zahlen feststehen. Brauchbare Evaluierungsdokumentation kennzeichnet deshalb jedes Ergebnis nach dem, was es misst – Verweigerung in sicherheitsrelevanten Situationen, Faktentreue oder Treue zu einer gewählten institutionellen Regel – und nennt die Version von Richtlinie und Promptsatz. Dann ist erkennbar, welche Zahlen sich bei einer Änderung der Richtlinie bewegen würden und welche nicht.
Fehlt diese Kennzeichnung, legt ein Dashboard aus Trefferquoten eine falsche Lesart nahe: dass normative Entscheidungen empirisch bestätigt seien. Die ehrliche Formulierung ist schmaler und nützlicher – die Organisation hat festgelegt, was sie will, es aufgeschrieben und gemessen, wie oft ihre Modelle es tun.
Fragen, die sich daran anschließen
- Wer entscheidet, was als regelkonforme Antwort gilt?
- Die Autorinnen und Autoren der Rubrik, im Rahmen der Richtlinie. Deshalb gehören Rubriken, ihre Versionen und Beispiele zum veröffentlichten Material, nicht nur der aggregierte Score.
- Darf ein Modell ein anderes Modell bewerten?
- Bei großen Promptsätzen ist das üblich. Es braucht eine eigene Validierung gegen menschliche Urteile, und das bewertende Modell samt Version sollte mit dem Ergebnis dokumentiert werden.
- Wie nutzen regulierte Projekte solche Scores?
- Als einen Eingang unter mehreren in Test- und Risikodokumentation. Ein Score stützt eine konkrete Aussage über geprüftes Verhalten, belegt aber für sich keine Erfüllung einer Rechtspflicht.
Quellen
- Introducing Model Spec Evals — OpenAI, 6. Oktober 2026
- Model Spec — OpenAI, 18. Dezember 2025
Prüfprotokoll und Änderungen
Jede Context Card wird vor der Veröffentlichung und bei jeder Änderung erneut anhand ihrer Quellen geprüft; das Datum unter der Autorenzeile ist die letzte Prüfung. Korrekturen (etwas war falsch) und Ergänzungen (etwas fehlte) stehen unten mit Datum und Uhrzeit (deutsche Zeit). Tippfehler, Formatierung und Link-Korrekturen werden nicht aufgeführt.
Geprüft
Seit der Veröffentlichung keine Korrekturen oder Ergänzungen.