Die KI nennt die richtige Freigabe. Hat sie auch die richtige Regel verwendet?

In unseren Demonstrationsdaten ist die Freigaberichtlinie Vertrieb in Version 3 veröffentlicht. Der Versionsvergleich zeigt die Änderung von 25.000 auf 50.000 Euro Nettowert und einen Beschlusshinweis vom 12. Juli 2026. Oberhalb der neuen Grenze prüft die Vertriebsleitung das Angebot vor dem Versand. Bis einschließlich 50.000 Euro prüft der Vertrieb eigenverantwortlich.

Für die Analyse betrachten wir ausschließlich diese Betragsregel. Weitere Bedingungen wie Sonderkonditionen sind in der Rechnung nicht unterstellt. Wir haben dafür kein Sprachmodell getestet; die erwarteten Ergebnisse lassen sich direkt aus den beiden Regeln ableiten.

40.000 Euro liegen zwischen den Grenzen. An diesem Fall kann man erkennen, ob die Entscheidung zur alten oder zur neuen Regel passt. Genau 50.000 Euro trennen die Versionen ebenfalls, prüfen aber zusätzlich das Wort „über“. Wer daraus „ab“ macht, wählt auch mit der richtigen Zahl den falschen Freigabeweg.

Der 75.000-Euro-Fall bleibt nützlich: Er zeigt den normalen Weg zur Vertriebsleitung. Er beantwortet nur eine andere Frage. Ein Prüfset braucht beides – Fälle, die den vorgesehenen Ablauf zeigen, und Fälle, an denen konkurrierende Erklärungen zu unterschiedlichen Ergebnissen führen.

Angenommen, die Antwort zum 40.000-Euro-Angebot lautet korrekt: Der Vertrieb prüft eigenverantwortlich. Im Quellenverweis steht aber die alte Fassung mit 25.000 Euro. Das Ergebnis stimmt, seine Begründung nicht. Vielleicht stand die neue Grenze bereits in der Frage; vielleicht wurde sie aus einer anderen Quelle übernommen. Aus der Antwort allein lässt sich der Weg nicht rekonstruieren.

Damit werden Entscheidung und Beleg getrennt geprüft. Eine Quellenliste ist erst dann hilfreich, wenn die angegebene Fundstelle die konkrete Aussage trägt. Die Zahl der verlinkten Dokumente sagt darüber wenig aus.

Die Rechnung setzt voraus, dass die neue Regel für den Fall gilt. Im Betrieb müsst ihr diese Voraussetzung selbst klären. Ein später gespeicherter Entwurf kann noch ungeprüft sein. Eine veröffentlichte Änderung kann erst nächsten Monat wirksam werden. Bei einem historischen Angebot kann wiederum der damals gültige Stand entscheidend sein.

Versionsnummer, Veröffentlichungsstatus und fachlicher Geltungszeitraum beantworten unterschiedliche Fragen. Ein Beschlussdatum allein legt auch noch keinen rückwirkenden Anwendungsbereich fest. Für die Demonstration leiten wir deshalb keine Regel für historische Vorgänge aus dem 12. Juli ab.

Für eine historische Frage braucht der Test eine fachlich bestätigte Erwartung: Welcher Zeitpunkt zählt, und welche Übergangsregel gilt? Fehlt diese Festlegung, sollte die Unterstützung genau diese Lücke benennen. Ein Modell kann die Organisationsentscheidung nicht dadurch ersetzen, dass es das jüngste Dokument auswählt.

Für die neue Grenze reicht es nicht, die Wissensseite zu veröffentlichen. Der Prozessverantwortliche muss klären, ob ein Freigabeformular oder eine technische Regel in einem anderen System ebenfalls 25.000 Euro verwendet. Die zuständige Person für dieses System setzt eine notwendige Änderung dort um. Ein Link zum System zeigt den Zusammenhang; er bestätigt keine Anpassung.

Beim Prüfen einer KI-Unterstützung lohnt sich dieselbe Trennung. Die Auskunft „Freigabe erteilt“ und ein tatsächlich gespeicherter Freigabestatus sind verschiedene Prüfergebnisse. Anthropic unterscheidet in seiner Evaluationsmethodik entsprechend zwischen dem Gesprächsverlauf und dem entstandenen Zustand der Umgebung.

Eine kleine, gepflegte Fallliste kann diese Übergänge abdecken: 40.000 Euro für die Versionswahl, 50.000 Euro für die Grenze, ein unvollständiger Fall für die Rückfrage und ein Fall außerhalb des geklärten Geltungsbereichs. Bei Änderungen wird sie erneut geprüft. Ein ausgefülltes Ergebnisfeld sollte dabei immer erkennen lassen, ob nur die Auskunft oder auch eine anschließende Aktion überprüft wurde.

Wie Regel, Rolle und Prozess in der gezeigten Antwort zusammenkommen: Die Angebotsfreigabe in PULSE durchgehen