2026-10-23 · KI im Produktivbetrieb
Ein Goldset für den KI-Assistenten: Tests, die Handlungen prüfen, nicht Sätze
Ein Tag Handtest, neun verschiedene Fehler des Modells. Jede Korrektur konnte den Nachbarfall brechen, und prüfen liess sich das nur von Hand. Also habe ich Regressionstests gebaut.
Ein KI-Assistent eines Marktplatzes sucht Angebote und bereitet Anfragen über MCP-Werkzeuge der Plattform vor. Beim Handtest fielen auf: «vorbereitet», obwohl das Werkzeug abgelehnt hatte; eine Kartennummer statt einer ID; «Soll ich senden?» statt eines Aufrufs; eine deutsche Antwort auf eine englische Frage; erfundene Preise und Orte. Die Hälfte der Korrekturen lag in den Antworttexten der Werkzeuge, die andere Hälfte im Prompt.
Wo der Test lebt
Der Mechanismus gehört zum Chat-Dienst, weil er mehreren Kunden dient. Die Fälle gehören der Plattform: Es sind ihre Suche und ihre Anfragen, und sie ändern sich in denselben Commits wie die Werkzeuge.
Ein Review des Plans durch zwei Modelle fand einen Blocker: Ein Gespräch, in dem die Werkzeuge der Plattform antworten, kann nur die Plattform selbst öffnen. Sie öffnet deshalb Prüfgespräche in einer Sandbox — ausserhalb von Statistik, Moderation und Benachrichtigungen. Ein Entwurf aus einem Prüfgespräch lässt sich serverseitig auf keinem Weg absenden, und schreibende Werkzeuge ruft der Testlauf nur auf dem Teststand auf. Der erste Lauf blieb genau an dieser Sperre hängen: Die Adresse des Stands war für den Chat-Dienst eine andere.
Zwei Stufen statt «2 von 3»
Aufgezeichnete Antworten (Record/Replay) habe ich verworfen: Die Hälfte der Fehler sass in den Werkzeugtexten, eine Aufzeichnung hätte sie eingefroren.
Harte Regeln prüfen Fakten: welches Werkzeug, welche Argumente, keine Erfolgsworte über einer Ablehnung, Sprache der Antwort. Sie müssen 3 von 3 bestehen und sind das Gate für das Release. Die Formulierung bewertet ein Modell als Richter — nur für den Bericht. Ein Gate «2 von 3» ist fast immer rot, und dann ignoriert man es.
Daten in den Gesprächen sind Vorlagen («+6 Wochen»), Erwartungen prüfen die Form, nicht konkrete Angebote: Der Teststand bekommt regelmässig eine Kopie der Produktivdaten.
Ergebnis: 12 Fälle, ein Lauf dauert wenige Minuten. Vier Läufe an einem Abend — im ersten 10 von 12, mit zwei stabil roten Fällen, die der Handtest übersehen hatte; im vierten alle 8 harten Regeln grün. Nebenbei fing das Set einen Fehler des Richters: Er kannte das heutige Datum nicht und hielt einen vergangenen Tag für zukünftig.