2026-10-25 · KI im Produktivbetrieb
Das Modell liest, der Code entscheidet
Drei Fehler aus drei Tagen in zwei KI-Systemen — und jedes Mal dieselbe Antwort: Das Sprachmodell ist für Sprache und für das Herauslesen von Fakten da. Was sich deterministisch entscheiden lässt, entscheidet Code.
Labels, die springen
Ein Bericht zeigt, welche Quellen KI-Assistenten zitieren. Denselben Onlineshop markierte das Modell mal als «Marktplatz · fremde Marke», mal als «unbekannt» — bei Temperatur 0, versioniertem Prompt und protokollierter Entscheidung. Das Protokoll zeigte: Das Modell nannte sogar Listings der eigenen Marke des Kunden «fremd».
Einen strengeren Prompt habe ich verworfen. Stattdessen liest das Modell nur noch Fakten von der Seite: Seitentyp und die eine Marke, falls URL oder Titel sie nennen. Wem die Seite gehört, rechnet Code mit derselben Regel, die schon für andere Daten funktionierte. Seitdem bekommt dieselbe Seite immer dasselbe Label, und die Klassifizierung ist ohne Modell testbar. Temperatur 0 garantiert keine Konsistenz zwischen Läufen.
Ein Knopf, den das Modell erraten musste
Im Chat eines Marktplatz-Assistenten wählt der Gast ein Paket per Knopf. Der Klick schickte Worte in den Chat, und das Modell sollte daraus das Werkzeug aufrufen. In einem von drei Fällen antwortete es «I prepared your request» — ohne Aufruf. Der Hinweis, wann es aufrufen soll, stand im Werkzeugergebnis des vorherigen Zugs, und das sieht das Modell im nächsten Zug nicht mehr.
Jetzt trägt die Karte selbst, welchen Aufruf der Klick auslöst. Der Server führt ihn vor dem Modell aus — nur für die Karte der letzten Antwort und nur für nicht zerstörende Werkzeuge —, und das Modell antwortet auf das fertige Ergebnis. Im Aufrufprotokoll steht der Aufruf seitdem von der Karte, nicht vom Modell.
Köln, New Jersey
Ein spanischer Gast schrieb «en Colonia». Das Modell gab das Wort korrekt an die Suche weiter; die Ortssuche fand Colonia in New Jersey, weil das Land des Besuchers dort nur das Ranking hebt, nicht filtert. Der Fehler lag im deterministischen Teil. Jetzt sagt das Werkzeug dem Modell, dass der Ort im Ausland liegt, und verlangt den deutschen Namen. Derselbe Dialog: zwei Aufrufe, «Colonia», dann «Köln», Antwort auf Spanisch mit Angeboten aus Köln. Der Fall ist im Regressionsset als hartes Gate.
Darum prüfe ich KI-Agenten nach ihren Aufrufen und deren Ergebnissen, nicht nur nach dem Text der Antwort.