2026-10-20 · KI im Produktivbetrieb
Zwei KI-Reviewer und ein voller Datenlauf: wie ein Agent sicher bis in die Produktion kommt
An einem Tag hat ein KI-Agent eine Änderung in zwei Repositories entworfen, geschrieben und ausgerollt. Die Frage war nicht, ob das Modell Code schreiben kann, sondern wie seine Fehler vor der Produktion auffallen.
Die Aufgabe war eine Änderung, die zwei verbundene Systeme zugleich betraf. Gearbeitet hat Claude Code, ich habe den Rahmen gesetzt.
Drei Sicherungen
Erstens: Jeder wesentliche Schritt ging an zwei andere Modelle, Fable und Codex, nur mit Leserechten und mit konkreten Pfaden zum Code. Sie fanden über zehn echte Fehler: Rundung von Verschiebungen auf jeder Verschachtelungsebene (zweimal −0,5 px ergaben 0 statt −1), einen überflüssigen Abstand, wenn das einzige Element eines Blocks verschwindet, einen Schriften-Cache nach Dateiname statt URL. Ein Teil der Hinweise war Fehlalarm — die wurden mit Begründung am Code abgelehnt.
Zweitens: Jede Annahme wurde an echten Daten geprüft, nicht an Beispielen. Wenn die Modelle uneins waren, entschied ein Lauf über den gesamten Fahrzeugkatalog, nicht das Modell mit dem überzeugenderen Ton. Gewonnen hat die einfachere Variante mit demselben Ergebnis.
Drittens: Ausrollen in die Produktion und Schreiben in die Produktivdatenbank hat das Werkzeug des Agenten angehalten und mir übergeben. Vorher wurde eine Referenz der Produktion gezogen und danach verglichen.
Was nur die Daten gefunden haben
Die eigenen Fehler des Agenten fing nicht das Review, sondern der Datenlauf. Er rechnete zuerst mit einer alten Testvorlage: aus «423 Umbrüchen» wurden mit der echten Vorlage aus der Datenbank 103. Er nahm an, der Designer habe einen Block gebaut — in der Datenbank waren es zwei verschachtelte. Eine zusätzliche «Absicherung», um die niemand gebeten hatte, hätte über 15 weitere Texte verändert; der Vorher-nachher-Vergleich über den ganzen Katalog zeigte das, sie wurde zurückgenommen.
Ergebnis des Tages: zwei Repositories, sieben Versionen, rund 50 neue Prüfungen, und die nicht betroffenen Banner blieben identisch — vier von vier Referenzadressen stimmten überein. Einem Agenten kann man eine Produktionsaufgabe ganz überlassen, wenn diese drei Dinge um ihn herum stehen. Und wenn Modelle sich widersprechen, ist das ein Signal zu messen, nicht das klügere zu wählen.