Kurz gesagt: Alles zu lesen ist keine Steuerung, sondern dieselbe Arbeit noch einmal. Der erste Review misst stattdessen eine Zahl, die FTT: den Anteil der Durchläufe, der ohne Nacharbeit durchgeht — in zwanzig Minuten, einmal pro Woche, anhand von drei Fragen.

Woher weißt du, ob die KI gute Arbeit macht? Der erste Review.

Du hast eine Routine abgegeben. Der Operator läuft seit zwei Wochen, die Ergebnisse sehen ordentlich aus, und trotzdem bleibt eine Frage offen, die man ungern ausspricht: Woher weiß ich eigentlich, dass das gut geht?

Die häufigste Antwort darauf ist, jedes einzelne Ergebnis zu lesen. Das fühlt sich verantwortungsvoll an, und in den ersten Tagen ist es auch richtig. Als Dauerzustand macht es die Arbeit ein zweites Mal, nur langsamer und ohne dass dabei etwas entsteht, das du beim nächsten Mal nutzen kannst.

Alles zu lesen ist keine Steuerung. Es ist dieselbe Arbeit noch einmal, mit mehr Aufwand und weniger Erkenntnis.

KI-Ergebnisse prüfen heißt den Prozess messen, nicht das einzelne Ergebnis

Der Unterschied klingt akademisch und ist der ganze Punkt. Ob ein einzelner Text gut geworden ist, kannst du sehen, indem du ihn liest. Ob die Rolle verlässlich gute Texte produziert, siehst du daran nicht. Dafür brauchst du mehrere Durchläufe und eine Zahl.

Diese Zahl ist die FTT (First Time Through), also der Anteil der Durchläufe, der die Prüfung im ersten Anlauf besteht. Nicht der Anteil, der am Ende brauchbar war, denn am Ende ist fast alles brauchbar, wenn genug Hände daran waren. Der Anteil, der ohne Nacharbeit durchgeht.

Sie ist deshalb die richtige Zahl, weil sie misst, was dich wirklich interessiert: ob du diese Arbeit aus dem Kopf bekommst. Eine Rolle, deren Ergebnisse jedes Mal überarbeitet werden müssen, hat dir nichts abgenommen, egal wie gut die Ergebnisse am Schluss aussehen.

Zwanzig Minuten, drei Fragen

Der erste Review braucht kein Format und kein Meeting. Er braucht einen festen Termin, einmal pro Woche, und drei Fragen in dieser Reihenfolge.

Verwechsle ihn dabei nicht mit dem Weekly Operating Review. Der schaut auf das Unternehmen, was sich bewegt hat und was hängt. Dieser hier schaut auf eine einzelne Rolle, und sein Ergebnis wird am Ende einer der Punkte, die dort auftauchen.

1. Wie viele Durchläufe sind im ersten Anlauf durchgegangen? Zähl sie. Bei einer wöchentlichen Routine hast du nach sechs Wochen sechs Datenpunkte, und das reicht schon, um einen Trend von einem Ausrutscher zu unterscheiden.

2. Wo sind die anderen gescheitert, und war es dieselbe Stelle? Das ist die wichtigere Frage. Fünf verschiedene Fehler sind Rauschen. Derselbe Fehler fünfmal ist ein Signal, und zwar meistens eines über deinen Standard, nicht über den Operator.

Zähl dabei eine dritte Gruppe mit: die Durchläufe, die niemand geprüft hat. Eine Woche war knapp, ein Fall lag außerhalb des Standards, jemand hat durchgewinkt. Wenn du die stillschweigend zu den bestandenen zählst, misst du deine Prüfkapazität und nennst sie Qualität. Nicht geprüft ist ein eigenes Ergebnis, kein bestandenes.

3. Was ändert sich dadurch am Contract? Wenn die Antwort "nichts" lautet, war es kein Review, sondern eine Bestandsaufnahme. Ein Learning zählt erst, wenn es ein Artefakt ändert, und beim Role Contract ist das genau der Punkt, den die Upgrade-Regeln beschreiben.

Eine hohe Quote am Anfang ist kein gutes Zeichen

Das überrascht die meisten. Wenn deine erste Messung bei fast hundert Prozent liegt, ist die wahrscheinlichste Erklärung nicht, dass die Rolle hervorragend läuft. Sie ist, dass deine Prüfung zu weich ist.

Ein Standard, an dem nichts scheitert, misst nichts. Er beschreibt dann eher deine Erwartung als eine Anforderung, und die Zahl, die dabei herauskommt, sagt dir über die Qualität nichts, was du nicht vorher schon geglaubt hast.

Wenn nie etwas durchfällt, prüfst du nicht. Du bestätigst.

Umgekehrt ist eine niedrige erste Quote unangenehm und brauchbar. Sie zeigt dir, an welchen Stellen dein Qualitätsverständnis bisher in Köpfen steckte statt in einem Standard, und diese Stellen kannst du unabhängig von jeder KI aufräumen.

Wenn dieselbe Stelle zweimal reißt

Für wiederkehrende Fehler gibt es eine Regel, und sie ist älter als jede KI. Wenn derselbe Fehler zum zweiten Mal passiert, füge keine weitere Prüfung hinzu. Ändere den Ablauf so, dass er nicht mehr passieren kann.

Das ist Poka Yoke, und der Unterschied ist praktisch. Eine zusätzliche Prüfung kostet dich jede Woche Zeit und fängt den Fehler erst, wenn er schon passiert ist. Eine Änderung am Contract, an der Vorlage oder an der Reihenfolge kostet dich einmal Zeit und nimmt dem Fehler die Gelegenheit.

Wer stattdessen Prüfschritte stapelt, baut sich über ein paar Monate genau die Kontrollschleifen, wegen derer er ursprünglich einen Operator wollte.

Wann die Rolle eine Stufe weiter darf

Die Zahl beantwortet auch die Frage, die als nächste kommt. Eine Rolle startet auf der Stufe Shadow, sie entwirft und Menschen führen aus. Der Schritt auf Copilot gehört an Evidenz gebunden und nicht an ein Datum: mehrere Durchläufe in Folge, bei denen die Quote hält, und keine wiederkehrende Fehlerstelle mehr offen.

Die Leiter läuft in beide Richtungen. Wenn die Quote fällt, geht die Rolle zurück, und das ist kein Rückschlag, sondern der Beweis, dass die Stufen an Messung hängen und nicht an Zuversicht.

Company 0

Bei uns war der wiederkehrende Fehler nicht bei einem AI-Operator, sondern bei mir. Die LinkedIn-Beiträge zum Wochenartikel sollen mindestens 1.100 Zeichen lang sein, das war lange vor dieser Routine als Standard festgelegt. Trotzdem kamen mehrere Wochen hintereinander Entwürfe herein, die deutlich darunter lagen, und jedes Mal wurde nachträglich nachgebessert.

Dieselbe Stelle riss mehrfach. Statt eine weitere Prüfung einzuziehen, wurde die Zeichenzahl zu einer festen Bedingung im Auftrag selbst gemacht, die vor jeder Abgabe geprüft wird. Der Fehler ist seither nicht wieder aufgetaucht, nicht weil jemand genauer hinschaut, sondern weil die Lücke aus dem Ablauf verschwunden ist, durch die er hereinkam.

Was das für dich heißt

Setz den Termin, bevor du ihn brauchst. Zwanzig Minuten, wöchentlich, im Kalender, ab dem ersten Durchlauf. Ein Review, den du ansetzt, wenn dir etwas auffällt, ist kein Review, sondern eine Reaktion.

Und erwarte in den ersten Wochen eine unangenehme Zahl. Sie ist das Nützlichste, was diese Rolle dir in ihrer Anfangszeit liefern kann, weil sie dir zeigt, wo dein Standard bisher nur in deinem Kopf existiert hat.

Häufige Fragen

Was ist FTT und wofür steht es?

First Time Through: der Anteil der Durchläufe, der die Prüfung im ersten Anlauf besteht, ohne Nacharbeit. Nicht der Anteil, der am Ende brauchbar war, sondern der, der ohne zweiten Versuch durchgeht.

Wie oft und wie lange dauert der erste Review?

Zwanzig Minuten, einmal pro Woche, fest im Kalender, ab dem ersten Durchlauf. Ein Review, den du erst ansetzt, wenn dir etwas auffällt, ist keiner, sondern eine Reaktion.

Ist eine fast hundertprozentige Erfolgsquote ein gutes Zeichen?

Meistens nicht. Sie deutet eher darauf hin, dass die Prüfung zu weich ist, als dass die Rolle hervorragend läuft. Ein Standard, an dem nichts scheitert, misst nichts, er beschreibt nur deine bisherige Erwartung.

Was tue ich, wenn derselbe Fehler zweimal auftritt?

Keine weitere Prüfung hinzufügen. Den Ablauf, den Contract oder die Vorlage so ändern, dass der Fehler nicht mehr passieren kann. Das ist Poka Yoke, und es ist günstiger als jede zusätzliche Kontrollschleife.