Human in the loop KI: Wo Menschen in Workflows entscheiden

KI-Workflows sollten Menschen nicht pauschal aus dem Prozess entfernen. Entscheidend ist, welche Schritte zuverlässig automatisiert werden können und an welchen Stellen eine falsche Entscheidung Folgen hätte, die sich nicht ohne Weiteres korrigieren lassen. Für Geschäftsführung, Produktverantwortliche und technische Leitung heißt das: Freigaben, Eskalationen und Protokolle müssen Teil des Prozessdesigns sein – nicht nachträglich angefügte Sicherheitsmaßnahmen.

Human in the loop KI bedeutet deshalb mehr als eine letzte Sichtprüfung. Ein guter Workflow legt fest, welche Ergebnisse automatisch weiterlaufen, welche zur Prüfung angehalten werden und wer bei Unsicherheit entscheidet. So bleibt die Automatisierung effizient, ohne Verantwortung an ein Modell abzugeben.

Kurz gesagt

Menschen sollten dort entscheiden, wo eine Ausgabe Folgen für Rechte, Geld, Zugang, Reputation oder verbindliche Inhalte hat. Automatisieren Sie dagegen klar begrenzte, reversible Schritte mit prüfbaren Ergebnissen. Definieren Sie vor dem Start Freigabegrenzen, Eskalationswege und ein Protokoll, das zeigt, was das System getan hat und wer eingegriffen hat. Menschliche Kontrolle ist nur dann wirksam, wenn die prüfende Person genügend Kontext, Zeit und Entscheidungsspielraum erhält.

Ausgangslage

KI-Modelle erzeugen Ergebnisse, keine verbindlichen Prozessentscheidungen. Ein Text kann plausibel klingen und trotzdem eine Quelle falsch wiedergeben. Eine Klassifizierung kann formal korrekt sein, aber in einem Grenzfall die falsche Folgeaktion auslösen. Je stärker ein Workflow Ergebnisse automatisch in andere Systeme überträgt, desto wichtiger wird die Frage, wer den Übergang kontrolliert.

In einfachen Abläufen lässt sich ein Ergebnis oft unmittelbar prüfen. In komplexen Prozessen verteilen sich Eingaben, Modellaufrufe, Regeln und Folgeaktionen über mehrere Systeme. Dann reicht es nicht, am Ende eine allgemeine Freigabe einzubauen. Die prüfende Person muss nachvollziehen können, worauf das Ergebnis beruht, welche Unsicherheit besteht und welche Aktion als Nächstes ausgelöst wird.

Auch die umgekehrte Annahme ist problematisch: dass jeder KI-Schritt zwingend manuell bestätigt werden muss. Wenn Menschen routinemäßig große Mengen unkritischer Ergebnisse abnicken, wird die Kontrolle zur Formalität. Der Workflow braucht daher abgestufte Eingriffe statt eines einheitlichen Freigabeschritts.

Entscheidungskriterien

1. Welche Folgen hat eine falsche Ausgabe?

Bewerten Sie nicht nur, wie wahrscheinlich ein Fehler ist, sondern auch, was danach geschieht. Eine fehlerhafte interne Zusammenfassung lässt sich meist korrigieren. Eine falsche Veröffentlichung, Ablehnung, Zahlung oder Änderung an einem produktiven Datensatz kann deutlich schwerer rückgängig zu machen sein.

Legen Sie fest, welche Folgen eine automatische Aktion haben darf. Je größer die mögliche Auswirkung und je schwieriger die Korrektur, desto früher sollte ein menschlicher Entscheidungspunkt liegen.

2. Ist das Ergebnis eindeutig prüfbar?

Eine strukturierte Ausgabe mit festgelegten Feldern und zulässigen Werten lässt sich leichter validieren als ein freier Text. Das macht sie nicht automatisch inhaltlich richtig. Es hilft aber, fehlende Felder, ungültige Werte und unvollständige Antworten systematisch zu erkennen.

Prüfen Sie, ob die verantwortliche Person die Ausgabe mit den relevanten Eingaben oder Quellen vergleichen kann. Wenn die Begründung fehlt oder die Herkunft einer Aussage unklar ist, sollte der Workflow nicht so tun, als sei das Ergebnis geprüft.

3. Ist die Folgeaktion reversibel?

Trennen Sie Vorschlag und Ausführung. Eine KI kann Änderungen vorbereiten, ohne sie sofort zu veröffentlichen oder in ein führendes System zu schreiben. Vorschau, Freigabe und Rückweg begrenzen den Schaden, falls eine Änderung falsch ist.

Bei irreversiblen oder nur mit hohem Aufwand korrigierbaren Aktionen sollte eine explizite Freigabe vor der Ausführung liegen. Für reversible Änderungen können Sie eine automatisierte Ausführung mit Protokoll und klarer Rücknahmeoption erwägen.

4. Welche Unsicherheit löst eine Eskalation aus?

Definieren Sie konkrete Auslöser. Das können fehlende Pflichtangaben, widersprüchliche Quellen, ein Ergebnis außerhalb erlaubter Kategorien oder ein nicht bestandener Validierungsschritt sein. Verlassen Sie sich nicht auf einen allgemeinen Eindruck, dass das Modell „unsicher“ sei.

Für jeden Auslöser braucht es eine Folge: anhalten, erneut versuchen, an eine zuständige Person weiterleiten oder den Fall ablehnen. Legen Sie auch fest, was passiert, wenn niemand rechtzeitig entscheiden kann. Ein stiller Übergang in die automatische Ausführung darf nicht die Standardlösung sein.

5. Wer entscheidet – und mit welchem Kontext?

Eine Freigabe ist nur sinnvoll, wenn klar ist, wer sie erteilen darf und wofür. Prüfen Sie, ob Rolle und Berechtigung zur Entscheidung passen. Die prüfende Person sollte die Eingabe, das erzeugte Ergebnis, relevante Quellen, erkannte Abweichungen und die geplante Folgeaktion sehen.

Wenn mehrere Rollen beteiligt sind, sollten Zuständigkeiten nicht in einem gemeinsamen, unklaren Postfach verschwinden. Benennen Sie, wer prüft, wer eskaliert und wer Änderungen freigibt.

6. Was muss das Protokoll festhalten?

Ein brauchbares Protokoll macht den Ablauf nachvollziehbar. Dazu können Eingabe und Ergebnis, Zeitpunkt, verwendete Prozessversion, Validierungsresultat, Freigabe oder Ablehnung sowie die ausgelöste Folgeaktion gehören. Welche Daten gespeichert werden sollen und wie lange, muss zum konkreten Prozess passen und gegebenenfalls gesondert geprüft werden.

Das Protokoll sollte nicht bloß möglichst viele Daten sammeln. Es soll helfen, Fehler zu untersuchen, Entscheidungen nachzuvollziehen und Änderungen am Workflow kontrolliert zu bewerten.

Freigabegrenzen und Eskalation gestalten

Ein praktikables Modell unterscheidet mindestens drei Zustände:

Zustand	Bedingung	Folge
Automatisch weiter	Ergebnis besteht definierte Prüfungen; Folgeaktion ist begrenzt und korrigierbar	Workflow setzt fort und protokolliert den Schritt
Menschliche Prüfung	Ergebnis ist plausibel, aber folgenreich, uneindeutig oder außerhalb des Routinefalls	Workflow hält an und zeigt Kontext sowie Entscheidungsmöglichkeiten
Eskalation oder Abbruch	Pflichtdaten fehlen, Quellen widersprechen sich oder eine Regel ist verletzt	Fall wird an eine zuständige Rolle übergeben oder sicher beendet

Die Zustände müssen zu Ihrer Arbeit passen. Ein Grenzwert ist nur nützlich, wenn Sie festlegen, wie er ermittelt wird, wer ihn ändern darf und wie sich seine Wirkung überprüfen lässt. Ein Modellwert allein ist keine verlässliche Entscheidungsgrundlage, solange seine Bedeutung für den konkreten Prozess nicht geprüft wurde.

Was ein kontrollierter Workflow enthält

Eingabe und Grenzen

Beschreiben Sie, welche Daten der Workflow erhält und welche Aufgaben das Modell übernehmen darf. Begrenzen Sie den Auftrag auf den Prozessschritt, für den das Ergebnis gebraucht wird. Nicht jede verfügbare Information gehört in jede Anfrage.

Prüfungen vor der Freigabe

Validieren Sie zunächst technische und formale Bedingungen: Sind erforderliche Felder vorhanden? Entsprechen Werte dem erwarteten Schema? Sind Quellen oder Referenzen verfügbar? Solche Prüfungen ersetzen keine fachliche Beurteilung, können aber offensichtlich unvollständige Ergebnisse abfangen.

Menschliche Entscheidung mit Optionen

Zeigen Sie nicht nur einen Freigabeknopf. Die Person sollte je nach Fall freigeben, überarbeiten lassen, ablehnen oder an eine andere Rolle eskalieren können. Die Auswahl sollte die nächste Aktion eindeutig auslösen und protokollieren.

Rückweg und Überprüfung

Planen Sie, wie eine Änderung zurückgenommen oder korrigiert wird. Prüfen Sie nach der Einführung, ob Eskalationen tatsächlich bei den richtigen Fällen auftreten, ob Freigaben ausreichend begründet werden und ob Fehler trotz der Kontrollen durchkommen. Wenn die Ergebnisse nicht zum Prozess passen, ändern Sie Regeln und Workflow kontrolliert.

Wo Menschen entscheiden sollten

Ein menschlicher Entscheidungspunkt ist besonders wichtig, wenn eine KI-Ausgabe eine externe Veröffentlichung, eine verbindliche Kommunikation, eine folgenreiche Einstufung oder eine Änderung an einem maßgeblichen Datensatz auslöst. Gleiches gilt, wenn Eingaben unvollständig sind, Quellen einander widersprechen oder ein Fall außerhalb der definierten Routine liegt.

Dagegen muss nicht jede interne Formatierung oder klar begrenzte Vorverarbeitung einzeln bestätigt werden. Wenn Regeln eindeutig sind, die Ausgabe automatisch geprüft wird und eine fehlerhafte Aktion sicher rückgängig gemacht werden kann, kann der Schritt automatisiert laufen. Die Kontrolle verschiebt sich dann auf Stichproben, Ausnahmefälle und die regelmäßige Prüfung des Workflows.

Praxisbeispiel

Ting ist ein Beratungsraum, in dem mehrere KI-Anbieter unabhängig antworten. Die Antworten werden strukturiert bewertet: approve, revise oder reject. Eine Freigabe erfolgt nur bei Einstimmigkeit; andernfalls ist keine automatische Freigabe erreicht. Strukturierte Ausgaben folgen einem Schema, und PostgreSQL mit pgvector dient als Gedächtnis.

Das Beispiel zeigt eine konkrete Freigabegrenze: Nicht eine einzelne plausible Antwort reicht aus, sondern der definierte Abstimmungszustand entscheidet darüber, ob der Workflow freigibt. Mehrere Modelle ersetzen dabei nicht automatisch menschliche Verantwortung. Das Verfahren muss weiterhin festlegen, welche Fälle die Einstimmigkeit abdeckt, was bei revise oder reject geschieht und wer Ausnahmen behandelt. Mehr zu Ting

Ein weiteres Kontrollmuster zeigt die Engine Room: Änderungen folgen dem Prinzip Know → Change → Prove. Der Zustand wird erfasst, eine Änderung nach Vorschau und Freigabe ausgeführt und ihre Wirkung anschließend belegt. Die Performance Engine überschreibt keine Originale; Änderungen sind rücknehmbar. Mehr zur Engine Room

Typische Fehler

• Freigabe ohne klare Zuständigkeit: Wenn nicht feststeht, wer entscheiden darf, wird die Kontrolle verzögert oder informell umgangen.
• Alle Ergebnisse müssen bestätigt werden: Eine hohe Zahl routinemäßiger Freigaben kann Aufmerksamkeit abstumpfen lassen. Trennen Sie Standardfälle von Ausnahmen.
• Freigabe ohne Kontext: Ein Ergebnis ohne Eingabe, Quellen und Folgeaktion ist schwer sinnvoll zu prüfen.
• Modellzustimmung mit Wahrheit verwechseln: Übereinstimmende Antworten mehrerer Modelle sind ein Prozesssignal, kein allgemeiner Beweis für Richtigkeit.
• Eskalation ohne nächsten Schritt: Ein angehaltener Fall braucht eine zuständige Rolle und eine definierte Behandlung. Andernfalls entsteht ein Rückstau.
• Protokoll erst im Nachhinein planen: Ohne festgelegte Ereignisse lässt sich später schwer nachvollziehen, welche Regel oder Version eine Aktion ausgelöst hat.
• Rückweg vergessen: Eine Freigabe verhindert nicht jeden Fehler. Korrektur und Rücknahme gehören zur Gestaltung des Ablaufs.

Empfehlung

Wenn ein KI-Schritt intern, klar begrenzt und gut rückgängig zu machen ist, automatisieren Sie ihn mit formalen Prüfungen und einem nachvollziehbaren Protokoll.

Wenn das Ergebnis nach außen wirkt oder fachlich relevant, aber überprüfbar ist, halten Sie den Workflow an und verlangen Sie eine Freigabe mit ausreichendem Kontext.

Wenn Quellen widersprüchlich sind, Pflichtangaben fehlen oder eine Aktion schwer rückgängig zu machen ist, eskalieren Sie an eine zuständige Person oder brechen Sie den Schritt sicher ab.

Wenn mehrere Rollen, Datenquellen und Folgeaktionen zusammenkommen, modellieren Sie den gesamten Prozess, bevor Sie einzelne KI-Aufgaben automatisieren. Definieren Sie Freigabezustände, Zuständigkeiten, Protokoll und Rückweg gemeinsam. Mehrere Modelle können dabei ein zusätzliches Prüfsignal liefern, ersetzen aber keine klare Prozessverantwortung.

Checkliste

• Ist festgelegt, welche Aufgabe das Modell übernehmen darf?
• Sind Folgen und Korrigierbarkeit möglicher Fehler bewertet?
• Gibt es klare Bedingungen für automatische Fortsetzung, menschliche Prüfung und Eskalation?
• Sind Zuständigkeit und Berechtigung für Freigaben festgelegt?
• Sieht die prüfende Person Eingabe, Ergebnis, Quellen und Folgeaktion?
• Werden strukturierte Ausgaben technisch validiert?
• Ist geregelt, was bei fehlenden Angaben oder widersprüchlichen Quellen geschieht?
• Werden Entscheidung, Prozessversion und Folgeaktion nachvollziehbar protokolliert?
• Gibt es einen getesteten Rückweg für fehlerhafte Änderungen?
• Wird geprüft, ob Freigabegrenzen und Eskalationen im Betrieb funktionieren?

Häufige Fragen

Bedeutet Human-in-the-loop, dass jeder KI-Schritt manuell bestätigt wird?

Nein. Menschen sollten dort eingreifen, wo Folgen, Unsicherheit oder fehlende Korrigierbarkeit es erfordern. Klar begrenzte und prüfbare Routinen können automatisiert laufen.

Reicht die Zustimmung mehrerer KI-Modelle als Freigabe?

Nicht grundsätzlich. Übereinstimmung kann eine definierte Kontrollstufe sein, muss aber zum konkreten Prozess passen. Für folgenreiche Ausnahmen braucht es einen festgelegten menschlichen Entscheidungsweg.

Was sollte ein Freigabeprotokoll enthalten?

Mindestens die für den Ablauf nötigen Informationen, um Ergebnis, Prüfung und Folgeaktion nachvollziehen zu können. Welche Daten im Einzelfall gespeichert werden, sollte passend zum Prozess und gegebenenfalls gesondert geprüft werden.

Wie verhindere ich, dass Freigaben zur Routine werden?

Leiten Sie nur die Fälle an Menschen weiter, bei denen eine Entscheidung tatsächlich nötig ist. Zeigen Sie die relevanten Abweichungen und ermöglichen Sie neben Freigabe auch Überarbeitung, Ablehnung und Eskalation.

Weiterführend

• KI-Automatisierung im Unternehmen: Prozesse sicher steuern
• AI Guardrails: Wie sich KI-Ausgaben begrenzen und prüfen lassen
• KI-Workflows richtig testen: Wie man Qualität messbar macht
• Strukturierte Ausgaben mit KI und JSON: So werden Workflows stabiler

Weiterführende Quellen

Diese offiziellen Dokumentationen und Standards vertiefen die behandelten Themen.

• NIST AI Risk Management Framework
• OpenAI: Structured Outputs