KI-Governance4 Min. Lesezeit

Human in the Loop: So bleibt der Mensch bei KI in Kontrolle

KI darf vorbereiten, Menschen entscheiden. Wie Freigaben, Konfidenz-Schwellen und Eskalation in der Praxis aussehen und wie viel Kontrolle welcher Prozess braucht.

Pascal RaubFounder & Software Engineer, Flying Chair

Human in the Loop bedeutet, dass Menschen an festgelegten Stellen eines KI-gestützten Ablaufs prüfen, freigeben oder eingreifen. Die KI übernimmt Vorarbeit wie Lesen, Zuordnen und Formulieren. Entscheidungen mit Tragweite, etwa der Versand eines Angebots, eine Zahlung oder eine Änderung im ERP, trifft eine zuständige Person. So lässt sich der Nutzen von KI erschließen, ohne Verantwortung an ein System abzugeben, das sich irren kann.

Warum KI eine menschliche Kontrolle braucht

Sprachmodelle formulieren flüssig und überzeugend, auch dann, wenn sie falsch liegen. In der Bitkom-Umfrage 2026 nennen 26 Prozent der KI-Anwender schlechte Ergebnisqualität und 25 Prozent mangelnde Nachvollziehbarkeit als Hemmnis. Das ist kein Grund, auf KI zu verzichten, aber ein guter Grund, sie nicht unbeaufsichtigt handeln zu lassen.

Mit KI-Agenten wird die Frage dringlicher. Agenten beantworten nicht nur Fragen, sie führen Aktionen aus: Sie schreiben E-Mails, legen Vorgänge an oder rufen andere Systeme auf. Laut Bitkom setzen 11 Prozent der Unternehmen bereits KI-Agenten ein, weitere 29 Prozent planen es. Je mehr ein System selbst tun kann, desto wichtiger werden klar definierte Haltepunkte.

Drei Stufen der Autonomie

Nicht jeder Prozess braucht dieselbe Kontrolle. Bewährt hat sich, pro Anwendungsfall bewusst eine Stufe festzulegen:

StufeWas die KI tutRolle des MenschenTypische Beispiele
1 · AssistierenZusammenfassen, recherchieren, Entwürfe schreibenNutzt und entscheidet vollständigInterner Wissensassistent, E-Mail-Entwürfe
2 · Vorschlagen & freigebenBereitet einen Vorgang komplett vorPrüft und gibt freiAngebotsanfragen, Rechnungsprüfung, Kundenantworten
3 · Automatisch mit AufsichtErledigt eindeutige Routinefälle selbstÜberwacht, prüft Stichproben, greift einDokumente zuordnen, Daten übertragen

Für die meisten Prozesse mit Außenwirkung ist Stufe 2 der richtige Startpunkt. Erst wenn über Wochen belegt ist, dass bestimmte Fallgruppen zuverlässig korrekt verarbeitet werden, kann man sie gezielt in Stufe 3 überführen.

Fünf Muster, die sich in der Praxis bewährt haben

1. Freigabe vor Aktion

Die KI erstellt einen vollständigen Vorschlag, ausgeführt wird erst nach einem Klick der zuständigen Person. Wichtig ist die Oberfläche: Ausgangsdokument und KI-Ergebnis stehen nebeneinander, Abweichungen und unsichere Felder sind markiert. Sonst wird aus der Prüfung ein reflexhaftes Abnicken.

2. Konfidenz-Schwellen

Das System bewertet, wie sicher ein Ergebnis ist, etwa weil Pflichtangaben fehlen, Werte außerhalb üblicher Spannen liegen oder Regeln verletzt werden. Eindeutige Fälle laufen weiter, unsichere werden automatisch einem Menschen vorgelegt.

3. Vier-Augen-Prinzip

Bei besonders kritischen Vorgängen, zum Beispiel hohen Beträgen oder Vertragsänderungen, braucht es zwei Freigaben. Das ist kein KI-spezifisches Muster, sondern bewährte Unternehmenspraxis, die man in KI-Abläufe übernehmen sollte.

4. Eskalation und Stopp

Mitarbeitende müssen einen Vorschlag nicht nur annehmen oder ablehnen, sondern auch zurückweisen, korrigieren und an eine verantwortliche Stelle eskalieren können. Für automatisierte Abläufe gehört ein Stopp-Schalter dazu, der den Prozess sofort anhält.

5. Stichproben und Lernschleife

Auch in automatisierten Abläufen werden regelmäßig Stichproben geprüft. Korrekturen fließen zurück, sodass Regeln, Prompts und Schwellenwerte nachgeschärft werden können.

Was der EU AI Act zur menschlichen Aufsicht sagt

Artikel 14 des EU AI Act verlangt für Hochrisiko-KI-Systeme, dass Menschen das System wirksam beaufsichtigen können. Sie sollen Fähigkeiten und Grenzen verstehen, Automation Bias erkennen, Ergebnisse richtig interpretieren, eine Ausgabe ignorieren oder übersteuern und das System anhalten können. Betreiber müssen nach Artikel 26 kompetente Personen mit dieser Aufsicht betrauen.

Diese Pflichten gelten nur für Hochrisiko-Systeme, etwa in Recruiting, Kreditvergabe oder Bildung. Durch den Digital Omnibus wurden sie für diese Bereiche auf Dezember 2027 verschoben (Stand Oktober 2026). Unabhängig davon verbietet Artikel 22 DSGVO bereits heute ausschließlich automatisierte Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung für Personen, von engen Ausnahmen abgesehen.

Für die meisten Anwendungsfälle im Mittelstand ist Human in the Loop deshalb keine gesetzliche Pflicht, sondern gute Praxis: Es reduziert Haftungsrisiken, erhöht die Akzeptanz im Team und bereitet auf strengere Anforderungen vor, falls ein Anwendungsfall später doch als Hochrisiko eingestuft wird.

Wie man die richtige Kontrollstufe festlegt

Drei Fragen helfen bei der Einordnung:

  1. Wie hoch ist der Schaden, wenn ein Ergebnis falsch ist? Ein schlecht formulierter interner Entwurf ist harmlos, eine falsche Bestellung an einen Lieferanten nicht.
  2. Ist die Aktion umkehrbar? Ein Entwurf lässt sich verwerfen, eine versendete E-Mail nicht.
  3. Betrifft die Entscheidung Menschen direkt? Bewerbungen, Kreditwürdigkeit oder Leistungsbewertungen verlangen besondere Sorgfalt, rechtlich wie ethisch.

Je höher Schaden, Unumkehrbarkeit und persönliche Betroffenheit, desto mehr menschliche Kontrolle gehört in den Ablauf.

Häufige Fragen

Verliert KI ihren Nutzen, wenn ein Mensch alles freigeben muss?

Nein. Der größte Zeitaufwand liegt meist in der Vorbereitung: Informationen suchen, abtippen, zuordnen, formulieren. Diese Arbeit übernimmt die KI. Eine gut gestaltete Freigabe dauert dann Sekunden statt Minuten.

Was ist der Unterschied zwischen Human in the Loop und Human on the Loop?

Bei Human in the Loop ist der Mensch fester Teil jedes Vorgangs und gibt einzeln frei. Bei Human on the Loop läuft der Prozess automatisch, der Mensch überwacht und greift bei Auffälligkeiten ein. Beides sind legitime Stufen, die je nach Risiko gewählt werden.

Gilt Artikel 14 AI Act auch für unseren internen KI-Assistenten?

In der Regel nicht, weil ein allgemeiner Assistent für Texte und Recherche kein Hochrisiko-System ist. Für alle KI-Systeme gilt aber bereits seit Februar 2025 die Pflicht, die KI-Kompetenz der Beschäftigten zu fördern. Im Zweifel sollte die Einordnung mit Rechtsberatung geprüft werden.