KI-Agenten sicher einsetzen: Wer haftet, wer entscheidet, wer führt

Viele Betriebe beruhigen sich gerade mit einem Satz: Es ist ja noch ein Mensch im Prozess. Solange jemand am Ende prüft, scheint die Verantwortung geklärt.

Bei einfachen KI-Vorschlägen stimmt das. Sobald Agenten aber mehrstufig arbeiten, Informationen verbinden und Folgeaufgaben anstoßen, reicht der Mensch als letzter Haken nicht mehr. Dieser Artikel zeigt, wie Verantwortung bei agentischer KI im Mittelstand wirklich geregelt wird, und warum das die eigentliche Führungsaufgabe ist.

Der Unterschied zwischen Mensch im Prozess und Mensch in Führung

Ein Mensch, der am Ende einer Kette nur noch abnickt, trägt formal die Verantwortung, aber nicht real. Er kommt oft zu spät, kennt den Kontext der Zwischenschritte nicht und kann eine Fehlentscheidung kaum noch korrigieren.

Verantwortung entsteht nicht dadurch, dass jemand formal eingetragen ist. Sie entsteht dort, wo Menschen Richtung geben, Grenzen setzen und die Wirkung verstehen.

Für agentische KI heißt das: Die Führungsarbeit passiert vorher, nicht am Ende. Bevor ein Agent läuft, muss klar sein, welchen Handlungsspielraum er bekommt.

Welche Entscheidungen ein Agent treffen darf

Die wichtigste Frage vor jeder Automatisierung ist nicht technisch. Sie lautet: Was darf das System allein entscheiden, und wo muss es stoppen?

Ein Beispiel aus dem Einkauf. Ein Agent kann eine Anfrage strukturieren, den Lieferantenstamm prüfen und ein RFQ-Paket vorbereiten. Das ist Routine, klar abgegrenzt, niedriges Risiko. Hier darf er selbstständig arbeiten.

Aber: Soll derselbe Agent auch die Bestellung auslösen? Ab welchem Betrag? Bei welcher Abweichung vom üblichen Preis muss ein Mensch übernehmen? Diese Grenzen sind keine technische Frage, sondern eine Führungsentscheidung.

Wer diese Grenzen nicht definiert, bekommt eines von zwei Ergebnissen: Entweder traut sich niemand, den Agenten wirklich laufen zu lassen, oder er läuft mit Spielräumen, die niemand bewusst freigegeben hat.

Eskalation: Was passiert, wenn es unklar wird

Ein guter Agent erkennt nicht nur, was er tun soll, sondern auch, wann er es nicht tun darf. Das nennt man Eskalation: Bei rechtlich oder wirtschaftlich relevanten Fragen muss ein Mensch übernehmen.

Konkret heißt das, vorab festzulegen: Welche Fälle sind Standard und laufen durch? Welche sind Ausnahmen und gehen an einen Menschen? Wer ist dieser Mensch, und sieht er die Eskalation rechtzeitig?

Das ist die gleiche Logik, die ein erfahrener Mitarbeiter im Kopf hat. Er weiß, wann er selbst entscheidet und wann er zum Chef geht. Beim Agenten muss dieses Wissen einmal ausgesprochen werden. Wie man dieses implizite Wissen erfasst, zeigt der Artikel zur [KI-Prozessdokumentation](/blog/ki-prozessdokumentation-einfuehrung).

Wer haftet, wenn ein Agent einen Fehler macht

Hier kursieren viele Halbwahrheiten. Die nüchterne Lage: Eine KI trägt keine Verantwortung. Die Verantwortung bleibt beim Unternehmen und seiner Geschäftsführung, so wie bei jedem anderen Betriebsmittel auch.

Der EU AI Act verschärft das Bußgeldrisiko für das Unternehmen, schafft aber keine neue persönliche Haftung der Geschäftsführung für jede Fehlausgabe. Was bereits gilt, ist die Sorgfaltspflicht: Wer ein System einsetzt, muss sicherstellen, dass es kontrolliert läuft. Was davon konkret für KMU gilt, klärt die [EU AI Act Checkliste für Unternehmen](/blog/eu-ai-act-checkliste-unternehmen).

Praktisch bedeutet das drei Dinge: Jede Agenten-Interaktion sollte nachvollziehbar gespeichert sein. Es muss klar sein, wer den Handlungsspielraum freigegeben hat. Und bei kundenrelevanten Ausgaben braucht es einen menschlichen Kontrollpunkt.

Warum klare Verantwortung mutiger macht

Es klingt paradox: Je präziser die Verantwortungsräume definiert sind, desto mutiger kann ein Betrieb KI einsetzen.

Der Grund ist einfach. Unsicherheit bremst. Solange niemand genau weiß, was der Agent darf, bleibt das System im Testmodus stecken. Warum so viele Piloten genau an dieser Stelle hängenbleiben, zeigt der Artikel zu [KI-Piloten, die im Regelbetrieb scheitern](/blog/ki-pilot-scheitert-regelbetrieb).

Sind die Grenzen klar, fällt das Loslassen leichter. Der Geschäftsführer muss nicht jede Aktion prüfen, weil er weiß, dass der Agent im definierten Rahmen handelt und bei Abweichung stoppt. Das ist kein Kontrollverlust. Das ist Führung, die einmal sauber gemacht wurde.

Wie der Einstieg realistisch aussieht

Nicht der gesamte Betrieb auf einmal, sondern ein einzelner Prozess. Erst die Grenzen definieren: Was darf der Agent, wo stoppt er, an wen eskaliert er, was wird dokumentiert. Dann erst die Technik.

Vier Wochen für einen klar abgegrenzten Prozess sind realistisch. Eine systematische Übersicht gibt der Leitfaden zur [KI-Einführung im Mittelstand Schritt für Schritt](/blog/ki-einfuehrung-mittelstand-schritt-fuer-schritt).

Häufige Fragen

Haftet der Geschäftsführer persönlich für Fehler eines KI-Agenten? Eine neue persönliche Haftung für jede Fehlausgabe entsteht durch den EU AI Act nicht. Das Bußgeldrisiko trifft das Unternehmen. Die bestehende Sorgfaltspflicht der Geschäftsführung gilt aber wie bei jedem Betriebsmittel: Das System muss kontrolliert eingesetzt werden.

Was bedeutet Human-in-the-Lead konkret? Der Mensch erledigt nicht jede Aufgabe selbst, definiert aber den Rahmen: Ziele, Grenzen, Eskalationsregeln. Er führt das System, statt nur am Ende zu prüfen. Das ist der Unterschied zum bloßen Human-in-the-Loop.

Ab welcher Komplexität wird Agenten-Governance wichtig? Sobald ein System mehr tut, als nur Vorschläge zu machen. Wenn es mehrere Schritte verbindet, Folgeaufgaben auslöst oder Entscheidungen vorbereitet, reicht der Mensch als letzter Haken nicht mehr.

Wie wird eine Agenten-Entscheidung nachvollziehbar? Durch einen Audit-Trail: Jede Interaktion wird gespeichert, auch über längere Zeiträume. So lässt sich später rekonstruieren, was der Agent auf welcher Grundlage getan hat.

Brauchen wir dafür eigene KI-Fachkräfte? Nein. Die Definition der Verantwortungsräume ist eine fachliche und führungsbezogene Aufgabe, keine technische. Wichtiger als KI-Wissen ist das Verständnis des eigenen Prozesses.

---

Wenn Sie wissen wollen, welche Entscheidungen ein KI-Agent in Ihrem Betrieb sicher übernehmen könnte und wo der Mensch führen muss, biete ich einen kostenfreien 90-Minuten-Workshop an. Keine Präsentation. Wir schauen gemeinsam auf einen konkreten Prozess. Wie ein Agent dann entsteht, zeigt die Seite zum [KI Sprint](/ki-sprint).