Wenn KI-Agenten außer Kontrolle geraten

KI-Agenten verändern nicht nur Arbeitsabläufe – sie verändern die Dimension möglicher Fehler. Wo autonome Systeme in Maschinengeschwindigkeit Daten verändern, Transaktionen auslösen oder produktive Systeme steuern, kann ein Mensch als letzte Kontrollinstanz schlicht zu langsam sein. Unternehmen brauchen deshalb neben menschlicher Aufsicht eine neue Sicherheitsdisziplin: Fehler von KI-Agenten müssen sich präzise und möglichst ohne Kollateralschäden rückgängig machen lassen.

Rick Vanover von Veeam erklärt, warum Unternehmen für Agentic AI eine Art digitale Undo-Taste brauchen: granulare Wiederherstellung statt großflächiger Rollbacks.

Wenn KI-Risiken zu Betriebsrisiken werden

Die Entwicklung Künstlicher Intelligenz schreitet mit enormem Tempo voran.

KI-Werkzeuge, die vor einem Jahr noch als modern galten, wirken heute teilweise bereits überholt. Gleichzeitig verändern sich auch die damit verbundenen Risiken.

Im Mittelpunkt steht längst nicht mehr nur die Frage, ob ein Modell falsche oder problematische Antworten produziert.

Mit der zunehmenden Verbreitung autonomer KI-Agenten verlagert sich das Risiko auf Daten, Anwendungen und operative Prozesse.

Damit werden KI-Risiken unmittelbar zu Geschäftsrisiken.

Agenten können heute eigenständig Inhalte veröffentlichen, Software bereitstellen, Daten verändern oder Aktionen in Unternehmenssystemen auslösen. Dafür benötigen sie teilweise weitreichende Berechtigungen – in einigen Fällen mehr, als menschliche Mitarbeiter besitzen.

Der Mensch ist langsamer als der Agent

Bislang gilt der „Human in the Loop“ als wichtiges Sicherheitsprinzip: Menschen prüfen Entscheidungen eines KI-Systems und greifen ein, wenn etwas schiefläuft. Bei autonomen Agenten stößt dieses Konzept jedoch an eine technische Grenze. Agenten handeln in Maschinengeschwindigkeit. Fehler können sich deshalb über Systeme und Datenbestände ausbreiten, bevor ein Mensch überhaupt erkannt hat, was passiert ist. Hinzu kommt ein weiteres Problem: Fehler sehen nicht zwangsläufig wie Fehler aus. Eine Aktion kann technisch korrekt ausgeführt werden und dennoch auf einer falschen Annahme oder fehlerhaften Datengrundlage beruhen. Die Folgen reichen von fehlerhaften Transaktionen über unterbrochene Geschäftsprozesse bis hin zu massiven Betriebsstörungen.

Wenn ein Unternehmen den Fehler erst Minuten oder Stunden später erkennt, ist möglicherweise längst nicht mehr nachvollziehbar, welche Veränderungen der Agent vorgenommen hat. Dann bleibt häufig nur ein umfassender System-Rollback. Und genau dieser kann selbst erhebliche Kosten und Ausfallzeiten verursachen.

Unternehmen brauchen ein „Undo“ für KI-Agenten

Für menschliche Fehler existiert in vielen Anwendungen eine einfache Lösung: rückgängig machen. Für autonome KI-Systeme benötigt die Unternehmens-IT ein vergleichbares Prinzip.

Statt komplette Systeme oder Datenbanken auf einen früheren Zustand zurückzusetzen, sollten Unternehmen nachvollziehen können, welche Änderungen ein Agent konkret vorgenommen hat – und genau diese Änderungen gezielt zurücknehmen.

Das verändert auch die Anforderungen an Backup und Recovery.

Künftig reicht es nicht mehr, lediglich vollständige Systeme wiederherstellen zu können. Entscheidend wird eine änderungsbasierte Wiederherstellung, die einzelne Aktionen, Objekte oder Datensätze rekonstruieren und gezielt zurücksetzen kann. KI-Agenten verfügen häufig über weitreichende Rechte – Die Dringlichkeit wächst mit der Verbreitung agentenbasierter KI.

Nach Untersuchungen von McKinsey experimentieren bereits mehr als 60 Prozent der Unternehmen mit KI-Agenten. Gleichzeitig zeigen Untersuchungen zu Non-Human Identities, dass viele dieser Maschinenidentitäten mit umfangreichen oder übermäßigen Berechtigungen ausgestattet sind.

Das schafft ein erhebliches Risikopotenzial.

Eine falsche Entscheidung auf Basis fehlerhafter Daten könnte beispielsweise dazu führen, dass ein Agent innerhalb weniger Sekunden Datensätze verändert, Produktionssysteme beeinträchtigt oder sogar Datenbanken und Sicherungen löscht. Der entscheidende Unterschied zu klassischen menschlichen Fehlern liegt in der Geschwindigkeit und Skalierbarkeit. Ein Mitarbeiter kann einen falschen Datensatz ändern. Ein Agent kann dieselbe Aktion automatisiert tausendfach ausführen. Parallel steigt die Zahl maschineller Identitäten in Unternehmen.

Schätzungen zufolge übersteigt die Zahl der Non-Human Identities die Zahl menschlicher Mitarbeiter in vielen Organisationen bereits deutlich. Damit verändert sich auch die Grundlage klassischer Sicherheitsmodelle. Zero-Trust-Architekturen wurden ursprünglich vor allem für menschliche Nutzer, Geräte und definierte Zugriffspfade entwickelt.

KI-Agenten funktionieren anders.

Sie greifen über APIs, Anwendungen und automatisierte Workflows direkt auf Daten zu und können innerhalb kürzester Zeit zahlreiche Systeme miteinander verbinden. Klassische Endpunkt- oder identitätszentrierte Kontrollen reichen deshalb allein nicht mehr aus. Hinzu kommen sogenannte Shadow Agents – KI-Agenten, die außerhalb zentraler Governance-Strukturen eingeführt oder betrieben werden. Zero Trust muss bis auf die Datenebene reichen Die Konsequenz daraus ist eine stärkere Absicherung der Daten selbst. Governance-Regeln sollten nicht nur an Anwendungen oder Identitäten gebunden sein, sondern unmittelbar auf Datenebene durchgesetzt werden. Klassifizierung, Maskierung und Zugriffskontrollen können beispielsweise dafür sorgen, dass sensible Informationen bereits geschützt sind, bevor ein Agent darauf zugreifen kann.

Nicht mehr allein die Frage „Wer darf auf das System zugreifen?“ steht im Mittelpunkt, sondern zunehmend auch: Welche Daten darf ein autonomer Agent sehen, verändern oder weitergeben?

Präzise Wiederherstellung statt großflächigem Rollback

Auch Recovery-Strategien müssen sich entsprechend weiterentwickeln. Klassische vollständige Rollbacks sind vergleichsweise grobe Instrumente. Sie können zwar Systeme auf einen früheren Zustand zurücksetzen, verursachen dabei aber möglicherweise zusätzliche Datenverluste oder Betriebsunterbrechungen.

Für agentenbasierte Systeme ist deshalb ein granularer Ansatz erforderlich.

Wer Änderungen einzelnen Agenten, Datensätzen und Abhängigkeiten zuordnen kann, erhält die Möglichkeit, exakt jene Aktionen rückgängig zu machen, die einen Fehler verursacht haben. Statt ein gesamtes System zurückzusetzen, würde beispielsweise nur die von einem Agenten vorgenommene Änderung an bestimmten Datensätzen korrigiert. Recovery wird damit vom Notfallinstrument zum operativen Kontrollmechanismus. Human in the Loop bleibt wichtig – reicht aber nicht mehr Die menschliche Kontrolle verliert dadurch nicht ihre Bedeutung.

Menschen sollten weiterhin Regeln definieren, Entscheidungen überwachen und Verantwortung für den Einsatz autonomer Systeme tragen. Doch sie können nicht darauf angewiesen sein, jeden Fehler rechtzeitig zu erkennen und manuell zu stoppen. Die Geschwindigkeit autonomer Systeme verlangt zusätzliche technische Schutzmechanismen. Dazu gehören begrenzte Berechtigungen, Datenklassifizierung, vollständige Protokollierung agentischer Aktionen und vor allem granulare Wiederherstellungsmöglichkeiten. Denn der entscheidende Maßstab für sichere Agentic AI wird künftig nicht sein, ob Fehler vollständig verhindert werden können. Entscheidend ist, wie schnell und präzise Unternehmen sie korrigieren können. Wenn ein KI-Agent Fehler macht, sollte deshalb nicht automatisch die gesamte Infrastruktur zurückgesetzt werden müssen. Im Idealfall genügt künftig das digitale Äquivalent einer Return- oder Undo-Taste.