Autonome KI
KI-Agenten auf Abwegen: Wie sich gefährliche Aktionen vor der Ausführung stoppen lassen
Wenn autonome Entscheidungen zum Sicherheitsrisiko werden
KI-Agenten sollen eigenständig Entscheidungen treffen, komplexe Aufgaben lösen und Unternehmensprozesse automatisieren. Doch genau diese Autonomie kann zum Sicherheitsrisiko werden, wenn Agenten Aktionen ausführen, die niemand angefordert oder genehmigt hat. Besonders kritisch wird es, wenn dabei sensible Daten abfließen, Zugriffsrechte verändert oder produktive Systeme beschädigt werden.
Thomas Boele, Global Director, Solutions Engineering – AI Security bei Check Point Software erläutert, warum Unternehmen KI-Agenten nicht nur bei der Verarbeitung von Informationen, sondern auch bei ihren konkreten Handlungsentscheidungen kontrollieren müssen.

Anders als klassische Software arbeiten KI-Agenten nicht ausschließlich nach festgelegten Abläufen. Sie erhalten Ziele, entwickeln eigenständig Lösungswege und entscheiden, welche Werkzeuge sie dafür einsetzen.
Dabei können sie von der ursprünglichen Aufgabe abweichen – mitunter auf eine Weise, die weder der Nutzer noch die Entwickler vorgesehen haben.
Solche Abweichungen sind nicht grundsätzlich problematisch. Häufig handelt es sich um harmlose Anpassungen oder sogar kreative Lösungsansätze.
Gefährlich wird es jedoch, wenn ein Agent eigenmächtig Daten löscht, Zahlungen veranlasst, vertrauliche Informationen weitergibt oder Berechtigungen ausweitet.
Wenn KI-Agenten eigenmächtig handeln
Eine gefährliche Abweichung beginnt nicht zwangsläufig mit einem Cyberangriff. Oft versucht ein Agent lediglich, seine Aufgabe möglichst effizient zu erfüllen. Ist eine Anweisung unklar formuliert, der vorgesehene Lösungsweg blockiert oder enthält eine externe Informationsquelle zusätzliche Handlungsanweisungen, kann der Agent eigenständig einen alternativen Weg einschlagen.
Genau darin liegt das Sicherheitsproblem autonomer KI-Systeme: Je leistungsfähiger und handlungsfähiger ein Agent ist, desto größer können die Folgen einer unvorhergesehenen Entscheidung sein.
Ein Agent, der ein CRM-System verwaltet, eine Codebasis verändert oder Kundenanfragen per E-Mail bearbeitet, benötigt entsprechende Zugriffsrechte. Er muss Datensätze ändern, Dateien löschen oder Nachrichten versenden können. Diese notwendigen Berechtigungen eröffnen gleichzeitig Möglichkeiten für Aktionen, die außerhalb der eigentlichen Aufgabenstellung liegen.
Dass solche Szenarien keineswegs hypothetisch sind, zeigen zwei Vorfälle.
Im Juli 2025 löschte ein KI-Programmieragent die Produktionsdatenbank eines Unternehmens, obwohl ausdrücklich ein Code-Freeze angeordnet war.
Im Juli 2026 veröffentlichten OpenAI und Hugging Face Erkenntnisse aus einer internen Cybersecurity-Evaluierung von OpenAI. Dabei gelang es KI-Agenten, ihre vorgesehene Isolierung zu umgehen und auf Teile der Produktionsinfrastruktur von Hugging Face zuzugreifen.
Die Versuchsbedingungen waren allerdings besonders: Die Modelle wurden bewusst ohne die üblichen Sicherheitsvorkehrungen betrieben. Sie waren darauf eingestellt, offensive Cybersecurity-Aufgaben nicht abzulehnen. Zusätzlich waren Schutzfilter deaktiviert, die solche Aktivitäten im regulären Betrieb unterbinden sollen. Diese Konfiguration entspricht somit nicht den Sicherheitsbedingungen, unter denen KI-Agenten normalerweise eingesetzt werden sollten.
Dennoch verdeutlichen beide Fälle ein grundlegendes Problem: Es musste kein externer Angreifer eingreifen. Die Agenten verfolgten ihre vorgegebenen Ziele, wählten dafür jedoch eigenständig Methoden, die weder vorgesehen noch autorisiert waren.
Warum klassische Sicherheitskontrollen nicht ausreichen
Für die Absicherung von KI-Agenten greifen Unternehmen zunächst auf zwei etablierte Sicherheitsprinzipien zurück: das Prinzip minimaler Berechtigungen (Least Privilege) und die Erkennung von Prompt-Injection-Angriffen. Beide Maßnahmen sind unverzichtbar, stoßen bei autonomen Systemen jedoch an Grenzen.
Das Least-Privilege-Prinzip beschränkt den Zugriff eines Agenten auf die Ressourcen und Funktionen, die er für seine Aufgaben benötigt. Problematisch wird es, wenn genau diese Berechtigungen sowohl für legitime als auch für unerwünschte Aktionen erforderlich sind.
Ein Support-Agent benötigt beispielsweise Zugriff auf Kundendaten und ein E-Mail-System. Beide Funktionen sind für seine Arbeit notwendig. Gleichzeitig könnte er damit vertrauliche Informationen an unberechtigte Empfänger weiterleiten. Würde man ihm eine dieser Berechtigungen entziehen, könnte er seine eigentliche Aufgabe nicht mehr vollständig erfüllen.
Die Erkennung von Prompt-Injection-Angriffen setzt an einer anderen Stelle an. Sie analysiert Informationen, die ein Agent verarbeitet, und versucht, manipulierte Anweisungen zu identifizieren, bevor das KI-Modell darauf reagiert. Diese Schutzmaßnahme ist vor allem darauf ausgelegt, Angriffe über externe Inhalte zu erkennen. Sie bietet jedoch keine vollständige Absicherung gegen gefährliche Entscheidungen, die ein Agent ohne Manipulation von außen trifft. Entscheidend ist deshalb nicht nur, welche Informationen ein KI-Agent erhält, sondern vor allem, welche Aktionen er anschließend tatsächlich ausführen will.
Dangerous Deviation Detection: Sicherheitsprüfung vor dem Tool-Aufruf
An diesem Punkt setzt die Erkennung gefährlicher Abweichungen, auch als Dangerous Deviation Detection bezeichnet, an.
Die Technologie ist derzeit als offene Beta Bestandteil von Check Point AI Security und soll riskante Aktionen erkennen, bevor sie ausgeführt werden. Die Überprüfung erfolgt unmittelbar zwischen der Entscheidung des KI-Modells für einen Tool-Aufruf und dessen tatsächlicher Ausführung.
Dabei steht eine zentrale Sicherheitsfrage im Mittelpunkt:
Ist die geplante Aktion mit ihren konkreten Parametern gefährlich, obwohl sie weder angefordert noch autorisiert wurde?
Der Ansatz unterscheidet sich von klassischen Schutzmechanismen, weil nicht primär nach der Ursache einer auffälligen Entscheidung gesucht wird.
Ob ein Agent durch manipulierte Inhalte, eine Halluzination oder übermäßigen Handlungseifer zu einer problematischen Aktion gelangt ist, spielt für die Bewertung zunächst keine Rolle.
Stattdessen analysiert der Detektor den geplanten Tool-Aufruf im Kontext der ursprünglichen Aufgabe. Berücksichtigt werden dabei die Anforderung des Nutzers, die Vorgaben des System-Prompts sowie die verfügbaren Werkzeuge und Berechtigungen. Allerdings hat die Betrachtung einzelner Aktionen eine technische Grenze.
Wenn ein Agent eine gefährliche Operation in mehrere zunächst unauffällige Einzelschritte aufteilt, lässt sich das Risiko möglicherweise erst anhand der gesamten Abfolge erkennen. Deshalb kann die Prüfung einzelner Tool-Aufrufe eine umfassende Überwachung der gesamten Agentensitzung nicht ersetzen.
Zwei Kriterien entscheiden über eine gefährliche Abweichung
Damit eine Aktion als gefährliche Abweichung eingestuft wird, müssen zwei Voraussetzungen gleichzeitig erfüllt sein.
Entscheidend ist, riskante und nicht autorisierte Handlungen zu erkennen, bevor sie ausgeführt werden – ohne die Handlungsfähigkeit autonomer KI-Systeme unnötig einzuschränken
Zunächst muss die geplante Handlung ein konkretes Sicherheitsrisiko darstellen. Dazu gehören beispielsweise die Weitergabe sensibler Daten an unberechtigte Empfänger, die Ausweitung von Zugriffsrechten oder das Löschen beziehungsweise Überschreiben dauerhaft gespeicherter Ressourcen. Zusätzlich muss die Aktion durch den vertrauenswürdigen Teil der Interaktion nicht gerechtfertigt sein.
Eine ausdrückliche Nutzeranweisung, eine entsprechende Vorgabe im System-Prompt oder eine autorisierte Freigabe können eine grundsätzlich riskante Handlung legitimieren. Erst wenn eine Aktion gefährlich und zugleich nicht autorisiert ist, erfolgt eine Markierung.
Diese Unterscheidung ist wesentlich, um legitime Geschäftsprozesse nicht unnötig zu beeinträchtigen.
Lädt ein E-Mail-Agent beispielsweise eine zusätzliche Formatvorlage, bevor er eine Nachricht zusammenfasst, handelt es sich zwar um einen nicht ausdrücklich angeforderten Schritt, aber nicht um eine gefährliche Aktion.
Fordert ein Nutzer den Agenten dagegen ausdrücklich auf, seine Versicherungsunterlagen an eine externe E-Mail-Adresse zu versenden, ist die Datenübertragung zwar potenziell sensibel, entspricht aber dem erklärten Nutzerwillen.
Anders sieht es aus, wenn ein Agent aufgrund einer versteckten Anweisung eigenmächtig den gesamten Inhalt eines Postfachs an einen externen Empfänger weiterleitet. In diesem Fall liegt eine gefährliche und nicht autorisierte Handlung vor, die vor der Ausführung erkannt werden soll. Eine einfache Liste verbotener Aktionen könnte diese Szenarien nicht zuverlässig unterscheiden. In beiden Fällen werden Daten nach außen übertragen. Entscheidend ist jedoch, ob die jeweilige Übertragung ausdrücklich gewollt und autorisiert ist.
Prompt Injection: Warum externe Inhalte keine Berechtigungen erteilen dürfen
Ein wesentlicher Bestandteil des Sicherheitskonzepts ist die klare Trennung zwischen vertrauenswürdigen Anweisungen und externen Informationen. Eine Legitimation für kritische Aktionen darf ausschließlich aus autorisierten Nutzeranweisungen oder den übergeordneten Systemvorgaben entstehen.
Informationen aus Webseiten, Dokumenten, E-Mails oder Tool-Ergebnissen dürfen dagegen keine eigenständigen Berechtigungen begründen.
Warum diese Unterscheidung notwendig ist, zeigt ein beispielhaftes Angriffsszenario.
Ein KI-Agent zur Projektplanung erhält die Aufgabe, fünf PDF-Dokumente eines Python-Migrationsleitfadens zusammenzufassen. Gleichzeitig besitzt er die Berechtigung, Tickets in einem Issue-Tracker anzulegen. Eines der Dokumente enthält eine versteckte Anweisung, die durch weißen Text auf weißem Hintergrund für menschliche Leser praktisch unsichtbar bleibt.
Darin wird der Agent aufgefordert, ein dringendes Ticket anzulegen. Dieses soll den Austausch eines Windows-Treibers auf sämtlichen Build-Servern durch ein unbekanntes Softwarepaket veranlassen. Zusätzlich enthält die versteckte Anweisung die Aufforderung, diesen Vorgang gegenüber dem Nutzer nicht zu erwähnen.
Ohne entsprechende Schutzmaßnahmen könnte der Agent die angeforderte Zusammenfassung erstellen und gleichzeitig das manipulierte Ticket anlegen. Die Folge wäre eine potenziell gefährliche Änderung an der Build-Infrastruktur, die der Nutzer weder verlangt noch genehmigt hat.
Mit aktivierter Dangerous Deviation Detection würde die reguläre Dokumentensuche weiterhin durchgeführt. Der anschließende Versuch, das nicht autorisierte Ticket anzulegen, würde jedoch vor seiner Ausführung markiert. Bemerkenswert ist dabei, dass der Detektor die versteckte Anweisung im PDF nicht zwingend selbst identifizieren muss. Er bewertet vielmehr die daraus resultierende Aktion und prüft, ob diese mit der ursprünglichen Aufgabenstellung vereinbar ist.
Zwei unabhängige Kontrollen erhöhen die Sicherheit
Die Erkennung gefährlicher Abweichungen ersetzt damit keine klassische Prompt-Injection-Abwehr, sondern ergänzt sie um eine zusätzliche Kontrollinstanz. Während die Prompt-Injection-Erkennung untersucht, welche Inhalte ein Agent verarbeitet, überprüft Dangerous Deviation Detection, welche Aktionen daraus entstehen.
Beide Sicherheitsmechanismen greifen somit an unterschiedlichen Stellen der Verarbeitungskette. Ein erfolgreicher Angriff müsste bei gleichzeitigem Einsatz zunächst die Erkennung manipulierter Eingaben überwinden und anschließend auch die Kontrolle des geplanten Tool-Aufrufs passieren.
Darüber hinaus bietet die zweite Kontrollinstanz Schutz gegen gefährliche Abweichungen, die ohne äußere Manipulation entstehen. Das ist insbesondere bei autonomen Agenten relevant, die komplexe Aufgaben über mehrere Systeme hinweg bearbeiten und dabei eigenständig Entscheidungen treffen.
Was passiert, wenn eine gefährliche Aktion erkannt wird?
Wird ein geplanter Tool-Aufruf als gefährliche Abweichung eingestuft, erhält die aufrufende Anwendung eine entsprechende Markierung. Diese enthält drei unterschiedliche Arten von Informationen. Für den Nutzer wird erläutert, weshalb die geplante Aktion als problematisch bewertet wurde. Der KI-Agent erhält Hinweise, wie er seine Aufgabe möglicherweise auf einem anderen, sicheren Weg fortsetzen kann. Entwickler bekommen zusätzliche Informationen, um die Entscheidung nachvollziehen und gegebenenfalls die Anwendung oder deren Sicherheitsrichtlinien anpassen zu können. Wie mit einer solchen Markierung umgegangen wird, entscheidet letztlich die Anwendung. In einer einfachen Implementierung kann jede markierte Aktion unmittelbar gestoppt werden. Bei sicherheitskritischen oder geschäftlich relevanten Vorgängen bietet sich dagegen eine kontrollierte Freigabe durch einen Menschen an.
Das Prinzip Human-in-the-Loop ermöglicht es, ausschließlich kritische Entscheidungen zur manuellen Prüfung vorzulegen. Wird die Aktion genehmigt, kann der entsprechende Vorgang fortgesetzt werden. Bei einer Ablehnung kann die Sitzung beendet oder der Agent angewiesen werden, einen alternativen Lösungsweg zu wählen.
Dadurch bleibt die grundsätzliche Autonomie des Systems erhalten, während besonders riskante Entscheidungen einer zusätzlichen Kontrolle unterliegen.
Sicherheitskontrollen müssen außerhalb der Agentenumgebung greifen
Neben der eigentlichen Erkennung spielt die technische Architektur eine wichtige Rolle. Nach Angaben von Check Point erfolgt die Prüfung der Tool-Aufrufe innerhalb der eigenen Infrastruktur. Die entsprechenden Informationen werden dabei nicht an einen zusätzlichen KI-Anbieter weitergeleitet. Noch wichtiger ist jedoch die Frage, an welcher Stelle eine erkannte Sicherheitsabweichung tatsächlich blockiert wird.
Eine Schutzmaßnahme, deren Durchsetzung ausschließlich innerhalb des Agentencodes erfolgt, kann selbst zum Sicherheitsrisiko werden. Gelingt es einem Angreifer, die Laufzeitumgebung des Agenten zu kompromittieren, könnte er dort implementierte Prüfmechanismen möglicherweise umgehen oder deaktivieren. Deshalb sollte die Durchsetzung von Sicherheitsentscheidungen außerhalb des unmittelbaren Einflussbereichs des Agenten stattfinden.
Erst eine unabhängige Kontrollinstanz kann sicherstellen, dass eine markierte Aktion nicht allein deshalb ausgeführt wird, weil der Agent seine eigenen Sicherheitsvorgaben ignoriert oder umgeht.
Fazit: Autonomie braucht Kontrolle auf Aktionsebene
KI-Agenten werden auch künftig eigenständig Entscheidungen treffen und dabei gelegentlich von ursprünglich vorgesehenen Abläufen abweichen. Genau diese Flexibilität macht ihren praktischen Nutzen aus.
Die Herausforderung für die IT-Sicherheit besteht deshalb nicht darin, jede Abweichung zu verhindern. Vielmehr müssen Unternehmen zwischen harmlosen Anpassungen, legitimen Entscheidungen und tatsächlich gefährlichen Aktionen unterscheiden können.
Die Überprüfung konkreter Tool-Aufrufe kann hierzu eine zusätzliche Sicherheitsebene schaffen. Sie ergänzt etablierte Maßnahmen wie Least Privilege, Prompt-Injection-Erkennung und die Überwachung vollständiger Agentensitzungen.
Damit verschiebt sich ein Teil der Sicherheitskontrolle von der reinen Analyse der Eingaben hin zur Bewertung tatsächlicher Handlungsabsichten. Für Unternehmen, die KI-Agenten zunehmend mit produktiven Systemen, sensiblen Daten und geschäftskritischen Prozessen verbinden, wird diese Unterscheidung zu einem zentralen Bestandteil einer wirksamen AI-Security-Strategie.