KI-Agenten
KI-Agenten sicher einsetzen: Tricentis gibt fünf Empfehlungen für Unternehmen
5 Tipps für Sicherheit, Governance und Risikomanagement
KI-Agenten entwickeln sich vom digitalen Assistenten zum eigenständig handelnden Akteur in Unternehmensnetzwerken. Sie schreiben Code, greifen auf sensible Daten zu und treffen Entscheidungen – häufig schneller, als Sicherheitsverantwortliche ihre Aktivitäten überprüfen können. Damit entsteht eine neue Herausforderung für die Cybersecurity: Unternehmen müssen die Autonomie ihrer KI-Systeme beherrschen, ohne deren Innovationspotenzial auszubremsen.
Wie dringend diese Frage ist, zeigt eine ungewöhnliche Einigkeit führender Köpfe der KI-Branche. Anthropic-CEO Dario Amodei warnte im September 2026 davor, dass autonome KI-Systeme innerhalb von sechs bis zwölf Monaten technisch in der Lage sein könnten, das Internet durch koordinierte Agentenschwärme zu kompromittieren. OpenAI-Chef Sam Altman und Elon Musk unterstützten seine Forderung, die Entwicklung leistungsfähiger KI-Systeme stärker an Sicherheitsmaßnahmen auszurichten.
Was auf globaler Ebene diskutiert wird, betrifft längst auch Unternehmen, die KI-Agenten in ihre Geschäftsprozesse integrieren. Denn mit wachsender Autonomie steigen die Anforderungen an Zugriffsrechte, Qualitätssicherung und Governance. Erika Dean, Chief Information Security Officer (CISO) beim Quality-Engineering-Anbieter Tricentis , erläutert fünf Maßnahmen, mit denen Unternehmen die Kontrolle über ihre KI-Agenten behalten können.
1. Vibe Coding braucht klare Sicherheitsleitplanken
KI-gestützte Entwicklungswerkzeuge ermöglichen es inzwischen auch Mitarbeitenden ohne umfassende Programmierkenntnisse, eigene Anwendungen zu erstellen. Beim sogenannten Vibe Coding entstehen aus natürlichsprachlichen Anweisungen funktionsfähige Programme, automatisierte Workflows oder KI-Agenten.
Was die Softwareentwicklung beschleunigt, kann allerdings eine neue Generation von Schatten-IT hervorbringen. Ohne zentrale Kontrolle verlieren Unternehmen schnell den Überblick darüber, welche Anwendungen existieren, auf welche Daten sie zugreifen und welche Berechtigungen sie besitzen.
Besonders kritisch wird es, wenn solche Anwendungen mit Entwicklungs-, Test- oder Produktivumgebungen verbunden werden. Fehlerhafte Konfigurationen oder unsichere Schnittstellen können dann unmittelbar Auswirkungen auf geschäftskritische Systeme haben.
Dean empfiehlt deshalb, unternehmensweit kontrollierte Entwicklungsplattformen einzusetzen, die Vibe Coding von Beginn an mit verbindlichen Sicherheits- und Qualitätsprüfungen verbinden.
Dazu gehören definierte Berechtigungen, automatisierte Codeprüfungen und nachvollziehbare Freigabeprozesse. Anwendungen, die auf Unternehmensdaten oder produktive Systeme zugreifen, sollten denselben Sicherheitsanforderungen unterliegen wie konventionell entwickelte Software.
Entscheidend ist, Innovation nicht durch Verbote auszubremsen, sondern sichere Rahmenbedingungen zu schaffen. Mitarbeitende sollen weiterhin experimentieren können, ohne dass daraus unkontrollierte Risiken für die IT-Landschaft entstehen.
2. KI-Agenten benötigen den richtigen Unternehmenskontext
Ein KI-Agent kann nur dann fundierte Entscheidungen treffen, wenn er die Umgebung versteht, in der er arbeitet.
Dazu reicht der Zugriff auf einzelne Dokumente oder Code-Repositories nicht aus. Agenten müssen beispielsweise wissen, welche Anwendungen miteinander verbunden sind, welche Architekturvorgaben gelten und welche Auswirkungen eine Änderung auf andere Systeme haben könnte.
Fehlen diese Zusammenhänge, entsteht eine gefährliche Diskrepanz zwischen technischer Leistungsfähigkeit und tatsächlichem Systemverständnis. Ein Agent kann zwar Code analysieren oder Tests ausführen, dabei aber wichtige Abhängigkeiten übersehen.
Die Folge sind möglicherweise unvollständige Bewertungen und eine trügerische Sicherheit bei der Freigabe von Software.
Eine Lösung sieht Dean in sogenannten Enterprise Context Engines. Sie verknüpfen Informationen aus unterschiedlichen Quellen, etwa Quellcode, Dokumentation, Ticketsystemen und Programmierschnittstellen, zu einem strukturierten Wissensmodell.
Damit erhalten KI-Agenten gezielt diejenigen Informationen, die sie für ihre jeweilige Aufgabe benötigen. Dabei gilt allerdings nicht das Prinzip „je mehr Daten, desto besser“. Große Mengen unstrukturierter Informationen können die Qualität der Ergebnisse verschlechtern. Entscheidend sind relevante, aktuelle und konsistente Kontextinformationen. Unternehmen sollten deshalb bereits vor dem produktiven Einsatz von KI-Agenten klären, wie sie benötigtes Wissen strukturiert bereitstellen und kontinuierlich aktualisieren.
3. Entscheidungen und Ergebnisse kontinuierlich überprüfen
Mit zunehmender Autonomie verändert sich auch die Qualitätssicherung. Klassische Prüfverfahren konzentrieren sich häufig auf fertige Software oder einzelne Verarbeitungsschritte. KI-Agenten hingegen können während eines laufenden Prozesses eigenständig Entscheidungen treffen, Werkzeuge aufrufen und Aktionen auslösen.
Eine einmalige Kontrolle reicht deshalb nicht mehr aus.
Dean empfiehlt eine automatisierte Governance-Ebene, die Ergebnisse und Entscheidungen von Agenten kontinuierlich gegen festgelegte Qualitäts- und Sicherheitsanforderungen überprüft. Dazu gehören Architekturvorgaben, Coding-Standards, interne Richtlinien und definierte Verhaltensregeln.
Besonders relevant wird diese Kontrolle in Multi-Agenten-Systemen, in denen mehrere spezialisierte KI-Agenten zusammenarbeiten. Während ein Agent beispielsweise Testfälle entwickelt, erzeugt ein anderer Testdaten und ein dritter bewertet die Performance. Die einzelnen Ergebnisse können technisch korrekt erscheinen, im Zusammenspiel jedoch widersprüchlich oder unvollständig sein.
Eine übergreifende Kontrollinstanz soll solche Abweichungen erkennen und sicherstellen, dass Entscheidungen auf konsistenten Informationen beruhen. Für sicherheitskritische Aktionen sind darüber hinaus technische Freigabemechanismen erforderlich. Die bloße Überprüfung eines Agenten-Outputs verhindert nicht automatisch, dass bereits eine unerwünschte Aktion ausgeführt wurde.
Deshalb sollten Unternehmen Validierung, Laufzeitüberwachung und verbindliche Freigabeprozesse miteinander kombinieren. Besonders risikoreiche Aktionen müssen sich bei Bedarf unmittelbar blockieren lassen.
4. Shift-Left-Security auf KI-Agenten ausweiten
Sicherheitslücken möglichst früh im Entwicklungsprozess zu erkennen, gehört seit Jahren zu den Grundprinzipien moderner Softwareentwicklung. Das als Shift-Left bekannte Konzept soll verhindern, dass Schwachstellen erst kurz vor der Produktivsetzung oder im laufenden Betrieb auffallen.
Bei KI-Agenten gewinnt dieser Ansatz zusätzlich an Bedeutung.
Denn anders als klassische Anwendungen verarbeiten Agenten nicht nur vorab definierte Abläufe. Sie interpretieren Anweisungen, greifen auf externe Informationen zu und entscheiden innerhalb ihrer Berechtigungen selbstständig über die nächsten Schritte. Dadurch entstehen neue Angriffsmöglichkeiten, etwa durch Prompt Injection, manipulierte Informationsquellen oder übermäßig weitreichende Zugriffsrechte.
Eine reine Prüfung des erzeugten Codes greift deshalb zu kurz. Unternehmen müssen auch das Verhalten der Agenten während der Ausführung berücksichtigen. Dean empfiehlt, Sicherheitsvorgaben bereits in der Konfiguration der Agenten verbindlich festzulegen.
Dazu gehört insbesondere das Least-Privilege-Prinzip: Ein Agent erhält ausschließlich diejenigen Berechtigungen, die er für seine konkrete Aufgabe benötigt. Wird ein Agent durch manipulierte Eingaben beeinflusst oder interpretiert er eine Anweisung falsch, begrenzen diese Zugriffsbeschränkungen den möglichen Schaden. Ergänzend bleiben automatisierte Schwachstellenscans, sichere Entwicklungsumgebungen und strukturierte Prozesse zur Behebung erkannter Sicherheitslücken notwendig.
Shift-Left bedeutet bei KI-Agenten deshalb mehr als sichere Softwareentwicklung: Sicherheitsanforderungen müssen bereits bei der Architektur, Konfiguration und Berechtigungsvergabe berücksichtigt und während des gesamten Betriebs durchgesetzt werden
5. Drittanbieter-Agenten als Teil der Lieferkette behandeln
Viele Unternehmen entwickeln ihre KI-Agenten nicht vollständig selbst. Stattdessen integrieren sie externe Modelle, Plattformen und spezialisierte Agenten in bestehende Geschäftsprozesse.
Damit erweitert sich jedoch auch die digitale Lieferkette.
Ein kompromittiertes Softwareupdate, eine unsichere Schnittstelle oder Schwachstellen in der Infrastruktur eines Anbieters können sich unmittelbar auf die eigene IT-Sicherheit auswirken. Unternehmen sollten KI-Anbieter deshalb nicht ausschließlich anhand ihrer Funktionen oder Leistungsfähigkeit bewerten.
Wichtige Kriterien sind die Transparenz der Sicherheitsarchitektur, dokumentierte Betriebsstandards, nachvollziehbare Updateprozesse und der Umgang mit bekannten Schwachstellen. Auch die Erfahrung eines Anbieters kann bei der Bewertung helfen. Eine lange Marktpräsenz allein ist allerdings kein ausreichender Nachweis für sichere KI-Systeme.
Besondere Aufmerksamkeit verdienen die Schnittstellen, über die Agenten externe Werkzeuge und Datenquellen nutzen. Eine wichtige Rolle spielt dabei das Model Context Protocol (MCP), das die Anbindung von KI-Anwendungen an externe Systeme standardisiert.
Dean empfiehlt, externe MCP-Verbindungen möglichst über kontrollierte interne Schnittstellen oder Proxys abzusichern. Solche Kontrollpunkte können beispielsweise Zugriffsrechte begrenzen, Datenflüsse überprüfen und unzulässige Aktionen blockieren. Ergänzend sollten technische Abschaltmechanismen, sogenannte Kill Switches, vorhanden sein, um problematische Agenten oder Verbindungen bei Bedarf sofort deaktivieren zu können. Damit lässt sich verhindern, dass externe KI-Komponenten unkontrolliert auf interne Systeme zugreifen oder sicherheitskritische Prozesse beeinflussen.
KI-Governance wird zur operativen Sicherheitsaufgabe
Die Warnungen führender KI-Entwickler zeigen, dass die zunehmende Autonomie künstlicher Intelligenz nicht mehr ausschließlich als Zukunftsszenario diskutiert wird. Für Unternehmen ist die Herausforderung bereits konkret: KI-Agenten übernehmen Aufgaben, die bisher Menschen oder streng kontrollierten Softwareprozessen vorbehalten waren.
Dabei verändern sich auch die Anforderungen an die Cybersecurity. Es genügt nicht mehr, lediglich Benutzeridentitäten, Anwendungen und Daten abzusichern. Unternehmen müssen zusätzlich kontrollieren können, welche Entscheidungen autonome Systeme treffen, welche Aktionen sie ausführen dürfen und wie sich unerwünschtes Verhalten stoppen lässt.
Die fünf Empfehlungen von Tricentis verdeutlichen, dass dafür kein einzelnes Sicherheitswerkzeug ausreicht. Notwendig ist ein Zusammenspiel aus kontrollierten Entwicklungsumgebungen, relevantem Unternehmenskontext, kontinuierlicher Qualitätssicherung, restriktiven Berechtigungen und einer konsequenten Überprüfung externer KI-Komponenten.
„Die Frage ist nicht mehr, ob Unternehmen KI-Agenten einsetzen, sondern wie schnell sie lernen, sie zu kontrollieren“, sagt Erika Dean, Chief Information Security Officer bei Tricentis. „Ein Agent, der die eigene Systemlandschaft nicht kennt und dessen Entscheidungen niemand gegenprüft, trifft zwangsläufig irgendwann eine Fehlentscheidung – nur eben automatisiert und im großen Stil. Wer jetzt in Governance und Sicherheitskontrollen investiert, verhindert genau das.“
Die entscheidende Erkenntnis: Je autonomer KI-Agenten handeln, desto wichtiger werden technische Kontrollmechanismen, die unabhängig von ihren Entscheidungen funktionieren. Unternehmen, die solche Leitplanken frühzeitig etablieren, schaffen die Voraussetzungen, um die Produktivitätsvorteile agentischer KI zu nutzen, ohne dabei die Kontrolle über ihre digitale Infrastruktur zu verlieren.
