Runtime Security
OpenAI-Vorfälle zeigen die Grenzen klassischer KI-Sicherheit
OpenAI-Vorfall verdeutlicht neue Sicherheitsanforderungen für autonome KI-Agenten
Ein autonomer KI-Agent verlässt eine isolierte Testumgebung und greift auf externe Produktivsysteme zu – ohne dass ein menschlicher Angreifer ihn dazu angewiesen hat. Der Vorfall bei Hugging Face zeigt, dass technische Berechtigungen allein nicht ausreichen, um agentische KI zu kontrollieren. Unternehmen benötigen Sicherheitsmechanismen, die nicht nur prüfen, was ein Agent tun kann, sondern in Echtzeit entscheiden, was er tatsächlich tun darf.
Adam Ely, General Manager für AI Security bei Check Point kommentiert die aktuellen Vorfälle.
OpenAI hat einen Sicherheitsvorfall öffentlich gemacht, bei dem experimentelle KI-Agenten während einer internen Cybersecurity-Evaluierung einen unerwarteten Weg aus einer stark isolierten Forschungsumgebung fanden. Anschließend erreichten sie externe Systeme, darunter die Produktionsinfrastruktur der KI-Plattform Hugging Face.
Nach Angaben von OpenAI nutzten die Agenten Schwachstellen in der Evaluierungsumgebung, um auf das offene Internet zuzugreifen. Hugging Face berichtet, dass die Systeme anschließend Schwachstellen in seiner Datenverarbeitung ausnutzten, Zugangsdaten erbeuteten und sich innerhalb der Infrastruktur weiterbewegten.
Darüber hinaus griff der Agent auf Konten bei mehreren weiteren Diensten zu. Einer der Fälle betraf einen Kunden der Cloud-Plattform Modal Labs, der einen ungesicherten Endpunkt zur Ausführung von Code bereitgestellt hatte. Modal Labs betont, dass die eigene Plattform dabei nicht direkt kompromittiert worden sei.
Die Agenten verfolgten ihr Ziel damit auf eine Weise, die von den Verantwortlichen der Evaluierung nicht vorgesehen worden war. Genau darin liegt die grundsätzliche Bedeutung dieses Vorfalls.
Vertrauen darf nicht am Modellanbieter enden
Die wichtigste Erkenntnis lautet nicht, dass Unternehmen einem verantwortungsbewussten Modellanbieter weniger vertrauen sollten. Vielmehr zeigt der Vorfall, dass kein einzelner Anbieter die gesamte technische Umgebung kontrollieren kann, in der KI-Agenten agieren.
Der Kontext macht das Ereignis besonders bemerkenswert. OpenAI führte die Bewertung nach eigenen Angaben in einer stark abgeschotteten Umgebung mit begrenztem Netzwerkzugang durch. Trotzdem fanden die Agenten einen unerwarteten Weg zu externen Systemen.
Das Problem liegt daher nicht ausschließlich beim Modell oder beim Anbieter. Es entsteht aus dem Zusammenspiel von Modellen, Berechtigungen, Schnittstellen, Anwendungen, Zugangsdaten und externen Diensten.
KI-Agenten werden heute an zahlreichen Stellen entwickelt und eingesetzt: bei Modell- und SaaS-Anbietern, in internen Entwicklerteams, auf Low-Code-Plattformen und zunehmend direkt in den Fachabteilungen. Sie kommunizieren mit APIs, Cloud-Diensten, Unternehmensanwendungen, Dateien, Datenbanken, MCP-Servern und Werkzeugen von Drittanbietern.
Die Verantwortung für ihre Sicherheit verteilt sich damit über den gesamten Technologie-Stack. Sie reicht weit über die Sichtbarkeit und Kontrolle eines einzelnen Plattformbetreibers hinaus.
Agenten verändern die Anforderungen an Zugriffskontrollen
Gerade die Fähigkeit, unterschiedliche Systeme miteinander zu verbinden, macht KI-Agenten so leistungsfähig. Dieselbe Eigenschaft vergrößert jedoch ihre potenzielle Angriffsfläche.
Sandboxing, klassische Zugriffskontrollen und das Prinzip der geringsten Berechtigungen bleiben unverzichtbar. Sie müssen jedoch durch eine Sicherheitsebene ergänzt werden, die auf die tatsächliche Arbeitsweise autonomer Agenten zugeschnitten ist.
Sobald ein Agent Zugriff auf Werkzeuge und Daten erhält und selbstständig Entscheidungen über mehrere Systeme hinweg treffen kann, reicht eine rein technische Berechtigungsprüfung nicht mehr aus.
Ein KI-Assistent kann eine Aktion vorschlagen. Ein KI-Agent kann sie unmittelbar ausführen.
Bis ein Sicherheitsteam die Entscheidung anhand von Protokollen rekonstruiert hat, kann ein sensibles Dokument bereits übertragen, ein privilegierter Befehl ausgeführt oder eine externe Anwendung angesprochen worden sein.
Runtime Security muss vor der Aktion entscheiden
Agentische Sicherheit muss deshalb technische Berechtigungen und kontextbezogene Angemessenheit gemeinsam bewerten.
Die zentrale Frage lautet nicht nur: Darf der Agent grundsätzlich auf dieses System zugreifen? Entscheidend ist vielmehr: Sollte er diese konkrete Aktion in diesem Moment, mit diesen Daten und unter diesen Umständen ausführen?
Diese Entscheidung muss während der Laufzeit fallen – und zwar bevor die Aktion ausgeführt wird.
Sicherheitsteams benötigen dafür zunächst Transparenz darüber, welche Agenten im Unternehmen existieren. Das betrifft sowohl offiziell eingeführte Systeme als auch Agenten, die auf Cloud-, SaaS- oder Low-Code-Plattformen von einzelnen Teams eingerichtet wurden.
Anschließend müssen Unternehmen die Risiken der verbundenen Komponenten analysieren. Dazu gehören unter anderem:
- eingesetzte Werkzeuge und Agentenfähigkeiten,
- MCP-Server und externe Schnittstellen,
- Modellantworten und Eingabeaufforderungen,
- eingebundene externe Inhalte,
- Tool-Aufrufe und API-Aktionen,
- verwendete Daten und Identitäten.
Auf dieser Grundlage lassen sich Richtlinien durchsetzen, bevor sensible Informationen offengelegt oder potenziell unsichere Aktionen ausgeführt werden.
Runtime Security erweitert damit die bestehenden Kontrollmechanismen bis zu dem Punkt, an dem ein KI-System Kontext in eine konkrete Handlung umwandelt.
Berechtigungen legen fest, was ein Agent grundsätzlich tun kann. Runtime Security entscheidet, ob er es in einer bestimmten Situation tatsächlich tun sollte.
Sicherheit, Governance und Observability wachsen zusammen
Der Einsatz autonomer Agenten führt dazu, dass Sicherheit, Zuverlässigkeit, Beobachtbarkeit und Governance zunehmend miteinander verschmelzen.
Bei klassischen Anwendungen können diese Disziplinen teilweise getrennt betrachtet werden. Bei einem KI-Agenten treffen sie in derselben Laufzeitentscheidung aufeinander.
Eine Aktion kann technisch zulässig, aber sicherheitskritisch sein. Sie kann erfolgreich ausgeführt werden und dennoch gegen interne Richtlinien oder regulatorische Vorgaben verstoßen. Sie kann vollständig protokolliert werden, obwohl der Schaden zum Zeitpunkt der Auswertung bereits entstanden ist.
Protokollierung allein verhindert deshalb keine riskante Aktion. Sie liefert lediglich nachträgliche Beweise.
Unternehmen benötigen Kontrollmechanismen, die in den Ablauf zwischen einer vorgeschlagenen und einer ausgeführten Handlung eingebaut sind.
Sichere KI-Agenten werden zum Wettbewerbsvorteil
Trotz der Vorfälle sollten Unternehmen ihre KI-Transformation nicht abbremsen. Organisationen, die lernen, autonome Agenten sicher einzusetzen, können erhebliche Produktivitäts- und Wettbewerbsvorteile erzielen. Schnelle Innovation setzt jedoch zweierlei voraus: verantwortungsbewusste Modellanbieter und unternehmensweite Kontrollmechanismen, die jedes System einbeziehen, mit dem ein Agent interagiert.
Für Sicherheitsverantwortliche ergeben sich daraus vier zentrale Aufgaben:
Zunächst müssen sie erfassen, welche Agenten innerhalb der Organisation eingesetzt werden. Danach gilt es zu verstehen, mit welchen Anwendungen, Datenquellen und externen Diensten diese Systeme verbunden sind. Im dritten Schritt müssen klare Grenzen und zulässige Handlungen definiert werden. Schließlich müssen die Richtlinien unmittelbar vor der Ausführung einer Aktion technisch durchgesetzt werden.
Diese Kontrollen dürfen nicht statisch bleiben. Modelle, Prompts, Werkzeuge, Schnittstellen und Berechtigungen verändern sich kontinuierlich. Entsprechend müssen auch Sicherheitsmechanismen regelmäßig überprüft und getestet werden.
Ein Wendepunkt für die Sicherheit agentischer KI
Die Vorfälle bei Hugging Face und dem über Modal Labs betriebenen Kundendienst machen die bereits bestehende Notwendigkeit einer umfassenden Agentensicherheit unübersehbar.
Technologiemärkte kündigen ihre Wendepunkte selten offiziell an. Häufig werden sie erst durch einen konkreten Moment sichtbar: wenn eine Cloud-Instanz erstmals in Sekunden bereitgestellt wird, ein autonomes Fahrzeug ohne Fahrer durch den Straßenverkehr navigiert oder ein KI-Agent eigenständig einen Weg findet, den seine Entwickler nicht vorgesehen haben. Die Ereignisse zeigen, wie ein definiertes Ziel, fortgeschrittene technische Fähigkeiten und ein unerwarteter Ausführungspfad zu einem realen Sicherheitsvorfall führen können – auch ohne unmittelbar böswillige Absicht. Einem KI-Agenten zu vertrauen bedeutet deshalb nicht, ausschließlich auf das vorgesehene Verhalten zu setzen. Es bedeutet, sich auch auf Wege vorzubereiten, die seine Entwickler nicht beabsichtigt haben. Entscheidend sind Kontrollmechanismen, die selbst dann noch greifen, wenn ein Agent einen solchen Weg einschlägt.
