KI-Sicherheit bleibt ein Prozess

Neue NIST-Forschung zeigt: Ein bestandener Sicherheitstest und statische Guardrails reichen nicht aus, um dynamische KI-Systeme dauerhaft zu schützen.

KI-Systeme lassen sich nicht ein für alle Mal als sicher zertifizieren. Jede Änderung am Modell, an den Datenquellen oder an den verfügbaren Werkzeugen kann neue Angriffsmöglichkeiten eröffnen. Continuous Red Teaming wird deshalb vom punktuellen Sicherheitstest zu einem zentralen Bestandteil des laufenden KI-Betriebs.

Unternehmen integrieren generative KI zunehmend in Anwendungen, Geschäftsprozesse und autonome Agentensysteme. Gleichzeitig wächst die Erkenntnis, dass herkömmliche Sicherheitsprüfungen den dynamischen Charakter dieser Systeme nur unzureichend abbilden.

Ein bestandener Test gilt immer nur für ein bestimmtes Modell, eine konkrete Konfiguration und einen definierten Zeitpunkt. Produktive KI-Umgebungen verändern sich dagegen permanent: System-Prompts werden angepasst, Retrieval-Quellen ergänzt, Modelle aktualisiert und Agenten mit zusätzlichen Tools, APIs oder Berechtigungen ausgestattet. Auch die Nutzer bringen immer neue Inhalte und Kontexte in die Systeme ein.

Parallel dazu entwickeln Angreifer ihre Methoden weiter. Was heute als sicher gilt, kann bereits nach dem nächsten Update oder durch eine bislang unbekannte Prompt-Kombination angreifbar werden.

NIST: Universelle KI-Sicherheit bleibt unerreichbar

Eine aktuelle Untersuchung des US-amerikanischen National Institute of Standards and Technology (NIST) liefert eine wissenschaftliche Grundlage für diese Einschätzung. In dem im Mai 2026 veröffentlichten Fachartikel „Robust AI Security and Alignment: A Sisyphean Endeavor? “ beschreibt NIST-Wissenschaftler Apostol Vassilev grundlegende Grenzen bei der dauerhaften Absicherung und Ausrichtung von KI-Systemen.

Die zentrale Erkenntnis: Eine endliche Zahl von Sicherheitsregeln und Guardrails kann keinen universellen Schutz vor allen denkbaren böswilligen Eingaben garantieren. NIST leitet daraus die Notwendigkeit eines kontinuierlichen Modells ab, bei dem KI-Systeme fortlaufend überwacht, getestet und aktualisiert werden.

Das bedeutet nicht, dass Guardrails wirkungslos wären. Sie bleiben ein wichtiger Teil der Sicherheitsarchitektur. Die Forschung widerspricht jedoch der Vorstellung, dass sich ein KI-System nach einem erfolgreichen Test dauerhaft als sicher einstufen lässt.

Warum einmalige KI-Tests nicht ausreichen

Klassische Prüfprozesse folgen häufig einem linearen Muster: Eine Schwachstelle wird gefunden, behoben und anschließend geschlossen. Danach gilt die getestete Version als freigegeben.

Bei generativer KI funktioniert dieses Modell nur eingeschränkt. Natürliche Sprache bietet Angreifern nahezu unbegrenzte Möglichkeiten, schädliche Absichten zu verschleiern. Dazu gehören unter anderem Rollenspiele, indirekte Anweisungen, ungewöhnliche Formulierungen, mehrstufige Dialoge oder der Wechsel zwischen verschiedenen Sprachen.

Besonders komplex wird die Situation bei KI-Agenten. Angriffe müssen hier nicht zwangsläufig über eine direkte Nutzereingabe erfolgen. Manipulierte Anweisungen können auch in Dokumenten, E-Mails, Webseiten, Datenbanken oder API-Antworten verborgen sein. Greift ein Agent auf diese Inhalte zu, kann er die darin enthaltenen Anweisungen als vertrauenswürdig interpretieren.

Ein bestandener Test belegt daher lediglich, dass die bekannten Angriffsmethoden unter den getesteten Bedingungen abgewehrt wurden. Er beweist nicht, dass das System auch unbekannte Prompts, neue Datenquellen oder veränderte Angriffspfade zuverlässig erkennt.

Continuous Red Teaming als Sicherheitskreislauf

Unternehmen benötigen deshalb ein Betriebsmodell, das KI-Sicherheit als fortlaufenden Kreislauf versteht. Check Point beschreibt diesen Prozess anhand der Schritte:

Discover → Threat Model → Red Team → Prioritize → Harden → Protect → Monitor → Re-test

Am Anfang steht die Frage, wo KI im Unternehmen eingesetzt wird, auf welche Daten sie zugreifen kann und welche Aktionen sie ausführen darf. Auf dieser Grundlage lassen sich Bedrohungsmodelle entwickeln und gezielte Angriffssimulationen durchführen.

Red Teams suchen dabei systematisch nach Prompts, Datenkonstellationen und Interaktionsketten, durch die eine KI ihre vorgesehenen Grenzen überschreiten könnte. Gefundene Schwachstellen dürfen jedoch nicht lediglich dokumentiert werden. Sie müssen konkrete technische oder organisatorische Verbesserungen auslösen.

Das kann bedeuten, Richtlinien anzupassen, Berechtigungen einzuschränken, Datenquellen zu bereinigen, Guardrails zu überarbeiten oder zusätzliche Runtime-Kontrollen einzuführen. Der entdeckte Angriffspfad sollte anschließend in die Regressionstests aufgenommen werden. Auf diese Weise lässt sich überprüfen, ob eine bereits geschlossene Sicherheitslücke nach späteren Änderungen erneut auftritt.

Continuous Red Teaming verbindet damit offensive Sicherheitsprüfungen mit dem regulären Entwicklungs- und Betriebsprozess. Entscheidend ist nicht nur, neue Schwachstellen aufzudecken, sondern die daraus gewonnenen Erkenntnisse dauerhaft in Schutzmechanismen zu überführen.

Vom Red Teaming zum Schutz im laufenden Betrieb

Auch regelmäßige Tests können nicht jeden Angriff verhindern. Unternehmen müssen deshalb davon ausgehen, dass einzelne Manipulationsversuche erfolgreich sein können.

Neben präventiven Kontrollen ist operative Resilienz erforderlich. KI-Systeme müssen verdächtiges Verhalten erkennen, Auswirkungen begrenzen, Beweise für die spätere Analyse sichern und betroffene Prozesse möglichst schnell wiederherstellen können.

Red Teaming zeigt, welche Angriffsmöglichkeiten bestehen. Runtime Security soll verhindern, dass daraus ein realer Schaden entsteht. Werden bei Tests etwa Datenabflüsse, missbräuchliche Tool-Aufrufe oder schädliche Anweisungen in vermeintlich vertrauenswürdigen Dokumenten entdeckt, müssen diese Erkenntnisse unmittelbar in die Überwachung und Zugriffskontrolle des produktiven Systems einfließen.

Check Point setzt auf eine zentrale AI Defense Plane

Check Point bündelt diesen Ansatz in seiner AI Defense Plane. Die Sicherheitsarchitektur soll Discovery, Governance, Runtime Protection und kontinuierliche Validierung über den gesamten KI-Lebenszyklus hinweg miteinander verbinden. Sie umfasst sowohl die KI-Nutzung durch Mitarbeitende als auch integrierte KI-Anwendungen und autonome Agenten.

Discovery schafft Transparenz darüber, wo KI eingesetzt wird und auf welche Daten, Systeme und Werkzeuge sie zugreifen kann. Governance definiert zulässige Verhaltensweisen, Berechtigungen und Richtlinien. Die Runtime Protection analysiert Prompts, Ausgaben, Datenzugriffe, Tool-Aufrufe und Agentenaktionen während des laufenden Betriebs. Assurance überprüft kontinuierlich, ob Systeme und Sicherheitskontrollen weiterhin wie vorgesehen reagieren.

Der Ansatz verlagert die Absicherung damit von statischen Modelltests auf das tatsächliche Verhalten der KI in produktiven Geschäftsprozessen. Check Point positioniert die AI Defense Plane als übergreifende Kontrollschicht für Mitarbeitende, Anwendungen und Agenten.

Fazit: Geschwindigkeit entscheidet über die KI-Sicherheit

Die NIST-Forschung ist keine Absage an sichere KI. Sie ist vielmehr eine Absage an die Vorstellung, ein einzelner Test könne die dauerhafte Sicherheit eines dynamischen Systems bestätigen.

Mit zunehmender Autonomie von KI-Agenten wächst die Zahl möglicher Angriffspfade. Gleichzeitig können schon kleine Änderungen an Prompts, Datenquellen, Modellen oder Berechtigungen die Sicherheitslage grundlegend verändern.

Die entscheidende Frage lautet daher nicht mehr, ob sich ein KI-System dauerhaft und vollständig absichern lässt. Entscheidend ist, ob Unternehmen neue Schwachstellen schneller entdecken, ihre Kontrollen schneller verbessern und mögliche Schäden schneller begrenzen können, als Angreifer ihre Methoden anpassen.

Continuous Red Teaming wird damit zu einem dauerhaften Qualitäts- und Sicherheitsprozess – und zu einer Grundvoraussetzung für den verantwortungsvollen Einsatz produktiver KI.