Wie Cyberkriminelle KI-Agenten ohne Schadsoftware manipulieren können

Check Point Research warnt vor einer neuen Form der Manipulation von KI-Agenten: Sogenannte Prompt Adware verändert dauerhaft die Anweisungen eines KI-Systems und beeinflusst dadurch dessen Verhalten. Besonders brisant ist, dass dafür weder Schadsoftware noch ausführbarer Programmcode erforderlich sind. Die Entdeckung zeigt, wie Prompts, Skills und Konfigurationsdateien zu einem bislang unterschätzten Sicherheitsrisiko für Unternehmen werden können.

KI-Agenten übernehmen zunehmend Aufgaben, greifen auf Unternehmensdaten zu und interagieren eigenständig mit externen Diensten. Damit wächst jedoch auch die Gefahr, dass Angreifer nicht mehr nur die zugrunde liegende Software, sondern gezielt die Anweisungen manipulieren, nach denen diese Systeme handeln.

Sicherheitsforscher von Check Point Research (CPR), der Forschungsabteilung von Check Point Software Technologies, haben eine entsprechende Manipulationstechnik untersucht, die sie als „Prompt Adware “ bezeichnen. Im Mittelpunkt steht das OpenAI Codex Jailbreak Bundle „Haiou“, das ursprünglich entwickelt wurde, um Sicherheitsbeschränkungen des KI-Coding-Agenten Codex zu umgehen.

Die Untersuchung zeigt, dass Haiou über die Umgehung von Schutzmechanismen hinausgeht und das Verhalten des KI-Agenten dauerhaft beeinflussen kann.

Wenn eine einfache Begrüßung plötzlich Werbung auslöst

Bei ihrer Analyse stellten die Sicherheitsforscher fest, dass Haiou die grundlegenden Anweisungen des KI-Agenten so verändert, dass bereits eine gewöhnliche Begrüßung im Chat eine Werbeeinblendung für ein externes KI-Gateway auslösen kann.

Das Besondere daran: Anders als klassische Adware benötigt diese Technik keine ausführbare Schadsoftware. Stattdessen werden Anweisungen in natürlicher Sprache und Konfigurationsdateien genutzt, um das Verhalten des KI-Systems gezielt zu verändern.

Während herkömmliche Adware Programme installiert oder Softwarefunktionen manipuliert, setzt Prompt Adware unmittelbar an der Steuerungslogik des KI-Agenten an. Die Manipulation erfolgt über jene Anweisungen, denen das System bei der Verarbeitung von Nutzeranfragen vertraut.

Damit entsteht ein neuer Angriffsvektor: Nicht der Programmcode selbst wird verändert, sondern die Vorgaben, die bestimmen, wie ein KI-Agent auf Anfragen reagiert, welche Empfehlungen er ausspricht und welche externen Dienste er möglicherweise bevorzugt.

Warum Prompt Adware für Unternehmen gefährlich werden kann

Eine unerwartete Werbeeinblendung in einem KI-Chat mag zunächst wie ein vergleichsweise harmloses Problem erscheinen. Die eigentliche Gefahr liegt jedoch im zugrunde liegenden Manipulationsmechanismus.

Denn wenn sich das Verhalten eines KI-Agenten durch veränderte Prompts und Konfigurationsdateien dauerhaft beeinflussen lässt, sind grundsätzlich auch andere unerwünschte Aktionen denkbar.

Besonders kritisch wird dies in Unternehmensumgebungen, in denen KI-Agenten Zugriff auf vertraulichen Quellcode, interne Dokumente, sensible Geschäftsinformationen oder geschäftskritische Anwendungen besitzen.

Ein manipulierter Agent könnte beispielsweise bestimmte externe Dienste bevorzugen, Empfehlungen verfälschen oder Nutzer zu unerwünschten Aktionen bewegen. Welche Auswirkungen tatsächlich möglich sind, hängt insbesondere von den Berechtigungen des Agenten und den verfügbaren Schnittstellen ab. Die Untersuchung von Check Point Research verdeutlicht damit ein grundlegendes Sicherheitsproblem: Unternehmen müssen nicht nur kontrollieren, welche Aufgaben ein KI-Agent ausführen darf, sondern auch, welche Anweisungen sein Verhalten bestimmen.

KI-Supply-Chain: Neue Risiken durch externe Skills und Konfigurationen

Die Sicherheitsforscher betrachten Haiou nicht als unmittelbaren Angriff auf die Software-Lieferkette. Allerdings könnte der demonstrierte Mechanismus künftig auch bei komplexeren Angriffen auf das KI-Ökosystem eine Rolle spielen. Ein besonderes Risiko entsteht durch die zunehmende Integration externer Skills, Erweiterungen, Konfigurationsdateien und KI-Gateways.

Unternehmen übernehmen solche Komponenten häufig, um den Funktionsumfang ihrer KI-Agenten zu erweitern oder deren Einsatz zu vereinfachen. Dabei kann jedoch unklar bleiben, welche zusätzlichen Anweisungen diese Erweiterungen enthalten und wie sie sich auf das Verhalten der Systeme auswirken.

Genau hier liegt ein potenzieller Ansatzpunkt für Angreifer.

Wer manipulierte Skills oder Konfigurationen in eine vertrauenswürdige KI-Umgebung einschleusen kann, erhält unter Umständen Einfluss auf die Entscheidungen und Empfehlungen eines Agenten, ohne dessen eigentlichen Programmcode verändern zu müssen.

Damit erweitert sich auch die Sicherheitsbetrachtung der Software-Lieferkette. Neben klassischen Abhängigkeiten, Bibliotheken und ausführbaren Komponenten müssen künftig verstärkt die Anweisungen und Erweiterungen berücksichtigt werden, die KI-Systeme steuern.

Warum klassische Sicherheitskontrollen nicht ausreichen

Traditionelle Sicherheitslösungen konzentrieren sich vor allem auf ausführbaren Code, verdächtige Prozesse, Netzwerkverbindungen und bekannte Angriffsmuster. Bei Prompt Adware liegt die Herausforderung dagegen in der Interpretation natürlicher Sprache.

Manipulierte Anweisungen können in Dateien enthalten sein, die auf den ersten Blick wie gewöhnliche Konfigurationen oder legitime Erweiterungen aussehen. Ihre tatsächliche Wirkung zeigt sich möglicherweise erst dann, wenn ein KI-Agent bestimmte Eingaben verarbeitet oder konkrete Aufgaben ausführt.

Für Sicherheitsteams wird es dadurch schwieriger, die Ursache unerwarteter Verhaltensänderungen eindeutig zu identifizieren.

Hinzu kommt, dass KI-Agenten häufig mehrere Komponenten miteinander kombinieren. System-Prompts, externe Skills, Drittanbieter-Tools und zusätzliche Kontexte können gemeinsam beeinflussen, welche Entscheidungen ein Agent trifft. Check Point Research erwartet deshalb, dass sich mit der zunehmenden Verbreitung agentischer KI auch die Angriffsmethoden verändern werden. Statt ausschließlich Schwachstellen in Anwendungen oder Betriebssystemen auszunutzen, könnten Angreifer verstärkt versuchen, die unmittelbare Steuerungsumgebung von KI-Modellen zu kompromittieren.

Fünf Maßnahmen gegen manipulierte KI-Agenten

Um die Integrität von KI-Systemen im Unternehmensumfeld zu schützen, empfiehlt Check Point Research einen umfassenderen Sicherheitsansatz, der über die Bewertung einzelner Sprachmodelle hinausgeht.

1. Transparenz über eingesetzte KI-Agenten schaffen

Unternehmen sollten systematisch erfassen, welche KI-Agenten, Skills, Erweiterungen und Drittanbieter-Komponenten im Einsatz sind. Nur bekannte Systeme und Abhängigkeiten lassen sich wirksam kontrollieren.

2. Das gesamte KI-Ökosystem überprüfen

Sicherheitsanalysen dürfen sich nicht auf das zugrunde liegende Sprachmodell beschränken. Auch System-Prompts, Konfigurationsdateien und zusätzliche Skills müssen auf unerwünschte Anweisungen untersucht werden.

3. Governance für Drittanbieter-Tools stärken

Klare Freigabeprozesse sollten regeln, welche externen KI-Werkzeuge, Gateways und Erweiterungen verwendet werden dürfen. Dabei müssen auch die Vertrauenswürdigkeit der Anbieter und mögliche Risiken für sensible Daten berücksichtigt werden.

4. Veränderungen an Agenten-Anweisungen überwachen

Unternehmen benötigen Mechanismen, um unautorisierte oder unerwartete Änderungen an grundlegenden Prompts und Konfigurationen frühzeitig zu erkennen. Dazu gehören nachvollziehbare Änderungsprozesse und regelmäßige Integritätsprüfungen.

5. Zugriffsrechte und Einflussmöglichkeiten gemeinsam bewerten

Bei KI-Agenten mit Zugriff auf sensible Daten oder kritische Systeme reicht eine reine Berechtigungskontrolle nicht aus. Sicherheitsverantwortliche müssen zusätzlich berücksichtigen, welche Anweisungen und externen Komponenten das Verhalten dieser Agenten beeinflussen können.

Sicherheitsforscher warnen vor unsichtbarer Einflussnahme

Für Pedro Drimel Neto, Sicherheitsforscher bei Check Point Research, verdeutlicht die Untersuchung, wie leicht sich die Vertrauenswürdigkeit eines KI-Agenten durch manipulierte Anweisungen untergraben lässt.

„Jeder, der die Prompts eines Agenten ändern kann, kann dessen Empfehlungen beeinflussen – von Anbietern bis hin zu technischen Ratschlägen –, ohne dass der Nutzer davon etwas merkt“, erklärt Neto. Besonders kritisch bewertet er die Verknüpfung solcher Manipulationen mit externen KI-Gateways. Diese können zusätzliche Risiken für die Vertraulichkeit von Informationen und Zugangsdaten schaffen.

Der Sicherheitsforscher verweist auf wissenschaftliche Untersuchungen, die bei einzelnen Gateways problematische Praktiken bis hin zur Ausspähung von Nutzerdaten und dem Diebstahl von Anmeldedaten aufgedeckt haben. Seine zentrale Forderung: Sicherheitsteams müssen künftig nicht nur die eingesetzten KI-Modelle bewerten, sondern ebenso die Prompts, Skills und Konfigurationsdateien, die deren Verhalten bestimmen.

Fazit: Die Vertrauenskette von KI-Agenten beginnt bei ihren Anweisungen

Die Entdeckung von Prompt Adware zeigt, dass sich die Angriffsfläche moderner KI-Systeme zunehmend von klassischen Softwarekomponenten auf deren Steuerungsmechanismen erweitert. Die von Check Point Research untersuchte Werbeeinblendung ist dabei vor allem ein Demonstrationsbeispiel für eine grundsätzlich weiterreichende Manipulationsmöglichkeit. Mit der zunehmenden Integration autonomer KI-Agenten in Unternehmensprozesse gewinnen deshalb auch bislang wenig beachtete Komponenten an sicherheitstechnischer Bedeutung.

Für Unternehmen bedeutet dies, ihre bestehenden Sicherheits- und Governance-Konzepte entsprechend zu erweitern. Denn ein KI-Agent kann nur dann vertrauenswürdig handeln, wenn nicht allein seine Berechtigungen, sondern auch die Anweisungen kontrolliert werden, nach denen er Entscheidungen trifft.