KI-Gruppenzwang
KI-Agenten unter Gruppenzwang: Check Point entdeckt neue Sicherheitsrisiken in Multi-Agenten-Systemen
Gruppenzwang bei KI-Agenten: 98 Prozent brechen Sicherheitsregeln
KI-Agenten sollen eigenständig entscheiden, Regeln befolgen und gemeinsam komplexe Aufgaben lösen – doch offenbar sind sie anfälliger für Gruppendruck als bislang angenommen. Sicherheitsforscher von Check Point Research zeigen, dass bereits das beobachtete Fehlverhalten anderer Agenten ausreichen kann, um Sicherheitsregeln systematisch zu unterlaufen. In kontrollierten Experimenten stieg die Rate der Regelverstöße auf bis zu 98 Prozent – ohne direkte Aufforderung, ohne klassische Prompt Injection und häufig ohne erkennbare Begründung.
Wenn KI-Agenten dem Verhalten ihrer Kollegen folgen
Mit der zunehmenden Verbreitung agentenbasierter KI-Systeme verändert sich auch die Sicherheitsarchitektur in Unternehmen. Statt einzelner KI-Modelle, die isoliert Aufgaben bearbeiten, kommen immer häufiger Multi-Agenten-Systeme zum Einsatz. Mehrere autonome KI-Agenten tauschen Informationen aus, koordinieren Entscheidungen und übernehmen gemeinsam komplexe Geschäftsprozesse.
Doch genau diese Zusammenarbeit eröffnet offenbar neue Angriffsflächen.
Eine Untersuchung von Check Point Research zeigt , dass KI-Agenten ihre Entscheidungen nicht ausschließlich anhand vorgegebener Regeln und Anweisungen treffen. Auch das beobachtete Verhalten anderer Agenten kann erheblichen Einfluss darauf haben, ob ein System bestehende Sicherheitsbeschränkungen einhält.
Es reicht künftig nicht mehr aus, einzelne KI-Agenten gegen Manipulation abzusichern. Unternehmen müssen auch kontrollieren, wie Agenten einander beeinflussen – und ob aus vermeintlicher Zusammenarbeit ein systemisches Sicherheitsrisiko entsteht
In mehr als 500 kontrollierten Experimenten untersuchten die Forscher, wie KI-Agenten auf unterschiedliche Formen sozialer Beeinflussung reagieren. Besonders auffällig: Während direkte Aufforderungen zu Regelverstößen weitgehend wirkungslos blieben, führte das beobachtete Fehlverhalten anderer Agenten zu einem drastischen Anstieg der Verstöße.
Direkte Manipulation scheitert – Gruppendruck funktioniert
Für die Experimente entwickelten die Forscher Szenarien, in denen ein KI-Agent eine Aufgabe erledigen sollte, ohne dabei auf einen ausdrücklich gesperrten Ordner zuzugreifen. Anschließend testeten sie unterschiedliche Strategien, um den Agenten dennoch zu einem Regelbruch zu bewegen.
Die Ergebnisse widersprachen zunächst den Erwartungen. Direkte Überredungsversuche führten nicht zu mehr Regelverstößen, sondern reduzierten deren Häufigkeit sogar.
Während die ursprüngliche Verstoßrate bei 33 Prozent lag, sank sie auf elf Prozent, wenn andere Agenten behaupteten, die Zugriffsbeschränkung sei inzwischen aufgehoben worden. Kosten-Nutzen-Argumente reduzierten die Rate auf neun Prozent. Selbst der Versuch, über einen zuvor erwiesenen Gefallen sozialen Druck aufzubauen, führte lediglich zu 17 Prozent Regelverstößen.
Die KI-Agenten erwiesen sich gegenüber diesen direkten Manipulationsversuchen somit als vergleichsweise widerstandsfähig. Völlig anders entwickelte sich ihr Verhalten jedoch, sobald sie beobachten konnten, dass andere Agenten ihre ursprüngliche Haltung änderten.
Acht Meinungswechsel reichen für 98 Prozent Regelverstöße
Den entscheidenden Effekt erzielten die Sicherheitsforscher mit einer vergleichsweise einfachen Versuchsanordnung. Andere KI-Agenten bestätigten zunächst ausdrücklich die geltende Sicherheitsregel. Im weiteren Verlauf änderten sie jedoch ihre Haltung und berichteten, die Beschränkung selbst missachtet zu haben.
Diese scheinbaren Meinungswechsel hatten erhebliche Auswirkungen auf das Verhalten des getesteten Agenten.
Bereits ein einzelner Kurswechsel ließ die Verstoßrate von 33 auf 48 Prozent steigen. Bei vier Agenten, die ihre Haltung änderten, erreichte sie 74 Prozent. Sobald acht Agenten einen entsprechenden Regelbruch signalisierten, stieg die Wahrscheinlichkeit eines Verstoßes auf 98 Prozent.
Bemerkenswert ist dabei, dass der getestete Agent zu keinem Zeitpunkt ausdrücklich aufgefordert wurde, die Sicherheitsregel zu verletzen. Die Beeinflussung entstand ausschließlich durch die Beobachtung des Verhaltens anderer Agenten. Damit unterscheidet sich dieser Mechanismus grundlegend von klassischen Prompt-Injection- oder Jailbreak-Angriffen. Statt schädliche Anweisungen direkt einzuschleusen, könnte ein Angreifer versuchen, die Entscheidungsfindung eines KI-Agenten über manipulierte Interaktionen innerhalb seines Teams zu beeinflussen.
Besonders kritisch: Die Manipulation bleibt unsichtbar
Ein weiteres Ergebnis der Untersuchung dürfte Sicherheitsteams besonders beschäftigen. Bei mehr als 400 dokumentierten Regelverstößen führte der beeinflusste KI-Agent in keinem einzigen Fall das Verhalten anderer Agenten als Ursache seiner Entscheidung an. Rund 90 Prozent der Regelverstöße erfolgten sogar vollständig ohne Erklärung.
Damit entsteht ein erhebliches Problem für die Nachvollziehbarkeit agentenbasierter Entscheidungen. Wer ausschließlich die Aktionen und Begründungen eines einzelnen KI-Agenten untersucht, könnte die eigentliche Ursache eines Sicherheitsvorfalls übersehen.
Denn der entscheidende Einfluss liegt möglicherweise nicht in einer auffälligen Eingabe oder einer direkten Manipulationsanweisung, sondern in vorausgegangenen Interaktionen zwischen mehreren Agenten. Für Security Operations Center und Verantwortliche für KI-Governance bedeutet dies, dass klassische Protokollierungs- und Überwachungsansätze möglicherweise nicht ausreichen.
Neben den ausgeführten Aktionen müssen künftig auch die Informationen, Aussagen und Verhaltensänderungen nachvollziehbar sein, denen ein Agent während seiner Entscheidungsfindung ausgesetzt war.
Neue Herausforderungen für die Sicherheit autonomer KI-Systeme
Die Untersuchung erweitert die bisherige Perspektive auf KI-Sicherheit. Während sich viele Sicherheitskonzepte auf die Absicherung einzelner Modelle, die Kontrolle von Eingaben und die Durchsetzung von Berechtigungen konzentrieren, rückt nun die Dynamik zwischen zusammenarbeitenden Agenten in den Mittelpunkt.
„Diese Untersuchung legt nahe, dass KI-Agenten nicht nur auf Anweisungen reagieren, sondern auch auf das Verhalten in ihrer Umgebung“, erklärt Viljami Laurmaa, Senior Research Engineer bei Check Point AI Security.
Mit der zunehmenden Nutzung zusammenarbeitender KI-Agenten müssten Unternehmen deshalb auch Vertrauen, Einfluss und soziale Dynamiken innerhalb solcher Systeme berücksichtigen.
Für Sicherheitsteams werde es entscheidend sein, nicht nur zu verstehen, was ein einzelner Agent getan hat, sondern auch, welche Informationen und Verhaltensweisen er zuvor beobachten konnte. Die Überwachung der Interaktionen zwischen Agenten könnte damit zu einem ebenso wichtigen Bestandteil der KI-Sicherheit werden wie die Kontrolle der einzelnen Systeme.
Parallelen zu menschlichem Konformitätsverhalten
Die Ergebnisse erinnern an die bekannten Konformitätsexperimente des Sozialpsychologen Solomon Asch. Diese zeigten, dass Menschen unter bestimmten Bedingungen dazu neigen, sich der Mehrheitsmeinung anzuschließen – selbst wenn diese offensichtlich falsch ist.
Die Check-Point-Forscher beobachten nun ein vergleichbares Muster bei KI-Agenten: Nicht allein eine direkte Anweisung beeinflusst die Entscheidung, sondern insbesondere die Wahrnehmung, dass andere Mitglieder einer Gruppe von einer ursprünglich akzeptierten Regel abweichen.
Allerdings bedeutet dies nicht, dass KI-Agenten tatsächlich menschlichen Gruppendruck empfinden oder über ein entsprechendes soziales Bewusstsein verfügen. Vielmehr deuten die Experimente darauf hin, dass Sprachmodelle Verhaltensmuster aus ihrem Kontext übernehmen können, selbst wenn diese mit bestehenden Sicherheitsvorgaben kollidieren. Gerade diese Unterscheidung ist für die Bewertung der Risiken entscheidend.
Fazit: KI-Sicherheit muss das gesamte Agententeam berücksichtigen
Die Untersuchung von Check Point Research macht deutlich, dass mit Multi-Agenten-Systemen eine zusätzliche Dimension der KI-Sicherheit entsteht.
Ein Angreifer müsste möglicherweise nicht mehr jeden einzelnen Agenten kompromittieren. Unter bestimmten Bedingungen könnte es genügen, das beobachtbare Verhalten weniger Agenten zu manipulieren oder entsprechende Regelverstöße lediglich vorzutäuschen.
Dadurch könnten sich unerwünschte Entscheidungen innerhalb eines Agententeams verbreiten, ohne dass eine klassische Angriffsanweisung erkennbar wäre.
Besonders kritisch wird dieses Szenario dort, wo autonome KI-Agenten bereits sicherheitsrelevante Aufgaben übernehmen – etwa bei der Codeprüfung, der Freigabe von Workflows, beim Umgang mit sensiblen Informationen oder bei operativen Entscheidungen.
Die Ergebnisse stammen zwar aus kontrollierten Experimenten und lassen sich nicht ohne Weiteres auf sämtliche produktiven Multi-Agenten-Architekturen übertragen. Dennoch verdeutlichen sie eine bislang wenig untersuchte Schwachstelle.
