Wie Google KI für Source Code Security einsetzt

KI verändert nicht nur die Geschwindigkeit von Cyberangriffen, sondern auch den Wettlauf um bislang unbekannte Schwachstellen. Google Threat Intelligence und Mandiant setzen deshalb auf einen agentenbasierten Ansatz, der große Codebasen automatisiert analysiert, Angriffspfade bewertet und verdächtige Schwachstellen systematisch verifiziert. In einem realen Incident-Response-Fall identifizierte das System innerhalb von nur zwei Tagen mehr als 100 kritische Schwachstellen – ein Hinweis darauf, wie grundlegend sich Source Code Security durch KI verändern könnte.

Agentic Vulnerability Discovery Harness analysiert Millionen Codezeilen

Google Threat Intelligence hat erstmals detailliert beschrieben , wie Mandiant sein Agentic Vulnerability Discovery Harness (AVDH) für automatisierte Quellcodeanalysen einsetzt. Das System kombiniert mehrere spezialisierte KI-Agenten mit fest definierten Analyseprozessen und der Expertise menschlicher Security-Spezialisten.

AVDH kommt unter anderem bei proaktiven Sicherheitsprüfungen, Penetrationstests, Red-Team-Einsätzen und Incident-Response-Untersuchungen zum Einsatz. Der Ansatz soll insbesondere ein Problem lösen, das durch generative KI zunehmend an Bedeutung gewinnt: Gelangt proprietärer Quellcode in die Hände eines Angreifers, können KI-Systeme große Codebestände wesentlich schneller nach verwertbaren Schwachstellen durchsuchen als klassische manuelle Analysen. Verteidiger müssen deshalb zumindest dieselbe Geschwindigkeit erreichen.

Die bisherigen Ergebnisse sind bemerkenswert. Nach Angaben von Google wurde AVDH innerhalb von zehn Monaten auf Umgebungen mit mehreren zehn Millionen Codezeilen angewendet. Tausende Analyse-Pipelines erzeugten dabei Zehntausende potenzieller Findings.

Aus den Untersuchungen gingen bereits Schwachstellen in verbreiteten Web-Erweiterungen und Open-Source-Projekten hervor. Für zwölf davon wurden CVE-Nummern vergeben, weitere befinden sich laut Google noch im Disclosure-Prozess.

Mehr als 100 kritische Schwachstellen in zwei Tagen

Besonders deutlich wird das Potenzial bei einem von Mandiant beschriebenen Incident-Response-Einsatz. Nachdem Unternehmens-Repositories gestohlen worden waren, untersuchte AVDH den betroffenen Quellcode und identifizierte innerhalb von zwei Tagen mehr als 100 bestätigte kritische Schwachstellen.

Auch bei einer simulierten Angreiferoperation lieferte das Verfahren relevante Ergebnisse: Bei der Analyse des Quellcodes einer Webanwendung fand das System eine Remote-Code-Execution-Schwachstelle, über die ein initialer Zugriff möglich gewesen wäre. (Google Cloud)

Damit verschiebt sich der Einsatz von KI in der Application Security deutlich. Statt lediglich einzelne Codefragmente zu prüfen, orchestriert AVDH verschiedene Agenten entlang eines strukturierten Security-Prozesses.

Threat Modeling bildet die Grundlage

Am Anfang steht ein automatisiertes Threat Modeling. Ein sogenannter Explorer-Agent untersucht zunächst Aufbau und Zweck der jeweiligen Anwendung und versucht zu bestimmen, welche Komponenten sicherheitsrelevant sind.

Weitere spezialisierte Agenten analysieren anschließend Bereiche wie Authentifizierung, Autorisierung oder Routing. Aus diesen Informationen entsteht ein übergreifendes Bedrohungsmodell, das zunächst von einem Sicherheitsexperten überprüft wird.

Dieser Schritt ist entscheidend. Eine Schwachstelle lässt sich nicht allein anhand einer verdächtigen Codezeile bewerten. Entscheidend ist beispielsweise, ob eine Funktion tatsächlich erreichbar ist, welche Benutzer darauf zugreifen können und welche weiteren Sicherheitskontrollen entlang des Angriffspfads existieren.

KI-Agenten verfolgen Daten durch die Anwendung

Anschließend durchsuchen Discovery-Agenten die Codebasis nach relevanten Einstiegspunkten – beispielsweise HTTP-Routen, IPC-Schnittstellen oder anderen Stellen, an denen externe Eingaben verarbeitet werden. Darauf folgen spezialisierte Analyseagenten für Access Control und Data Flow.

Der Access-Control-Agent sucht unter anderem nach fehlenden oder fehlerhaften Autorisierungsprüfungen, möglichen Privilege-Escalation-Pfaden oder Cross-Site-Request-Forgery-Schwachstellen.

Der Data-Flow-Agent verfolgt dagegen Benutzereingaben durch verschiedene Funktionen und Komponenten der Anwendung. Ziel ist es festzustellen, ob kontrollierbare Daten schließlich gefährliche Funktionen erreichen. Auf diese Weise lassen sich unter anderem SQL Injection, Cross-Site Scripting, Command Injection oder Path Traversal erkennen.

Mehrere KI-Agenten sollen Halluzinationen herausfiltern

Interessant ist insbesondere der Validierungsprozess. AVDH verlässt sich nicht auf das Urteil eines einzigen Modells.

Mehrere unabhängige Validation-Agenten prüfen die zuvor generierten Hypothesen. Ein weiterer Synthesis-Agent bewertet anschließend deren Ergebnisse und klassifiziert potenzielle Schwachstellen als bestätigt, widerlegt oder nicht relevant.

Damit adressiert Google eines der zentralen Probleme beim Einsatz generativer KI in der Cybersecurity: Modelle können plausible, aber technisch falsche Ergebnisse produzieren.

Die endgültige Entscheidung bleibt deshalb beim Menschen.

Mandiant-Spezialisten versuchen bestätigte Findings praktisch nachzustellen und erstellen bei Bedarf Proof-of-Concept-Code. Erst wenn sich der Angriffspfad tatsächlich reproduzieren lässt, wird eine Schwachstelle als belastbares Finding übernommen.

Menschliche Expertise wird Bestandteil der KI-Pipeline

Bemerkenswert ist zudem, dass Mandiant nicht ausschließlich auf die Fähigkeiten der verwendeten Modelle setzt. Erfahrungswissen der eigenen Security Consultants wurde in spezielle Regeln und Prompts übertragen.

Diese Wissensbasis berücksichtigt Programmiersprachen, Frameworks und bestimmte Schwachstellenklassen. Dadurch erhält der jeweilige Agent zusätzliche Hinweise darauf, welche Angriffsmuster bei einer bestimmten Technologie besonders relevant sind.

Das Prinzip dürfte für die weitere Entwicklung agentischer Sicherheitssysteme entscheidend werden: Nicht das Sprachmodell allein bestimmt die Qualität der Ergebnisse, sondern die Kombination aus Modell, Orchestrierung, Kontext, Sicherheitswissen und menschlicher Validierung.

KI beschleunigt Angriff und Verteidigung gleichermaßen

Der Ansatz zeigt, wohin sich Application Security entwickelt. Klassische statische Analysetools bleiben relevant, stoßen aber gerade bei komplexen Geschäftslogiken oder über mehrere Komponenten verteilten Angriffspfaden an Grenzen.

Agentische Systeme können dagegen größere Teile einer Anwendung kontextbezogen untersuchen und unterschiedliche Analyseaufgaben miteinander verknüpfen.

Genau darin steckt allerdings auch die eigentliche Brisanz. Was Verteidiger heute zur automatisierten Schwachstellensuche einsetzen, können Angreifer prinzipiell ebenfalls nutzen.

Wenn gestohlener Quellcode künftig innerhalb weniger Stunden von KI-Agenten nach verwertbaren Angriffspfaden durchsucht werden kann, verändert sich das Zeitfenster für Incident Response fundamental. Unternehmen müssen dann nicht nur kompromittierte Zugangsdaten sperren oder Repositories absichern – sie müssen davon ausgehen, dass sämtliche im gestohlenen Code enthaltenen Schwachstellen potenziell sehr schnell identifiziert werden können.

Google sieht die Kombination aus punktueller Tiefenanalyse durch AVDH und kontinuierlicher Überwachung durch sein CodeMender-System als mögliche zweistufige Verteidigungsstrategie. Der entscheidende Faktor bleibt jedoch die menschliche Kontrolle. KI übernimmt Geschwindigkeit und Skalierung – Sicherheitsexperten müssen weiterhin entscheiden, welche Ergebnisse tatsächlich belastbar und welche Angriffspfade realistisch sind.