Wenn Open Source zur Angriffsfläche wird: Neue Sicherheitsrisiken durch KI-Agenten

Öffentliche KI-Modelle beschleunigen Innovationen, können aber manipulierte Komponenten und schwer kontrollierbare Agenten in Unternehmen einschleusen.

Quelloffene KI-Modelle beschleunigen Innovationen, senken Entwicklungskosten und machen leistungsfähige Technologien für Unternehmen leichter zugänglich. Gleichzeitig entsteht eine neue Form der Abhängigkeit: Wer Modelle, Bibliotheken oder KI-Agenten aus öffentlichen Repositorien übernimmt, importiert möglicherweise auch unbekannte Schwachstellen und manipulierte Komponenten. Mit dem Aufstieg autonomer KI-Agenten wird aus einem technischen Einzelrisiko zunehmend eine strategische Sicherheitsfrage.

Dr. Kawin Boonyapredee, CISO Advisor bei KnowBe4 erörtert die unterschätzte Gefahr aus öffentlichen KI-Repositorien

Die Offenlegung kritischer Schwachstellen in großen KI-Repositorien wie Hugging Face verdeutlicht ein grundlegendes Problem moderner KI-Entwicklung. Ausgerechnet jene Plattformen, die Unternehmen einen schnellen Zugang zu Modellen, Datensätzen und Entwicklungswerkzeugen ermöglichen, können sich zu Einfallstoren für systemische Risiken entwickeln.

Das Prinzip erinnert an bekannte Herausforderungen klassischer Software-Lieferketten. Unternehmen greifen auf externe Komponenten zurück, ohne deren Herkunft, Funktionsweise und Sicherheitsniveau vollständig nachvollziehen zu können. Bei KI-Modellen kommt jedoch eine zusätzliche Ebene hinzu: Neben dem eigentlichen Code müssen auch Trainingsdaten, Modellverhalten, Abhängigkeiten und integrierte Automatisierungsfunktionen bewertet werden.

Mit dem Übergang von einfachen KI-Assistenten zu weitgehend autonom handelnden Agenten gewinnt diese Problematik erheblich an Dringlichkeit.

Von Shadow IT zu Shadow AI

Über Jahre beschäftigten sich CISOs mit Shadow IT, also mit nicht genehmigter Hard- und Software, die außerhalb kontrollierter Unternehmensprozesse eingesetzt wird. Inzwischen entsteht mit Shadow AI ein verwandtes, aber deutlich schwerer zu kontrollierendes Phänomen.

Mitarbeitende und Fachabteilungen nutzen öffentliche KI-Dienste, quelloffene Modelle oder vorgefertigte KI-Agenten häufig aus einem nachvollziehbaren Grund: Sie wollen Aufgaben schneller erledigen, Prozesse automatisieren oder neue Anwendungen entwickeln. Ohne zentrale Governance können dabei jedoch sensible Informationen in externe Systeme gelangen oder ungeprüfte Modelle in geschäftskritische Abläufe eingebunden werden.

Manipulierte Trainingsdaten, unsichere Abhängigkeiten, versteckte Funktionen oder gezielt präparierte Modelle können dazu führen, dass sich Angreifer über die KI-Lieferkette Zugang zu Unternehmensumgebungen verschaffen. Denkbare Angriffsmethoden reichen von Prompt Injection und Data Poisoning bis zur Einbindung kompromittierter Modelle in automatisierte Angriffsketten.

Warum die KI-Lieferkette schwer zu kontrollieren ist

Klassische Softwarekomponenten lassen sich zumindest theoretisch anhand ihres Quellcodes, ihrer Bibliotheken und ihrer bekannten Schwachstellen untersuchen. Bei KI-Modellen ist eine vergleichbare Prüfung deutlich komplexer.

Selbst wenn ein Modell als Open Source angeboten wird, bleiben zentrale Fragen häufig unbeantwortet:

• Aus welchen Quellen stammen die Trainingsdaten?
• Wurden Daten oder Modellgewichte manipuliert?
• Welche externen Abhängigkeiten werden geladen?
• Welche Aktionen darf das Modell nach der Integration ausführen?
• Wie reagiert es auf unerwartete oder bösartige Eingaben?
• Lassen sich Entscheidungen und Aktionen vollständig protokollieren?

Das Open-Source-Prinzip schafft damit zwar Transparenz auf einzelnen technischen Ebenen, garantiert aber keineswegs, dass das Verhalten eines KI-Systems vollständig nachvollziehbar ist. Unternehmen müssen deshalb zwischen der Offenheit des Quellcodes und der tatsächlichen Kontrollierbarkeit eines Modells unterscheiden.

KI-Agenten erweitern die Angriffsfläche

Die Entwicklung verläuft inzwischen deutlich über klassische Chatbots hinaus. KI-Agenten können Daten abrufen, Anwendungen bedienen, Nachrichten versenden, Transaktionen auslösen oder eigenständig Entscheidungen treffen.

Diese Fähigkeiten versprechen erhebliche Effizienzgewinne. Gleichzeitig vergrößern sie den potenziellen Schaden, wenn ein Agent manipuliert, falsch konfiguriert oder mit zu weitreichenden Berechtigungen ausgestattet wird.

Ein fehlerhafter Chatbot liefert möglicherweise eine falsche Antwort. Ein kompromittierter Agent kann dagegen aktiv Prozesse verändern, sensible Daten übertragen oder Aktionen in angebundenen Systemen ausführen.

Damit entsteht eine neue Governance-Lücke. Viele Unternehmen führen agentenbasierte Systeme schneller ein, als sie Richtlinien, Kontrollmechanismen und Verantwortlichkeiten aufbauen können. Fehlen verbindliche Vorgaben, kann sich eine Schwachstelle in einem einzelnen Modell, Plugin oder Repositorium über mehrere automatisierte Workflows hinweg ausbreiten.

Hinzu kommt ein grundsätzliches Vertrauensproblem. Selbst technische Entscheidungsträger können oft nicht zuverlässig beurteilen, ob ein KI-Agent innerhalb der vorgesehenen Grenzen handelt oder unerwartete Ziele verfolgt.

Der Mensch bleibt die entscheidende Kontrollinstanz

Die Absicherung der KI-Lieferkette erfordert mehr als technische Patches, Schwachstellen-Scanner oder Zugriffskontrollen. Unternehmen benötigen ein Sicherheitsmodell, das technische Kontrollen mit klaren menschlichen Verantwortlichkeiten verbindet.

Unternehmen sollten verbindliche Bewertungsverfahren für sämtliche KI-Modelle, Anbieter und Agenten etablieren. Vor einer Integration müssen Herkunft, Berechtigungen, Abhängigkeiten, Datennutzung und erwartetes Verhalten geprüft werden. Eine solche Freigabe darf nicht ausschließlich durch die Fachabteilung erfolgen, die das Modell einsetzen möchte. Informationssicherheit, Datenschutz, Compliance und gegebenenfalls der Betriebsrat müssen abhängig vom Anwendungsfall einbezogen werden.

Kritische Aktionen menschlich freigeben

Das Prinzip „Human in the Loop“ sollte vor allem dort gelten, wo KI-Agenten geschäftskritische, finanzielle oder sicherheitsrelevante Entscheidungen treffen.

Dazu gehören beispielsweise:

• das Versenden vertraulicher Informationen,
• Änderungen an Benutzerrechten,
• finanzielle Transaktionen,
• Eingriffe in produktive Systeme,
• die Veröffentlichung externer Inhalte,
• der Zugriff auf besonders schützenswerte Daten.

Ein Agent darf in solchen Situationen nicht allein auf Basis seiner eigenen Bewertung handeln. Menschliche Freigaben und technische Leitplanken müssen sicherstellen, dass autonome Systeme an organisatorische Vorgaben gebunden bleiben.

Mitarbeitende auf neue Risiken vorbereiten

Security-Awareness-Programme müssen sich ebenfalls weiterentwickeln. Bislang konzentrieren sich viele Schulungen vor allem auf Phishing, Social Engineering und den sicheren Umgang mit Passwörtern.

Künftig müssen Mitarbeitende zusätzlich verstehen, welche Risiken durch KI-Agenten und öffentliche Modelle entstehen. Sie sollten erkennen können, wann sensible Informationen nicht in ein KI-System eingegeben werden dürfen, welche Agenten für eine Aufgabe freigegeben sind und wie verdächtiges Verhalten gemeldet wird.

Der Mensch wird dadurch vom passiven Anwender zum aktiven Bestandteil der KI-Sicherheitsarchitektur.

Drei Schritte für einen kontrollierten KI-Einsatz

Ziel darf nicht sein, Innovationen grundsätzlich zu verhindern. Unternehmen müssen vielmehr einen praktikablen Weg finden, KI sicher einzusetzen und gleichzeitig neue Geschäftsmodelle zu ermöglichen. Ein solcher Rahmen lässt sich in drei Schritten zusammenfassen: Annehmen, Aufklären und Steuern.

Annehmen

Unternehmen sollten akzeptieren, dass KI längst Teil des Arbeitsalltags ist. Ein pauschales Verbot führt häufig nur dazu, dass sich die Nutzung in nicht kontrollierte Bereiche verlagert. Der erste Schritt besteht deshalb darin, sämtliche eingesetzten KI-Tools, Modelle und Agenten zu inventarisieren. Verantwortliche müssen wissen, welche Systeme genutzt werden, auf welche Daten sie zugreifen und mit welchen Anwendungen sie verbunden sind.

Aufklären

Security Awareness muss die tatsächlichen Arbeitsabläufe der Beschäftigten berücksichtigen. Neben klassischen Angriffsmethoden sollten Schulungen deshalb auch den sicheren Umgang mit generativer KI, autonomen Agenten und öffentlichen Modellen behandeln. Mitarbeitende müssen verstehen, dass ein KI-Agent nicht automatisch vertrauenswürdig ist, nur weil er produktiv eingesetzt wird oder aus einem bekannten Repositorium stammt.

Steuern

Bevor vorgefertigte KI-Lösungen in Arbeitsabläufe integriert werden, braucht es verbindliche Verfahren zur Bewertung von Anbietern, Modellen und Abhängigkeiten. Entscheidend sind Transparenz, Protokollierung und nachvollziehbare Berechtigungen. Unternehmen müssen jederzeit erkennen können, welche Daten ein Agent verarbeitet, welche Aktionen er ausgeführt hat und auf welcher Grundlage Entscheidungen getroffen wurden. „Human in the Loop“-Leitplanken dürfen dabei nicht nur als organisatorische Empfehlung verstanden werden. Sie müssen technisch in die jeweiligen Prozesse integriert sein.

KI-Sicherheit wird zur Lieferkettensicherheit

Die Werkzeuge zur Absicherung agentenbasierter Systeme entwickeln sich stetig weiter. Dennoch bleibt die zentrale Herausforderung organisatorischer Natur. Die entscheidende Frage lautet längst nicht mehr, ob ein Unternehmen KI-Modelle und Agenten einsetzt. Relevant ist vielmehr, ob es deren Herkunft, Berechtigungen und Verhalten ausreichend kontrollieren kann.

Wer E-Mail-Sicherheit, Identitätsmanagement, Security-Awareness-Training und Schutzmaßnahmen für KI-Agenten isoliert betrachtet, übersieht die gegenseitigen Abhängigkeiten. Erst ein gemeinsames Sicherheitsmodell kann verhindern, dass ein kompromittiertes Modell oder ein fehlgeleiteter Agent zum Ausgangspunkt einer umfassenden Angriffskette wird.

Open Source bleibt ein wichtiger Innovationstreiber. Doch Offenheit allein schafft noch kein Vertrauen. In der KI-Lieferkette muss Vertrauen künftig kontinuierlich überprüft, technisch begrenzt und durch menschliche Kontrolle abgesichert werden.