KI
Vectra beobachtet automatisiertes, KI-generiertes Spear-Fishing in großem Stil
Wachsende Notwendigkeit gefälschte Texte zu erkennen
Obwohl sich Vectra AZ darauf konzentriert, KI zur Cyberabwehr einzusetzen, beobachtet das Unternehmen auch, wie KI-Fortschritte von Cyberangreifern genutzt werden könnten.
„Ein Bereich, in dem in letzter Zeit einige überraschende Fortschritte erzielt wurden, ist die Generierung natürlicher Sprache. Insbesondere hat OpenAI einen Generator für natürliche Sprache geschaffen, der in der Lage ist, kohärente Antworten in Absatzlänge auf eine beliebige Eingabeaufforderung zu erzeugen“, berichtet Christopher Thissen von Vectra AI . „Die Ergebnisse sind ziemlich überzeugend, und es liegt auf der Hand, dass die Verwendung dieses Modells zur billigen Herstellung von haufenweise KI-generierten gefälschten Nachrichten führt.“
Spear-Fishing-Kampagnen sind ein weiterer naheliegender Anwendungsfall. Durch die Erstellung relevanter und realistisch aussehender Mitteilungen veranlassen Angriffe mit Spear Fishing die Opfer dazu, auf gefährliche Links zu klicken oder Zugangsdaten auf betrügerischen Domains einzugeben. Hochentwickelte Spear-Fishing-Kampagnen nutzen Hintergrundrecherchen über das Ziel (Interessen, Zugehörigkeiten usw.), um Anschreiben zu konstruieren, die ein Mensch nicht als betrügerisch identifiziert (oder nicht identifizieren kann).
Die Ergebnissse sind zwar selten perfekt, und Modelle müssen oft ein Dutzend Mal laufen, um überzeugende Ergebnisse zu erzielen. Dennoch: Die Erstellung eines glaubwürdigen Textes erfordert fast keinen Aufwand.
Es ist nicht schwer, sich Angreifer vorzustellen, die eine Pipeline aufbauen, die automatisch Schlüsselwörter aus einem Social-Media-Profil extrahiert, einen vernünftigen Text generiert, der einen Benutzer dazu auffordert, auf einen gefährlichen Link zu klicken, und den Text zu einem Zeitpunkt und an einem Ort veröffentlicht, an dem das Ziel am ehesten auf ihn reagieren wird. Tatsächlich haben Forscher von ZeroFox solch eine Pipeline für Twitter bei BlackHat demonstriert.
Die Forscher bauten eine KI auf, die Profile aus dem Twitter-Firehose auswählt und Themen aus der Profilgeschichte verwendet, um darauf einen LSTM-Textgenerator anzusetzen. Der LSTM erzeugt einen Tweet mit einem gefährlichen Link, der an den Benutzer gesendet wird, wenn er am wahrscheinlichsten antworten wird. Die Autoren berichten von Erfolgsquoten von 30 bis 60 Prozent – vergleichbar mit handgefertigten Kampagnen – und dennoch erfordern sie nach der Einrichtung fast keinen Aufwand.
Die Forscher wählten Twitter, weil die Kurznachrichten die Benutzer darauf konditioniert haben, eine unkorrekte Grammatik zu erwarten. Dies ist einer der wichtigsten Anhaltspunkte, die Menschen nutzen, um betrügerische Nachrichten wie etwa Spam-E-Mails zu erkennen. Mit den Spracherzeugungsmodellen von OpenAI verschwindet dieser Hinweis, was es viel schwieriger macht, betrügerische E-Mails, Nachrichtenartikel und Social-Media-Posts zu unterscheiden.
„Wenn Menschen nicht zwischen dem Modell von OpenAI und von Menschen generiertem Text unterscheiden können, benötigen wir möglicherweise KI, die uns hilft, betrügerische Nachrichten zu identifizieren. Wie Boxer könnten solche Modelle kontradiktorisch trainiert werden, wobei die textgenerierende KI versucht, eine zweite KI zu überlisten, die darauf trainiert ist, gefälschten Text zu erkennen“, erklärt Christopher Thissen. „Dieses Trainingsprogramm kann dazu verwendet werden, die Fähigkeit der zweiten KI, gefälschten Text zu erkennen, zu verbessern. Solche generativen kontradiktorischen Netzwerke wurden bereits verwendet, um realistische Bilder von gut ausgebildeten Diskriminatoren zu erzeugen. Hier würde der kontradiktorische Ansatz in umgekehrter Richtung verwendet, um eine KI zu trainieren, den gefälschten Text besser zu erkennen.“
OpenAI veröffentlichte im Juni 2020 ein Papier, das eine neue Version des Modells (GPT-3) beschreibt. Das neue Modell umfasst erstaunliche 175 Millionen Parameter und ist derzeit nur über eine private Beta-API verfügbar. Die Beispiele dafür, wozu diese neue Version des Modells in der Lage ist, sind beeindruckend und beinhalten die Fähigkeit, funktionierende (wenn auch einfache) Webanwendungen aus Beschreibungen in natürlicher Sprache zu erstellen.
„Eine ältere Version des Modells ist als Website verfügbar, auf der jeder Nutzer Eingabeaufforderungen für das Modell eingeben kann. Es lohnt sich es auszuprobieren, um zu sehen, zu was diese künstlichen Intelligenzen mittlerweile in der Lage sind“, schließt Christopher Thissen.
