Entwicklungen in der Künstlichen Intelligenz
Vectra AI erwartet stärkere Kommerzialisierung bei KI
Künstliche Intelligenz im Wandel
Künstliche Intelligenz entwickelt sich weiterhin in rasantem Tempo. Selbst im Jahr 2020, in dem es nicht an spektakulären Nachrichten mangelte, haben die Fortschritte in der KI mehrfach die Aufmerksamkeit des Mainstreams auf sich gezogen. Insbesondere GPT-3 von OpenAI zeigte neue und überraschende Wege auf, wie KI schon bald in unser tägliches Leben eindringen könnte. Der rasante Fortschritt macht Vorhersagen über die Zukunft der KI etwas schwierig, aber einige Bereiche scheinen reif für einen Durchbruch zu sein.
ie KI-Experten Ben Wiener, Daniel Hannah, Allan Ogwang und Christopher Thissen vom IT-Security-Anbieter Vectra AI beleuchten die jüngsten Entwicklungen sowie die bevorstehenden Phasen.
Transformer
Zwei der größten KI-Errungenschaften des Jahres 2020 teilten sich im Stillen die gleiche zugrundeliegende KI-Struktur. Sowohl GPT-3 von OpenAI als auch AlphaFold von DeepMind basieren auf einem Sequenzverarbeitungsmodell namens Transformer. Obwohl es Transformer-Strukturen schon seit 2017 gibt, demonstrierten GPT-3 und AlphaFold die bemerkenswerte Fähigkeit des Transformers, tiefer und schneller zu lernen als die vorherige Generation von Sequenzmodellen und gute Leistungen bei Problemen außerhalb der Verarbeitung natürlicher Sprache zu erzielen.
Im Gegensatz zu früheren Sequenzmodellierungsstrukturen wie rekurrenten neuronalen Netzen und LSTMs (Long Short-Term Memories) verlassen Transformer das Paradigma der sequentiellen Datenverarbeitung. Sie verarbeiten die gesamte Eingabesequenz auf einmal und verwenden einen Mechanismus, der attention („Aufmerksamkeit“) genannt wird, um zu lernen, welche Teile der Eingabe im Verhältnis zu anderen Teilen relevant sind. Dadurch können Transformer entfernte Teile der Eingabesequenz leicht miteinander in Beziehung setzen – eine Aufgabe, mit der rekurrente Modelle bekanntermaßen Schwierigkeiten haben. Außerdem können große Teile des Trainings parallel durchgeführt werden, wodurch die massiv parallele Hardware, die in den letzten Jahren verfügbar geworden ist, besser genutzt und die Trainingszeit erheblich reduziert werden kann. Die Forscher werden im Jahr 2021 zweifellos nach neuen Einsatzmöglichkeiten für diese vielversprechende Struktur suchen, und es gibt guten Grund, positive Ergebnisse zu erwarten. In der Tat hat OpenAI in diesem Jahr GPT-3 bereits modifiziert, um Bilder aus Textbeschreibungen zu generieren. Der Transformer scheint bereit zu sein, das Jahr 2021 zu dominieren.
Graph Neural Networks
In vielen Domänen gibt es Daten, die sich natürlich für Graphenstrukturen eignen: Computernetzwerke, soziale Netzwerke, Moleküle/Proteine, Transportwege sind nur einige Beispiele. Graph Neural Networks (GNNs) ermöglichen die Anwendung von Deep Learning auf graphenstrukturierte Daten. Es ist zu erwarten, dass GNNs in Zukunft eine immer wichtigere KI-Methode werden. Genauer gesagt, dürften im Jahr 2021 methodische Fortschritte in einigen Schlüsselbereichen die breitere Anwendung von GNNs vorantreiben.
Dynamische Graphen sind der erste Bereich von Bedeutung. Während die meisten GNN-Forschungen bisher von einem statischen, unveränderlichen Graphen ausgegangen sind, beinhalten die oben genannten Szenarien notwendigerweise Veränderungen im Laufe der Zeit: So treten in sozialen Netzwerken Mitglieder bei (neue Knoten) und Freundschaften ändern sich (andere Edges). Im Jahr 2020 gab es einige Bemühungen, sich zeitlich entwickelnde Graphen als eine Reihe von Momentaufnahmen zu modellieren. In diesem Jahr wird diese aufkeimende Forschungsrichtung mit einem Schwerpunkt auf Ansätzen erweitert, die einen dynamischen Graphen als eine kontinuierliche Zeitreihe modellieren. Eine solche kontinuierliche Modellierung sollte es GNNs ermöglichen, neben der üblichen topologischen Struktur auch zeitliche Strukturen in Graphen zu entdecken und daraus zu lernen.
Verbesserungen des Message-Passing-Paradigmas sind ein weiterer wichtiger Fortschritt. Eine gängige Methode zur Implementierung von Graph-Neural-Netzwerken ist das Message-Passing, bei dem Informationen über Knoten durch „Weitergabe“ von Informationen entlang der Edges, die Nachbarn verbinden, aggregiert werden. Obwohl es intuitiv ist, kämpft Message Passing damit, Effekte zu erfassen, bei denen sich Informationen über große Entfernungen in einem Graphen ausbreiten müssen. Im nächsten Jahr sind Durchbrüche zu erwarten, die über dieses Paradigma hinausgehen: etwa durch iteratives Lernen, welche Informationsausbreitungswege am relevantesten sind, oder sogar das Lernen eines völlig neuartigen kausalen Graphen auf einem relationalen Datensatz.
Anwendungen
Viele der Top Stories des letzten Jahres betonten die sich abzeichnenden Fortschritte bei den praktischen Anwendungen von KI. Im Jahr 2021 scheint es möglich zu sein, aus diesen Fortschritten Kapital zu schlagen. Insbesondere Anwendungen, die auf das Verstehen natürlicher Sprache angewiesen sind, werden wahrscheinlich Fortschritte erleben, wenn der Zugang zur GPT-3-API verfügbar wird. Die API ermöglicht es Anwendern, auf die Fähigkeiten von GPT-3 zuzugreifen, ohne dass sie ihre eigene KI trainieren müssen – ein ansonsten teures Unterfangen. Mit dem Kauf der GPT-3-Lizenz durch Microsoft wird die Technologie möglicherweise auch in Microsoft-Produkten zum Einsatz kommen.
Auch andere Anwendungsbereiche dürften im Jahr 2021 erheblich von der KI-Technologie profitieren. KI und maschinelles Lernen (ML) sind in den Bereich der Cybersicherheit vorgedrungen, aber 2021 hat das Potenzial, die Entwicklung noch ein wenig steiler voranzutreiben. Wie der Datenraub bei SolarWinds gezeigt hat, müssen sich Unternehmen mit den potenziellen Bedrohungen durch Cyberkriminelle und nationalstaatliche Akteure sowie mit den sich ständig weiterentwickelnden Konfigurationen von Malware und Ransomware auseinandersetzen. Im Jahr 2021 ist ein aggressiver Vorstoß von fortschrittlicher KI für Verhaltensanalysen zur Erweiterung von Netzwerkverteidigungssystemen zu erwarten. KI und Verhaltensanalysen sind entscheidend, um neue Bedrohungen, einschließlich Varianten früherer Bedrohungen, zu identifizieren.
Der Trend zeigt auch bei Anwendungen, die standardmäßig maschinelle Lernmodelle auf Edge-Geräten ausführen, nach oben. Geräte wie Googles Coral, das über eine eingebaute Tensor Processing Unit (TPU) verfügt, werden sich angesichts der Fortschritte bei Rechenleistung und Quantisierungstechnologien weiterverbreiten. Edge-KI macht es überflüssig, Daten zur Inferenz in die Cloud zu senden. Das spart Bandbreite und reduziert die Ausführungszeit, was beides in Bereichen wie dem Gesundheitswesen entscheidend ist. Edge Computing kann auch neue Anwendungen in anderen Bereichen eröffnen, die Datenschutz, Sicherheit und geringe Latenzzeiten erfordern, sowie in Regionen der Welt, die keinen Zugang zu Hochgeschwindigkeitsinternet haben.
Zusammenfassung
Die KI-Technologie setzt sich immer breiter in der Praxis durch. Die Fortschritte bei Transformer-Strukturen und GNNs werden wahrscheinlich zu Innovationen in Bereichen führen, die bisher noch nicht ohne Weiteres für bestehende KI-Techniken und -Algorithmen geeignet waren. In diesem Beitrag wurden einige Bereiche hervorgehoben, die in diesem Jahr für Fortschritte bereit zu sein scheinen, aber es wird zweifelsohne Überraschungen geben im weiteren Jahresverlauf. „Vorhersagen sind schwer, vor allem über die Zukunft“, wie das Sprichwort sagt. Was sich in jedem Fall abzeichnet: 2021 scheint ein spannendes Jahr für den Bereich der KI zu werden.
