Stream Processing
Schnelles 5G bringt der Industrie nichts, wenn die IIoT-Daten der Flaschenhals sind
Verarbeitung von Echtzeit-Datenströmen
Auf dem Mobile World Congress war 5G ein großes Thema im Consumer- und Business-Umfeld. Auch auf der Hannover Messe wird 5G im Fokus stehen, nicht zuletzt, weil das industrielle Internet der Dinge (IIoT) und Industrie 4.0 in Deutschland immer schneller voranschreiten. 5G gilt als Hoffnungsträger, wird aber für erfolgreiche IoT-Projekte nicht ausreichen, denn es geht nicht nur um Übertragungsbandbreite. Ververica (vormals data Artisans), gegründet von den ursprünglichen Entwicklern des Open Source Frameworks Apache Flink®, sieht die Wertschöpfung aus IoT-Daten nur dann gegeben, wenn deren Auswertung nahezu in Echtzeit möglich ist. Genau dies ermöglicht Stream Processing, eine moderne Datenverarbeitungstechnologie, die für den Durchbruch des IIoT und das Vorantreiben von Industrie 4.0 maßgebliche Impulse liefern wird.
Experten sehen die Datenverarbeitung als Flaschenhals im industriellen Internet der Dinge (IIoT) – trotz künftigem 5G-Netz. Stream Processing ermöglicht die Verarbeitung von Datenströmen nahezu in Echtzeit, Voraussetzung für die Wertschöpfung aus IoT-Daten.
Unternehmen erzeugen kontinuierlich immer größere Datenmengen, insbesondere Sensordaten der vernetzten Industrie 4.0. An dieser Stelle kommt Stream Processing ins Spiel, eine Big-Data-Technologie, die für einen neuen Ansatz in der Datenverarbeitung steht. Dieser unterscheidet sich fundamental von dem bisher verwendeten Batch-Processing, also der Stapelverarbeitung.
„Während herkömmliche Datenbanken die Daten zunächst abspeichern müssen, um sie zu verarbeiten, ist dies mit dem heutigen Datenvolumen und der erwarteten Geschwindigkeit oft gar nicht möglich“, erklärt Aljoscha Krettek, Software Engineer bei Ververica. „Mittels Stream Processing durch Apache Flink, können die Daten jedoch unmittelbar „in Bewegung“ als Datenstrom nahezu in Echtzeit verarbeitet werden.“ Auf diese Weise ist die Bewältigung kontinuierlich zufließender Datenströme – etwa von Finanztransaktionen, beim eCommerce, aber auch von IoT-Sensoren – möglich. Dies wiederum ist die Voraussetzung, damit Unternehmen unmittelbar auf Ereignisse reagieren können.
Wandel in der Datenverarbeitung vorantreiben
Diesen Wandel in der Datenverarbeitung voranzutreiben, hat sich Ververica zum Ziel gesetzt. Apache Flink Stream Processing wird mittlerweile von globalen Unternehmen wie Alibaba, ING, Netflix und Uber eingesetzt. Typische Anwendungsfälle sind Datenanalyse, maschinelles Lernen, Such- und Content-Ranking, sowie Betrugserkennung in Echtzeit. Der Medienriese Netflix verarbeitet mit Flink mehr als fünf Billionen Ereignisse pro Tag, also mehr als 50 Millionen pro Sekunde, auf Tausenden von Prozessorkernen. Ebenso wie bei diesen Anwendungsbeispielen aus der Praxis sind industrielle IoT-Anwendungen auf Echtzeitdaten angewiesen, um gegebenenfalls sofortige Maßnahmen einzuleiten. Ein Beispiel wäre das Management bei der Erzeugung regenerativer Energien je nach Wetterlage und Strombedarf.
„Die Verarbeitung von Echtzeit-Datenströmen anstelle von periodisch übertragenen Datensätzen ermöglicht es, Berechnungen sofort bei der Verfügbarkeit von Daten durchzuführen, zeitnahe Warnungen auszulösen oder Ereignismuster kontinuierlich zu erkennen“, erklärt Aljoscha Krettek abschließend. „Mit dem Voranschreiten von Industrie 4.0, dem IIoT-Wachstum und dem parallelen Aufbau des 5G-Netzes dürfte Stream Processing auf Grundlage von Apache Flink weiter an Bedeutung gewinnen.“
