Event Stream Processing
Wechsel von Daten-basierten zu Ereignis-fokussierten Datenstrategien
data Artisans gibt Tipps
Das rasante Datenwachstum der vergangenen Jahre hat vielerorts bereits zu einem Umdenken in den IT-Abteilugen geführt. Lag der Fokus in der Vergangenheit oft auf der Infrastruktur und den Anwendungen, so haben viele Unternehmen angesichts der sich auftürmenden Datenberge mehr und mehr den Schritt hin zu datenzentrischen IT-Umgebungen gewagt. Dass die Reise hier aber nicht endet, stellen vor allem die Unternehmen fest, welche Daten nahe-Echtzeit verarbeiten müssen und mit Aufgaben wie Real-Time-Big Data-Analytics konfrontiert sind. War bis dato die überwiegenden Masse an Daten „kalt“, so steigt mittlerweile der Anteil der „heißen“ Daten, also Daten in Bewegung, stetig.
In vielen Organisationen findet bereits ein Umstieg von Daten-basierten, zu Ereignis-fokussierten (Event-driven) Datenstrategien statt. Ein aktuelles Beispiel ist der chinesische eCommerce-Gigant Alibaba, der unter anderem auf Data Streaming auf Basis von Apache Flink setzt
„Datenstrategien auf Basis von Ereignisströmen bzw. Events unterscheiden sich von monolithischen Datenspeicherstrategien deutlich“, erklärt Fabian Hueske, Mitgründer und Software Engineer bei data Artisans aus Berlin. „Auch wenn der Umstieg sicher nicht von heute auf morgen geschehen wird, so sehen wir dennoch langfristig ganz klar einen starken Trend in Richtung ereigniszentrischer Datenstrategien“.
"data Artisans Product Announcement - Patrick Lucas & Robert Metzger (data Artisans)"
Mit dem Laden des Videos erklären Sie sich mit den Datenschutz- und Nutzungsbedingungen von YouTube bzw. Google einverstanden.
Welche Überlegungen müssen Data Engineers und Softwareentwickler anstellen, wenn sie ihre Datenarchitektur von einem datenzentrischen Ansatz hin zu Stream Processing, also moderner Datenstromverarbeitung verlagern?
„Wenn ein Unternehmen die Stream-Verarbeitung einsetzt, sind mehrere Aspekte zu berücksichtigen. Diese reichen von der technologischen Sichtweise bis hin zur Möglichkeit, die Leistungsfähigkeit der Stream-Verarbeitung zu nutzen, um neue Fähigkeiten und Denkweisen zu entwickeln. So gibt es vier wichtige Unterschiede zwischen den beiden Datenstrategien“, ergänzt Fabian Hueske.
Diese vier Punkte müssen Unternehmen, die einen solchen Übergang planen, beachten:
Die Art und Weise, wie sie mit Daten in Ihrem Unternehmen umgehen, wird sich verändern
In monolithischen Systemen ruhen die Daten, während sie bei der Verarbeitung von Ereignisströmen laufend in Bewegung sind um nutzbare Ergebnisse zu gewinnen.
Die Prioritäten zwischen Daten und Aktionen ändern sich
Ihre Dateninfrastruktur wechselt von einer Fokussierung auf die Aufbewahrung von Daten hin zu einer Reaktion auf Ereignisströme. Die Stream-Verarbeitung ermöglicht es digitalen Unternehmen, sofort auf Ereignisse zu reagieren und Kunden, Partnern oder anderen Interessengruppen Reaktion, Erfahrung und Services in Echtzeit zu bieten. Der Fokus richtet sich dabei auf den kontinuierlichen Fluss der Stream-Verarbeitung und die Priorisierung des Handelns aufgrund von Ereignissen.
Die Datenquelle wird angepasst
Ihre Datenstrategie wird sich letztendlich auf die Datenautorität in Ihrem Unternehmen auswirken. Von ihrem Datenspeicher in einer monolithischen Dateninfrastruktur verschiebt sich die Datenautorität hin zum Ereignisprotokoll als neuer ultimativer Punkt der Wahrheit. Dies kommt z.B. zum Tragen, wenn Unternehmen versuchen, die Ursache für einen Systemausfall oder andere Probleme zu finden, die sich auf den Betrieb ihrer Infrastruktur auswirken könnten.
Die Rolle der Dateninfrastruktur im Unternehmen ändert sich
Mit der Umstellung auf Stream Processing verändert sich die Wahrnehmung der IT- und Datensysteme innerhalb des Unternehmens wesentlich. Die Dateninfrastruktur wird zum zentralen Nervensystem, das es einem Unternehmen ermöglicht, auf Ereignisse in Echtzeit zu reagieren und Entscheidungen von unschätzbarem Wert zu treffen, genau zu dem Zeitpunkt wenn die Daten generiert werden und somit, wenn sie am wertvollsten sind. Bisher wurden Daten, die in einer Datenbank oder monolithischen Infrastruktur ruhten, lediglich als Datenarchiv für das Unternehmen angesehen.
Event Stream Processing in die Unternehmenskultur zu integrieren wird nach Meinung von data Artisans für die Transformationsphase zu einem modernen, softwaregesteuerten, digitalen Unternehmen künftig unerlässlich sein. Die Transformation ist grundlegend und geht weit über technologische und technische Veränderungen hinaus.
„Die Veränderung erfolgt auf kultureller genauso wie auf technischer Ebene. IT- und Datenmanager, die eine digitale Transformation in ihrem Unternehmen vorantreiben, sollten Event Stream Processing als technische, organisatorische und kulturelle Grundlage ihrer Strategie anerkennen“, fasst Fabian Hueske von data Artisans abschließend zusammen.
