56600
2022
2022
2022
eng
ix, 148
doctoralthesis
1
--
--
2022-09-20
A benchmark for enterprise stream processing architectures
Ein Benchmark für Architekturen zur Datenstromverarbeitung im Unternehmenskontext
Data stream processing systems (DSPSs) are a key enabler to integrate continuously generated data, such as sensor measurements, into enterprise applications. DSPSs allow to steadily analyze information from data streams, e.g., to monitor manufacturing processes and enable fast reactions to anomalous behavior. Moreover, DSPSs continuously filter, sample, and aggregate incoming streams of data, which reduces the data size, and thus data storage costs.
The growing volumes of generated data have increased the demand for high-performance DSPSs, leading to a higher interest in these systems and to the development of new DSPSs. While having more DSPSs is favorable for users as it allows choosing the system that satisfies their requirements the most, it also introduces the challenge of identifying the most suitable DSPS regarding current needs as well as future demands. Having a solution to this challenge is important because replacements of DSPSs require the costly re-writing of applications if no abstraction layer is used for application development. However, quantifying performance differences between DSPSs is a difficult task. Existing benchmarks fail to integrate all core functionalities of DSPSs and lack tool support, which hinders objective result comparisons. Moreover, no current benchmark covers the combination of streaming data with existing structured business data, which is particularly relevant for companies.
This thesis proposes a performance benchmark for enterprise stream processing called ESPBench. With enterprise stream processing, we refer to the combination of streaming and structured business data. Our benchmark design represents real-world scenarios and allows for an objective result comparison as well as scaling of data. The defined benchmark query set covers all core functionalities of DSPSs. The benchmark toolkit automates the entire benchmark process and provides important features, such as query result validation and a configurable data ingestion rate.
To validate ESPBench and to ease the use of the benchmark, we propose an example implementation of the ESPBench queries leveraging the Apache Beam software development kit (SDK). The Apache Beam SDK is an abstraction layer designed for developing stream processing applications that is applied in academia as well as enterprise contexts. It allows to run the defined applications on any of the supported DSPSs. The performance impact of Apache Beam is studied in this dissertation as well. The results show that there is a significant influence that differs among DSPSs and stream processing applications. For validating ESPBench, we use the example implementation of the ESPBench queries developed using the Apache Beam SDK. We benchmark the implemented queries executed on three modern DSPSs: Apache Flink, Apache Spark Streaming, and Hazelcast Jet. The results of the study prove the functioning of ESPBench and its toolkit. ESPBench is capable of quantifying performance characteristics of DSPSs and of unveiling differences among systems.
The benchmark proposed in this thesis covers all requirements to be applied in enterprise stream processing settings, and thus represents an improvement over the current state-of-the-art.
Data Stream Processing Systems (DSPSs) sind eine Schlüsseltechnologie, um kontinuierlich generierte Daten, wie beispielsweise Sensormessungen, in Unternehmensanwendungen zu integrieren. Die durch DSPSs ermöglichte permanente Analyse von Datenströmen kann dabei zur Überwachung von Produktionsprozessen genutzt werden, um möglichst zeitnah auf ungewollte Veränderungen zu reagieren. Darüber hinaus filtern, sampeln und aggregieren DSPSs einkommende Daten, was die Datengröße reduziert und so auch etwaige Kosten für die Datenspeicherung.
Steigende Datenvolumen haben in den letzten Jahren den Bedarf für performante DSPSs steigen lassen, was zur Entwicklung neuer DSPSs führte. Während eine große Auswahl an verfügbaren Systemen generell gut für Nutzer ist, stellt es potentielle Anwender auch vor die Herausforderung, das für aktuelle und zukünftige Anforderungen passendste DSPS zu identifizieren. Es ist wichtig, eine Lösung für diese Herausforderung zu haben, da das Austauschen von einem DSPS zu teuren Anpassungen oder Neuentwicklungen der darauf laufenden Anwendungen erfordert, falls für deren Entwicklung keine Abstraktionsschicht verwendet wurde. Das quantitative Vergleichen von DSPSs ist allerdings eine schwierige Aufgabe. Existierende Benchmarks decken nicht alle Kernfunktionalitäten von DSPSs ab und haben keinen oder unzureichenden Tool-Support, was eine objektive Ergebnisberechnung hinsichtlich der Performanz erschwert. Zudem beinhaltet kein Benchmark die Integration von Streamingdaten und strukturierten Geschäftsdaten, was ein besonders für Unternehmen relevantes Szenario ist.
Diese Dissertation stellt ESPBench vor, einen neuen Benchmark für Stream Processing-Szenarien im Unternehmenskontext. Der geschäftliche Kontext wird dabei durch die Verbindung von Streamingdaten und Geschäftsdaten dargestellt. Das Design von ESPBench repräsentiert Szenarien der realen Welt, stellt die objektive Berechnung von Benchmarkergebnissen sicher und erlaubt das Skalieren über Datencharakteristiken. Das entwickelte Toolkit des Benchmarks stellt wichtige Funktionalitäten bereit, wie beispielsweise die Automatisierung den kompletten Benchmarkprozesses sowie die Überprüfung der Abfrageergebnisse hinsichtlich ihrer Korrektheit. Um ESPBench zu validieren und die Anwendung weiter zu vereinfachen, haben wir eine Beispielimplementierung der Queries veröffentlicht. Die Implementierung haben wir mithilfe des in Industrie und Wissenschaft eingesetzten Softwareentwicklungsbaukastens Apache Beam durchgeführt, der es ermöglicht, entwickelte Anwendungen auf allen unterstützten DSPSs auszuführen. Den Einfluss auf die Performanz des Verwendens von Apache Beam wird dabei ebenfalls in dieser Arbeit untersucht. Weiterhin nutzen wir die veröffentlichte Beispielimplementierung der Queries um drei moderne DSPSs mit ESPBench zu untersuchen: Apache Flink, Apache Spark Streaming und Hazelcast Jet. Der Ergebnisse der Studie verdeutlichen die Funktionsfähigkeit von ESPBench und dessen Toolkit. ESPBench befähigt Performanzcharakteristiken von DSPSs zu quantifizieren und Unterschiede zwischen Systemen aufzuzeigen.
Der in dieser Dissertation vorgestellte Benchmark erfüllt alle Anforderungen, um in Stream Processing-Szenarien im Unternehmenskontext eingesetzt zu werden und stellt somit eine Verbesserung der aktuellen Situation dar.
10.25932/publishup-56600
urn:nbn:de:kobv:517-opus4-566000
online registration
publish
Dissertation, Universität Potsdam, 2022
ST 515, ST 510, ST 620
CC-BY-NC-ND - Namensnennung, nicht kommerziell, keine Bearbeitungen 4.0 International
Guenter Hesse
eng
uncontrolled
stream processing
eng
uncontrolled
performance
eng
uncontrolled
benchmarking
eng
uncontrolled
dsps
eng
uncontrolled
espbench
eng
uncontrolled
benchmark
deu
uncontrolled
Performanz
deu
uncontrolled
Datenstromverarbeitung
deu
uncontrolled
Benchmark
Informatik, Informationswissenschaft, allgemeine Werke
open_access
Hasso-Plattner-Institut für Digital Engineering GmbH
Universität Potsdam
Universität Potsdam
https://publishup.uni-potsdam.de/files/56600/hesse_diss.pdf
9255
2016
2016
deu
87
99
1
article
Universitätsverlag Potsdam
Potsdam
0
--
--
--
Schweigende Aufklärer und rollende Köpfe
Grenzräume – Grenzbewegungen : Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Słubice 2014 ; Bd. 1
Radoslav Petkovićs und Svetislav Basaras literarische Suche nach den Ursprüngen des Patriotismus
978-3-86956-358-9
urn:nbn:de:kobv:517-opus4-92550
online registration
CC-BY - Namensnennung 4.0 International
Eva Kowollik
deu
uncontrolled
Gender
deu
uncontrolled
Grenzen
deu
uncontrolled
Performanz
eng
uncontrolled
Postcolonial
deu
uncontrolled
Postkolonial
deu
uncontrolled
Slavistik
eng
uncontrolled
Borders
eng
uncontrolled
Performance
eng
uncontrolled
Slavic studies
Literatur und Rhetorik
open_access
Institut für Slavistik
Universitätsverlag Potsdam
Kulturen und Ethnien im Zeitalter des Postnationalen
Universität Potsdam
https://publishup.uni-potsdam.de/files/9255/jfsl2015_01_S_87-99.pdf
8677
2016
2016
deu
307
2
book
Universitätsverlag Potsdam
Potsdam
1
2016-07-01
--
--
Grenzräume – Grenzbewegungen
Der vorliegende Sammelband vereinigt die Beiträge der 12. und 13. Tagung des Jungen Forums Slavistische Literaturwissenschaft (JFSL) in Basel 2013 und Frankfurt (Oder) und Słubice 2014. Unter den thematischen Leitbegriffen Grenzräume – Grenzbewegungen präsentiert er Einblicke in die Arbeit von Nachwuchswissenschaftlerinnen und -wissenschaftlern der deutschsprachigen slavischen Literatur- und Kulturwissenschaft.
This anthology contains the contributions of the 12th and 13th JFSL meeting in Basel in 2013 and Frankfurt (Oder) and Słubice 2014, respectively. Under the topic Boundaries in Space — Boundaries in Motion it presents an insight into the work of young researchers of Slavic literature and culture studies.
Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Słubice 2014 ; Bd. 2
978-3-86956-359-6
urn:nbn:de:kobv:517-opus4-86773
online registration
KD 1035 , KD 1048
<hr/> In Printform erschienen im <a href="http://info.ub.uni-potsdam.de/verlag.htm">Universitätsverlag Potsdam</a>:<br/><br/> Grenzräume – Grenzbewegungen : Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Slubice 2014 ; Bd. 2 / Nina Frieß, Gunnar Lenz, Erik Martin (Hrsg.). – Potsdam: Universitätsverlag Potsdam, 2016. – 307 S. : Ill., graph. Darst.<br/> ISBN 978-3-86956-359-6<br/> --> <a href="http://info.ub.uni-potsdam.de/cgi-bin/publika/view.pl?id=897">bestellen</a> <hr/>
CC-BY - Namensnennung 4.0 International
Nina Frieß
Gunnar Lenz
Erik Martin
Marie Brunová
Anja Burghardt
Mariya Donska
Svetlana Efimova
Anar Imanov
Sebastian Kornmesser
Magdalena Koy
Yaraslava Ananka
Julia Fertig
Julia Hargaßner
Olena Kuprina
Ingeborg Jandl
Łukasz Neca
Jana Pavlova
Maria Smyshliaeva
Katarzyna Adamczak
Galina Gauss
Olga Gorfinkel
deu
uncontrolled
Gender
deu
uncontrolled
Grenzen
deu
uncontrolled
Performanz
deu
uncontrolled
Postcolonial
deu
uncontrolled
Postkolonial
deu
uncontrolled
Slavistik
eng
uncontrolled
Borders
eng
uncontrolled
Gender
eng
uncontrolled
Performance
eng
uncontrolled
Slavic studies
Literatur und Rhetorik
open_access
Institut für Slavistik
Universitätsverlag Potsdam
Grenzräume - Grenzbewegungen : Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Słubice 2014 ; Bd. 2
Universität Potsdam
Universitätsverlag Potsdam
https://publishup.uni-potsdam.de/files/8677/jfsl2015_02.pdf
8676
2016
2016
deu
286
1
book
Universitätsverlag Potsdam
Potsdam
1
--
--
--
Grenzräume – Grenzbewegungen
Der vorliegende Sammelband vereinigt die Beiträge der 12. und 13. Tagung des Jungen Forums Slavistische Literaturwissenschaft (JFSL) in Basel 2013 und Frankfurt (Oder) und Słubice 2014. Unter den thematischen Leitbegriffen Grenzräume – Grenzbewegungen präsentiert er Einblicke in die Arbeit von Nachwuchswissenschaftlerinnen und -wissenschaftlern der deutschsprachigen slavischen Literatur- und Kulturwissenschaft.
This anthology contains the contributions of the 12th and 13th JFSL meeting in Basel in 2013 and Frankfurt (Oder) and Słubice 2014, respectively. Under the topic Boundaries in Space — Boundaries in Motion it presents an insight into the work of young researchers of Slavic literature and culture studies.
Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Słubice 2014 ; Bd. 1
978-3-86956-358-9
urn:nbn:de:kobv:517-opus4-86769
online registration
KD 1035 , KD 1048
<hr/> In Printform erschienen im <a href="http://info.ub.uni-potsdam.de/verlag.htm">Universitätsverlag Potsdam</a>:<br/><br/> Grenzräume – Grenzbewegungen : Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Slubice 2014 ; Bd. 1 / Nina Frieß, Gunnar Lenz, Erik Martin (Hrsg.). – Potsdam: Universitätsverlag Potsdam, 2016. – 286 S. : graph. Darst.<br/> ISBN 978-3-86956-358-9<br/> --> <a href="http://info.ub.uni-potsdam.de/cgi-bin/publika/view.pl?id=896">bestellen</a> <hr/>
CC-BY - Namensnennung 4.0 International
Nina Frieß
Gunnar Lenz
Erik Martin
Lucie Antošíková
Marlene Bainczyk-Crescentini
Elena Chkhaidze
Lea Gladis
Hanna Stickel
Philipp Kohl
Eva Kowollik
Tijana Matijević
Christof Schimsheimer
Dijana Simić
Joanna Sulikowska-Fajfer
Olesia Zalkowski
Yaraslava Ananka
Bianca Edith Blum
Christina Färber
Olga Gorfinkel
Therese Hoy
Willi Reinecke
Peter Salden
Angelika Schmitt
deu
uncontrolled
Slavistik
deu
uncontrolled
Grenzen
deu
uncontrolled
Gender
deu
uncontrolled
Performanz
deu
uncontrolled
Postkolonial
eng
uncontrolled
Slavic studies
eng
uncontrolled
Borders
eng
uncontrolled
Gender
eng
uncontrolled
Performance
deu
uncontrolled
Postcolonial
Literatur und Rhetorik
open_access
Institut für Slavistik
Universitätsverlag Potsdam
Grenzräume - Grenzbewegungen : Ergebnisse der Arbeitstreffen des Jungen Forums Slavistische Literaturwissenschaft in Basel 2013 und Frankfurt (Oder) und Słubice 2014 ; Bd. 1
Universität Potsdam
Universitätsverlag Potsdam
https://publishup.uni-potsdam.de/files/8676/jfsl2015_01.pdf