Raum Usedom
G2 / Business Process
09.50 - 10.35 Uhr
Themenbereich: Business Process
Spark vs. Flink - Rumble in the (Big Data) Jungle
Unter "Einreichung von Sponsored Talks" können Sie noch einen Sponsored Talk einreichen und buchen.
Michael Pisula) und )) (TNG Technology Consulting GmbH)
Zielgruppe:
Anfänger
Abstract:
Nachdem sich Apache Spark im letzten Jahr als ernsthafte Alternative unter den Big Data Frameworks etablieren konnte und Hadoop MapReduce den Rang abläuft, kommt nun aus Berlin unerwartet Konkurrenz in Form von Apache Flink.
Die Ähnlichkeiten zwischen beiden Frameworks sind unverkennbar. Beide setzen auf In-Memory Processing und einen integrativen Ansatz zur Umsetzung von Data Processing Pipelines. Ersteres beschleunigt die Verarbeitung, letzteres vereinfacht sowohl Entwicklung als auch Betrieb komplexer Big Data Applikationen.
Bei genauerer Betrachung treten aber grundsätzliche Unterschiede zu Tage. Den Kern von Spark bildet eine Batch Processing Engine, während Flink auf einer Stream Processing Engine aufbaut. Auf diesen Engines werden dann alle anderen Abstraktionen abgebildet. Gerade dieser konzeptionelle Unterschied ist auch in der alltäglichen Arbeit mit den Frameworks hochrelevant.
Wir werden die Hauptkonzepte der beiden Konkurrenten durch viele Codebeispiele beleuchten, Schwächen und Stärken vergleichen, aber auch auf Performance und Entwicklungskomfort eingehen.
Über die Referenten:
Michael Pisula
Michael Pisula
Michael Pisula hat Informatik an der Universität Passau studiert. Sein besonderes Interesse gilt den verteilten Systemen, insbesondere der immer wichtiger werdenden Big Data Welt. Als Senior Consultant bei TNG hilft er unseren Kunden wenn es um Big Data, Akka, Continuous Integration und allgemein um nicht-triviale Probleme geht.Konstantin Knauf