Streaming mit Apache Kafka @JAX 2021

Thomas Müller, Softwareentwickler bei sidion

3 - 2 - 1 - und ACTION!

Am 06. Mai 2021 war es endlich soweit. Unser erster gemeinsamer Vortrag auf der diesjährigen JAX zum Thema "Streaming mit Apache Kafka" konnte beginnen. Dank einer super Einweisung durch das Remote-JAX-Team konnten wir auch problemlos unseren Vortrag starten.

OK, es war schon etwas ungewohnt die Teilnehmer nicht direkt sehen zu können, sondern nur in die Kamera reinzuschauen. Vor allem weil man nicht die direkten Reaktionen der Zuhörer mitbekommt. Man kann nur darauf vertrauen das der eigene Vortrag soweit gut ist das alle Teilnehmer interessiert dabeibleiben.

Nach unserer kurzen Vorstellung ging Winfried Bittner zuerst auf das Thema "Was ist Apache Kafka?" und das angrenzende Ökosystem ein.

Es folgte ein sehr interessanter Einblick in das sehr wichtige Thema der Serdes welches mit guten Codebeispielen unterlegt wurde. Auch die Gegenüberstellung von Streaming vs. Batch brachte einen sehr guten Überblick welches Vorgehen wann am besten geeignet ist.

Den zweiten Teil der Session startete ich dann mit ein paar kleinen praktischen Einstiegshilfen für die Kafka Streaming API. Ich zeigte hier ein paar Basic-Features wie das Filtern und Mappen von Events innerhalb eines Streams sowie das Branchen in mehrere Streams und das selectKey()-Feature.

Weiter ging es dann in dem fortgeschrittenen Thema Local State Store mit praktischen Beispielen dazu.

Über das Joinen von Streams wurde dann die Brücke zu den KTables geschlagen welche auch wieder mit einem praktischen Beispiel abgerundet wurden. Zum Schluss gab es nochmals einen kleinen Theorieblock zum Thema Repartitioning.

Nach etwas mehr als 45 Minuten waren wir dann auch mit unserem Vortrag durch. Es folgten dann noch 15 spannende Minuten Q&A. Dabei wurden sehr viele sehr gute Fragen gestellt welche wir auch im Großen und Ganzen gut beantworten konnten.

Mein Fazit für die Teilnahme an der Remote-JAX fällt auf jeden Fall sehr positiv aus. Klar, es fehlt der persönliche Kontakt untereinander, aber durch die super Organisation und der problemlosen Technik konnte man schon so etwas wie ein Speaker-Feeling aufbauen. Ich würde es auf jeden Fall wieder machen, jedoch hoffe ich das wir die nächsten Konferenzen wieder Face-2-Face machen können.

 

Weiterführende Links:

Vortrag:

https://jax.de/big-data-machine-learning/streaming-mit-apache-kafka/

Swapcard:

https://app.swapcard.com/event/jax-2021/planning/UGxhbm5pbmdfNDMzNzUw

Codebeispiele zum Download:

https://gitlab.com/sidion/kafka-streaming-vortrag-jax2021