Decouple your Datenflüsse: Warum unser Messagebroker 6 TB Storage hat (cosin2025)

"Ich orchestriere Datenflüsse", das sag ich, wenn mich öpper fragt, was ich denn bei Meteotest mache. Denn von überall kommen Daten rein: Satellitenbilder, Messwerte von Wetterstationen, Bilder von Strassenwetterkameras, hochaufgelöste Wettermodelle, Regenradar, kurzfristige Wetterprognosen, Messwerte von Schadstoffmessungen. Diese Datenflüsse wollen nicht nur verarbeitet, sondern auch überwacht, archiviert, weitergeleitet, angezapft, und bespielt werden. Bei uns geht das alles über einen Messagebroker. Manche der verschickten Messages sind mehrere hundert Megabytes gross! Dürfen wir das? Und was passiert, wenn Systeme dazukommen und weggehen, oder ausfallen? Wie füttern wir Testsysteme mit reellen Daten? Ist Apache Artemis mit Apache Camel die Erlösung? about this event: https://fahrplan.cosin.ch/fahrplan/2025/events/22276653-7f42-55e5-b0f9-9143f4173e5b/