Ausbau des Monitorings und Alertings einer Business Intelligence Plattform

Beim Betrieb eines (E)DWH stellt der valide Datentransfer eine zentrale Herausforderung dar. Angefangen bei der Anbindung vieler Quellsysteme im DWH bis hin zur Verarbeitung der Daten durch ETL/ELT Prozesse in die höheren Schichten des DWH können Abbrüche zur Störung im Reporting führen. Darüber hinaus stellt auch die Datenmenge sowie die Aktualität der Daten einen wichtigen Indikator über den Zustand des DWHs dar. Hierzu werden vorhandene Metriken wie die Ausführungszeit der ETL-Prozesse oder die Anzahl der verarbeiteten Datensätze erweitert und neue Metriken wie die Aktualität der Quellsystemdaten und der Speicherverbrauch einzelner Datenbereiche bzw. Komponenten definiert. Anhand der Zeitreihen werden neben den dedizierten Panels für die Komponenten des DWHs zusätzlich gruppierte Ampel-Panels für einen Gesamtzustand in Grafana erstellt. Für eine zeitnahe Behebung der Störungen wird durch das Upgrade der Time Series Database InfluxDB auf die Version 2.0 ein einheitliches Alerting ermöglicht.