Funktionale Erweiterung einer Datenbank für Gasspeichermanagement auf Snowflake on Azure

Einige Datenquellen speichern in regelmäßigen Abständen XML-Dateien auf einem Azure Blob Storage ab. Azure Function Apps (in C# geschrieben) lösen aus, wenn eine neue Datei auf den Blob Storage gespeichert wird und verarbeiten die Daten in den XML-Dateien, sodass diese in Snowflake gespeichert werden können. Für die weitere Verarbeitung werden Python-Skripte auf einem Azure Batch Account genutzt. Das ETL-Tool Talend wird dabei benutzt, um den Azure Batch Account zu starten, der wiederum die Python-Skripte aufruft. Ebenso wird Talend genutzt, um einige Datenquellen abzufragen, die einen API Endpoint bereitstellen. Diese Daten können ebenso direkt in Snowflake gespeichert werden und mit Python-Skripten verarbeitet werden. Die Python-Skripte führen vor allem SQL-Befehle auf Snowflake zur Datentransformation aus und speichern die transformierten Daten auch in Snowflake wieder ab. Snowflake kann mit den aufbereiteten Daten für bestehende Reports in Tableau und Power BI als Datenquelle verwendet werden.