Zentrale Cloud-Datenplattform für die Energiebranche

25.01.22

Data Management

Der Energiehandel nimmt innerhalb des aktuellen Marktgeschehens eine immer wichtigere Rolle ein. Doch um dem Wettbewerb erfolgreich standzuhalten, ist es wichtig, eine der größten Branchenherausforderungen zielführend umzusetzen: der richtige Umgang mit Daten. Durch eine smarte Integration der Daten in die individuelle IT-Landschaft und einer schnellen Verfügbarkeit für alle Beteiligten, wird der Nutzen aus den Daten maximiert. Was die Besonderheiten des Projekts waren, erfahren Sie in diesem Blog.

Drucken

HERAUSFORDERUNGEN DER BRANCHE

Der Energiehandel hat sich in den letzten Jahren zu einem zentralen und komplexen Element in der Wertschöpfungskette weiterentwickelt. Die dem Handel zugrunde liegenden Preise sind von einer Vielzahl an Faktoren, wie der Verfügbarkeit, dem Wetter, Tageszeiten und vielen anderen Parametern, abhängig. Für den Erfolg von Energieunternehmen ist es dabei unabdingbar, dass die Daten der verschiedenen Faktoren zentral gesammelt, verarbeitet und für alle notwendigen Prozesse, Systeme, Data Science und Reports aufbereitet und zur Verfügung gestellt werden – eine der größten Herausforderungen für die Branche. Wer diese Daten für Kunden nicht transparent macht, läuft Gefahr, sie zu verlieren.

Unser Kunde aus dem Energiesektor sah sich täglich mit diesen Herausforderungen konfrontiert und wollte neue Märkte und deren Daten in seine IT-Landschaft integrieren. Die daraus resultierenden Markt-, Handels- und Stammdaten sollten seinen Systemen und dem Team innerhalb kürzester Zeit zur Verfügung gestellt werden, um den Nutzen aus ihnen zu maximieren. Ziel des Projektes war es, die bestehenden Punkt-zu-Punkt-Verbindungen der operativen Systeme aufzulösen und sie durch eine zentrale Datenplattform zu ersetzen. Durch den Aufbau einer solchen Plattform können neue Datenquellen schneller integriert werden, was die Betriebskosten reduziert. Zudem ermöglicht die zentrale Datenbereitstellung den Mitarbeitenden, schneller Entscheidungen treffen zu können und so den Gewinn zu verbessern.

AUSWIRKUNGEN AUF DEN UNTERNEHMENSERFOLG

Der Energiehandelssektor steht vor einer stetig wachsenden Komplexität des Marktes. Gerade der steigende Wettbewerb und die immer neuen Möglichkeiten der Energieerzeugung und -nutzung, etwa durch private und öffentliche Solaranlagen oder private Autoladestationen, verstärken den Druck auf die Branche. Um den korrekten Energieeinsatz und die Verwaltung der verschiedenen Datenquellen zu gewährleisten und Transparenz für den Kunden zu schaffen, ist eine zentrale Datenplattform der Schlüssel zum Erfolg. Typische Fragestellungen beim Aufbau einer solchen Plattform sind die Wahl der Architektur, die Komplexität der genutzten Technologien, der Bereitstellungsprozess neuer Daten und vor allem die Produkteinführungszeit: Wie schnell können neue Anforderungen umgesetzt werden? Doch es bieten sich auch klare Vorteile:

Verbesserte Datenverfügbarkeit

Durch die Nutzung einer zentralen Datenplattform lassen sich neue Marktdaten automatisiert verarbeiten und die Auswertungsergebnisse können innerhalb von Millisekunden abgerufen werden. Sollen zusätzliche Datenquellen nachträglich integriert werden, ist dies innerhalb weniger Tage möglich – eine klare Reduktion der Markteinführungszeit.

Transparenz

Zentrale Datenmodelle werden definiert, um die Kommunikation zwischen den verschiedenen Abteilungen zu verbessern. Ein Datenkatalog schafft einen Überblick über die in der Plattform vorhandenen Daten und zeigt, wie diese konsumiert werden können. Auch Besitzerrechte und Datenschutzprozesse sind zentral definiert, um das Verständnis für die korrekte Verwendung der Daten zu verbessern.

UNSERE LÖSUNG

Die Schaffung der für den Kunden besten Lösungen erfordert es manchmal, sich auf mehrere Software-Anbieter zu verlassen – so auch hier. Snowflake bietet vor allem im Bereich der nahtlosen Integration in Infrastrukturlandschaften und des geringen Verwaltungsaufwands seine Vorteile. Hyperscaler wie AWS, Azure oder Google bieten eine zuverlässige Basisstruktur für Datenplattformen. Mit seinen mehr als 200 Diensten bildet AWS zum Beispiel eine zuverlässige Grundlage für die Infrastruktur von Cloud-Datenplattform, sodass sich diese schnell und einfach implementieren lassen. Um die Verwaltungs- und Wartungsaufwände langfristig gering zu halten, eignet sich die Automatisierungssoftware von WhereScape. Sie speichert alle Metadaten in einem Repository und erstellt, pflegt und generiert Snowflake SQL-Strukturen über individuelle Templates.

Snowflake

Snowflake kann mit seiner Cloud-Datenplattform, einem Software-as-a-Service-Angebot, strukturierte, semistrukturierte und unstrukturierte Daten lesen, verarbeiten und importieren, die in den S3-Buckets gespeichert sind. Mit diesen ist es möglich, die Daten direkt mit "Schema-on-Read" zu verarbeiten, ohne sie weiter speichern zu müssen. Durch die Integration in die AWS-Landschaft kann Snowflake sein volles Potenzial etwa mit externen Funktionen, Lambda Python Konnektoren oder der S3 Bucket-Integration ausschöpfen. Durch die Verwendung von Secure Data Share werden die Daten über eine sichere, zertifizierte Schnittstelle bereitgestellt.

AWS

Um die optimale Grundlage für die zentrale Cloud-Infrastruktur zu schaffen, wurden eine Reihe an Diensten in AWS genutzt. Dazu gehörte unter anderem die Verwendung von Lambdas, serverlose Instanzen, die Python-Code ausführen, sowie API-Gateways, Simple Notification Services, S3-Buckets und EC2-Instanzen.

Durch die Nutzung von Infrastructure-as-Code wurden zudem Templates definiert, die es ermöglichen, neue Strukturen ganzheitlich zu erstellen und in den verschiedenen Umgebungen auszurollen.

WhereScape

WhereScape generiert native SQL-Codes, in dem Fall Snowflake SQL, die auf Metadaten und Templates beruhen. Die SQL-Codes werden direkt in der jeweiligen Snowflake-Datenbank eingesetzt.

Darüber hinaus zeichnet sich WhereScape durch seine Modellierungskomponente zum Aufbau eines Data Vault 2.0-Warehouses aus. Auch eine vollständige und aktuelle Dokumentation der Datenbank auf Basis von Metadaten ist stets abrufbar und bildet die Basis für die Datenanalyse und strukturierte Bereitstellung der Daten auf weiteren Umgebungen. Mithilfe der Metadaten und Templates ist es zudem möglich, neue Entitäten in Snowflake zu erstellen, sie zu verwalten und die Daten innerhalb weniger Tage verfügbar zu machen.

Case Study

Über das Unternehmen

Der Kunde kommt aus dem Bereich des Energiehandels und gehört zu den führenden Energieversorgern im deutschsprachigen Raum. Das Unternehmen besteht seit mehr als 20 Jahren und legt seinen Fokus auf Strom, Gas und Brennstoffe.

Herausforderungen

Die Herausforderung für den Kunden ist die Zentralisierung der gesamten IT-Landschaft in die Cloud. Dies beinhaltet die Auflösung der Punkt-zu-Punkt-Verbindungen der operativen und analytischen Systeme untereinander und den Aufbau einer zentralen Cloud-Datenplattform, die als Single-Point-of-Truth für alle relevanten Daten des Unternehmens fungiert.

API

Die Daten werden ereignisgesteuert über eine zentrale API in die Plattform geladen und von dort aus bereitgestellt. Um alle Anforderungen einheitlich und automatisiert gewährleisten zu können, basiert die API auf Komponenten von AWS und Snowflake, wie dem API-Gateway, der SQL-Schnittstelle und dem Secure Data Share.

Ereignisgesteuert

Durch die Verwendung von Snowpipe können neue Daten aus S3 direkt nach Snowflake geladen und von dort über den Lambda Python Konnektor und die SQL-API abgefragt werden. Neue Datensätze in Snowflake werden über Externe Funktionen veröffentlicht und die Information mittels Simple Notification Services an alle Nutzer weitergegeben. Dies ermöglicht nicht nur eine datengetriebene Integration in Snowflake, sondern auch eine direkte Lieferung von Daten an alle Datenkonsumenten.

Markteinführungszeit

Durch die nahtlose Integration der Komponenten in die AWS-Landschaft können die ersten Anwendungsfälle in nur wenigen Sprints implementiert werden. Mit WhereScape und der vielfältigen Templates in Kombination mit den Metadaten ist eine schnelle und automatisierte Implementierung von neuen Anforderungen möglich. Fehler auf der Produktionsseite können dank der Templates und den Metadaten schnell behoben werden. Auch für die Implementierungen neuer Datenobjekte und Anforderungen genügen wenige Sprints und die Time-to-Market wird optimiert.

Leistung

Durch den Einsatz von Snowflake können alle Arten von Daten zentral gespeichert und miteinander verbunden werden. Dazu gehören Stammdaten, Kennzahlen, Marktdaten sowie Zeitreihen. Snowflake ermöglicht einerseits die effiziente Speicherung von Milliarden Zeitreihen und andererseits Daten in Millisekunden abzufragen und bereitzustellen.

Grafik Datenverwaltungswerkzeuge

Architektur der zentralen Cloud-Datenplattform

 

Unsere Philosophie

Wir entwickeln seit Jahren Data Warehouses, Data Lakehouses und Cloud-Plattformen für unsere Kunden. Mit Snowflake an unserer Seite tun wir das nun schon seit 2019. Dank unserer Erfahrung konnten wir Best Practices für Analytics und Data Management ableiten und führen diese heute mit einem Team von über 40 auf Snowflake spezialisierten Beratern und Beraterinnen bei unseren Kunden ein. Als einer von zwei Premier Partnern im deutschsprachigen Raum können wir unsere Kunden gezielt und maßgeschneidert auf ihrem Weg zur Cloud-Datenplattform und zu einem datengetriebenen Unternehmen begleiten.

Für diesen Weg greifen wir auf unsere selbst entwickelten Vorgehensmodelle zurück und gehen jeden Schritt des Weges gemeinsam mit dem Kunden, von der Cloud- & Datenstrategie über die Architektur und Entwicklung von MVPs bis zur Betriebsübernahme. Anhand der Kundenanforderungen definieren wir gemeinsam die individuelle Daten-, Analytics- und Cloud-Roadmap und finden Lösungen für alle Quellsysteme. Wir begleiten unsere Kunden durch den gesamten Change Prozess und helfen den Mitarbeitenden dabei, agil mit ihren Daten umzugehen und die Time-to-Analytics zu minimieren.

 

Auf der Seite von Snowflake erhalten Sie den gesamten Case in englischer Sprache: Zum Snowcase

Weiterführende Informationen

Autor

Dawid Veltzé

Manager

Dawid Veltzé studierte Wirtschaftsinformatik an der Fachhochschule in Mainz. Nach seinem Berufseinstieg 2003 in einem mittelständischen IT-Beratungshaus als Fachinformatiker arbeitete er ab 2011 als Consultant bei Logica/CGI im Bereich IT-Architektur, Reporting und ETL-Entwicklung. Seit Mitte 2014 ist er bei INFOMOTION in den Bereichen Reporting, Datenmanagement und IT-Architektur tätig. Heute ist er als Manager für die Beratung im Kontext Cloud Data Management und Data Automation verantwortlich.

E-Mail senden