Moderne Data-Warehouse-Architektur

"Ich liebe die Herausforderung.”

Daten sind Marlos Zuhause – und dort herrscht eine gesunde Ordnung. Als Managing Consultant bringt er Struktur in Unternehmensdaten und zeigt, warum ein solides Data Warehouse unverzichtbar ist.

Marlo, wie ordentlich sieht es bei dir zu Hause aus?

Ich versuche, eine durchgängige Ordnung zu halten, die für mich funktioniert. Und wenn mal spontan Besuch kommt, sollte alles einigermaßen vorzeigbar sein. Aber es darf sich hier und da auch mal was sammeln.

Als Managing Consultant arbeitest du sehr strukturiert und ordnest die Datenwelten von Unternehmen. Wie viel Chaos begegnet dir dort?

Da sieht es zum Teil durchaus schlimmer aus als bei mir zu Hause. Ich habe aber das Gefühl, dass das deutlich besser geworden ist, als noch vor ein paar Jahren. Dass Unternehmen nicht wissen, welche Daten an welchem Ort abliegen, ist zum Glück mittlerweile eine Seltenheit. Beim Thema Data Platform und Data Warehouse könnte es aber doch einiges mehr an Struktur geben. Das ist aber auch völlig normal, wenn Daten aus verschiedenen Quellen kommen, Systeme mit der Zeit gewachsen sind und man als Unternehmen gerade das erste Mal eine zentralisierte Datenbasis aufgebaut hat.

Kannst du einen konkreten Fall beschreiben?

Da gibt es einige, die mir direkt einfallen. Ein Kunde von uns hatte beispielsweise über zwei Jahre lang seine erste Analytics-Lösung aufgebaut, um Daten aus SAP und anderen Systemen zu integrieren. Er hat seine Daten dabei sehr orientiert am Use Case aufbereitet. Mit der Zeit kamen immer mehr Business-Fragen hinzu. Da schaufelt man sich natürlich manchmal das eigene Grab.

Warum?

Wenn man sich zu sehr auf Einzelheiten fokussiert, wird die Wartung mit jedem Prozess immer aufwändiger und mit der Zeit geht der Überblick verloren. Besonders spannend sind auch jegliche Migrationsprojekte. Ich habe da schon häufig erlebt, dass man dann zusammen mit dem Kunden erstmal herausfindet, wie sich manche Businesskontexte in den Daten widerspiegeln. Häufig sind die Mitarbeiter, die das initial aufgebaut haben, auch schon längst nicht mehr im Unternehmen tätig.

Ein solides Data Warehouse ist das A und O im Bereich Data Management. Warum?

Unternehmen haben es nach wie vor mit einer weiterhin steigenden Anzahl an Systemen und Prozessen zu tun, bei denen eine unfassbare Menge an Daten zurückbleiben. Ein Data Warehouse erlaubt Unternehmen aus all diesen Quellen Informationen zusammenzuführen und sie so aufzubereiten, dass sie strategische Entscheidungen darauf entwickeln können. Es bildet quasi das Rückgrat der datengetriebenen Unternehmensführung. Konkret sorgt das Data Warehouse dafür, dass Daten nicht im Einzelnen, sondern immer im Gesamtbild gesehen werden. Sie werden miteinander verknüpft und auf Unstimmigkeiten überprüft, bevor sie in Dashboards und Reports verwendet werden.

“Das klassische Data Warehouse ist der Dreh- und Angelpunkt strukturierter Daten.”

Wie unterscheidet sich das Data Warehouse vom Data Lake und dem Data Lakehouse?

Das klassische Data Warehouse ist der Dreh- und Angelpunkt strukturierter Daten. Hier werden Daten aus verschiedenen Quellen zusammengeführt, historisiert und so weit angereichert, dass man darauf Berichte und Reports aufbauen kann. Bestenfalls werden Daten dabei in irgendeiner Art und Weise modelliert.

Der Data Lake hingegen ist eine Sammlung von strukturierten und unstrukturierten Daten, die beispielsweise in einem Blob Storage oder einem S3 Bucket abgelegt werden. Mittlerweile ist der Data Lake häufig ein integraler Bestandteil einer Data-Warehouse-Architektur, bei der eingehende Datenlieferungen zur weiteren Verarbeitung gespeichert werden. Daten im Data Lake können sehr schnell geladen und verarbeitet werden, da keine durchgehend aktive Datenbank benötigt wird.

Dann gibt es noch das Data Lakehouse. Es nimmt die Vorteile beider Architekturprinzipien auf, indem es die Strukturierung des Data Warehouse mit der Flexibilität des Data Lake vereint. In einem Data Lakehouse werden alle Daten als Dateien gespeichert und Tabellenstruktur mit Hilfe von Open Table Formaten wie Iceberg oder Delta geschaffen.

Nicht zu vergessen die Data Platform.

Genau. Die fasst einfach all das – plus weiteres – unter einem Überbegriff zusammen. Es ist also der Sammelbegriff für alle Komponenten, die für die Datenanalyse und -verarbeitung genutzt werden.

Welche Vorteile bietet das Konzept der Zentralisierung der Daten in einem Data Warehouse?

Zentralisierung bringt Klarheit und Sicherheit. Wenn die Daten verstreut sind, ist das oft wie der Versuch, ein Puzzle ohne Bildvorlage zu lösen. Im Data Warehouse landen alle Puzzleteile an einem Platz. Das bedeutet auch, dass nicht jeder eigenständige Berechnungen in seinen Excelmappen erstellen kann. Durch die Zentralisierung weiß jeder, dass er mit denselben Informationen arbeitet, was zu besseren, fundierten Entscheidungen führt. Und es spart auch viel Zeit in der Wartung, weil Logiken nicht an verschiedenen Stellen nachjustiert werden müssen und Unstimmigkeiten schneller gefunden werden können.

So entscheidend Zentralisierung auch ist – sie ist nicht die einzige Komponente für effektives Datenmanagement.

Du spielst wahrscheinlich auf Data Mesh als dezentralen Ansatz an. Der Begriff ist mir schon im Zusammenhang mit großen und komplexen Datenlandschaften begegnet.

Richtig. Eine der großen Stärken des Data Warehouse ist die Zentralisierung der Daten, aber genau das kann auch zu einem Nachteil werden. Oft läuft alles über ein paar wenige Experten – häufig externe Data Engineers. Das kann schnell zu Kapazitätsengpässen führen und die Agilität einschränken, weil man nur so schnell ist, wie das kleinste Glied im Prozess.

Data Mesh versucht hier einen ganz anderen Ansatz. Statt alle Prozesse zentral zu bündeln, verteilen wir das Wissen und die Verantwortung wieder auf die Fachbereiche. Das bedeutet, jeder Bereich erstellt und verwaltet seine eigenen Datenprodukte. Diese können auf einer gemeinsamen Plattform entstehen oder, je nach Bedarf, auch auf unterschiedlichen. Jeder Fachbereich ist eigenverantwortlich für die Datenqualität und die Richtigkeit der KPIs.

Das Tolle an diesem Modell ist, dass Fachbereiche ihre Datenprodukte untereinander teilen und von den Daten anderer Divisionen profitieren können. So entsteht eine Art Netzwerk von Datenprodukten, das Flexibilität und Innovationsfreude unterstützt, weil jeder schneller auf die eigenen Anforderungen reagieren kann.

In welchen Szenarien könnte ein Data Mesh einem Data Warehouse überlegen sein?

Das Thema Data Mesh ist superspannend, aber auch nicht frei von Kritik. Der Ansatz setzt viel technisches Know-how in den einzelnen Business Units voraus. Er ist zudem auf eine gute Dokumentation und einen geordneten Austausch an Informationen angewiesen. Die Data Literacy sollte also schon weiter fortgeschritten sein.

Ein Data Mesh kann vor allem dann Sinn machen, wenn Unternehmen bereits viel Erfahrung im Umgang mit Data Analytics haben und für sie ein einzelnes Data Warehouse zu groß wäre. Wenn kein Data Mesh genutzt wird, sollte in großen Projekten auf jeden Fall mit einem Datenmodell im Core Layer gearbeitet werden.

Okay, was bedeutet das?

Das ist wirklich das Herzstück eines gut funktionierenden Data Warehouses. Im Core, also dem häufig so genannten Silver Layer, müssen wir sehr granulare Informationen festhalten und miteinander verbinden, um eine umfassende Sicht auf die Daten zu bieten. Das unterscheidet sich von den Ansätzen in den Data Marts, die eher darauf abzielen, Daten konsolidiert und leicht zugänglich für BI-Systeme und Analysts bereitzustellen. Hier kommen fast ausschließlich dimensionale Modelle oder Flattables zum Einsatz, weil sie Einfachheit und Klarheit bieten.

Im Core Layer hingegen ist die Historisierung von Daten wichtig, und wir müssen Informationen auf unterschiedlichen Granularitätsebenen zusammenführen. Dabei ist es entscheidend, dass die Stabilität der bestehenden Architektur nicht bei jeder neuen Datenlieferung gefährdet wird. Ein bewährter Modellierungsansatz, der das hervorragend schafft, ist Data Vault. Es sorgt dafür, dass wir flexibel bleiben und trotzdem eine solide Grundlage für unsere Datenanalysen haben.

Kann ein Unternehmen denn auch ohne solch ein Core Model auskommen?

Komplett ohne Datenmodellierung wird es schwierig, vor allem bei größeren Projekten. Ein gutes Datenmodell bringt Struktur in die Daten und hilft, Daten aus unterschiedlichen Systemen miteinander zu verknüpfen und eine grafische Darstellung der Geschäftsprozesse zu entwickeln. Über die kann man dann ganz gut kommunizieren. Dadurch unterstützt es die Skalierbarkeit eines Systems.

Datenmodellierung kann aber komplex sein und erfordert einiges an Wissen, weshalb es ein Skill ist, den man entwickeln muss. Für kleinere Projekte kann man durchaus ohne klar definiertes Modell auskommen, aber sobald die Datenmengen und -komplexität zunehmen, wird es schnell unübersichtlich. Dann wird ein durchdachtes Datenmodell unerlässlich, um langfristig effizient arbeiten zu können.

Was sind aus deiner Sicht die entscheidenden Mehrwerte eines Data Warehouse für Führungskräfte und Entscheidungsträger?

Die Hauptpunkte sind sicherlich Skalierbarkeit, erhöhte Datenqualität und eine geringere Fehleranfälligkeit. Aber Unternehmen profitieren auch von einer steigenden Unabhängigkeit bei Personalwechseln, aufgrund einer klaren Strukturierung. Indem ein Data Warehouse saubere und gut aufbereitete Daten bereitstellt, ermöglicht es nicht nur Rückblicke, sondern auch fundierte Prognosen. Das hilft, Risiken besser einzuschätzen und Chancen frühzeitig zu erkennen – alles auf Basis von Fakten und nicht nur Bauchgefühl.

Und: Ein Data Warehouse bietet eine solide Grundlage für weiterführende Anwendungsbereiche wie Predictive Analytics oder GenAI Use-Cases.

„Es ist immer spannend zu sehen, wie sich jede Organisation durch ihre Daten erzählt.“

Welchen Herausforderungen begegnet man häufig bei der Implementierung eines Data Warehouses?

Das ist sehr unterschiedlich. Meistens ist der Start bereits das Komplizierteste. Da stellen sich natürlich direkt viele Fragen, beispielsweise welche Technologien man verwenden möchte oder wie man die Architektur konzeptionell aufsetzt. Sobald es dann in die Umsetzung geht, ist es wichtig, jeden Mitarbeiter abzuholen, damit alle an einem Strang ziehen. Veränderung wird ja häufig von Ängsten und Befürchtungen begleitet und die müssen erst einmal genommen werden.

Auch die Auswahl des richtigen Data Warehouse für mein Unternehmen kann zur Herausforderung werden. Worauf ist zu achten?

Das ist gar nicht so leicht, es gibt mittlerweile sehr viele gute Anbieter. Jede Technologie bietet ihre eigenen Stärken und Schwächen. Durch den starken Wettbewerb nähern sich aber viele Lösungen immer mehr an und adaptieren gegenseitig Features. Hier hilft es, klar zu definieren, was man erreichen möchte und welche Datenstrategie man verfolgt.

Bei der konkreten Auswahl kann man dann beispielsweise auf die Größe der eigenen IT-Abteilung, die Nutzerfreundlichkeit, das vorhandene Skillset im Unternehmen oder auf das Zahlungsmodell schauen. Wir arbeiten derzeit an einem Guide, um eben diese Entscheidung einfacher zu machen.

Was fasziniert dich am meisten an deinem Job?

Das sind die einzigartigen Einblicke, die ich in so viele unterschiedliche Unternehmen bekomme. Es ist immer spannend zu sehen, wie sich jede Organisation durch ihre Daten erzählt. Ich liebe die Herausforderung, aus diesem Informations-Wirrwarr echte Erkenntnisse zu gewinnen, die das Unternehmen voranbringen.

Danke, Marlo!

Dieses Interview erschien erstmalig in unserem Magazin data! Ausgabe 5. Jetzt kostenlos lesen!

‍