Wie moderne Technologien Ressourcen der Datenanalyse optimieren
Für datengetriebene Unternehmen sind funktionierende Data Pipelines essenziell. Data Pipeline Tools wie Fivetran oder dbt reduzieren die Komplexität und den Wartungsaufwand, um Data Pipelines zuverlässig und in Eigenregie ohne Leck aufzubauen. Davon profitieren vor allem Data Analysts.
Datenanalyse ist eine hochdynamische Angelegenheit. Daten werden extrahiert, transformiert, kombiniert, validiert und geladen. Data Pipelines sorgen nicht nur für automatisierte Abläufe. Sie halten das Verschieben von Daten zudem stringent und konsistent. Mit Data Pipelines sorgen Unternehmen für die professionelle Vor- und Aufbereitung ihrer Daten. Die sogenannte Data Ingestion, also die Anbindung von Daten, ist ein wichtiger Grundbaustein innerhalb des Modern Data Stack und benötigt eine zuverlässige Struktur.
Die Data Pipeline als Fertigungsstraße
Welche Gründe bewegen Unternehmen zum Einsatz von Data Pipelines? Folgende Analogie beschreibt die Motivation sehr gut. In der Industrie gibt es unterschiedliche Produktionsprozesse, darunter im Bereich Fertigung die sogenannte Reihenfertigung. In einer Fertigungsstraße werden unterschiedliche Produkte und Baustoffe miteinander kombiniert. Zunächst waren es ausgebildete Fachkräfte, die sich um die Herstellung und Verarbeitung kümmerten. Henry Ford entwickelte diese Fertigungsstraßen weiter und stellte den Arbeitenden Maschinen zur Verfügung, damit sie ihren jeweiligen Arbeitsschritt effizienter ausführen konnten. Die Maschinen wurden in der Reihenfolge der Arbeitsverrichtung hintereinander angeordnet.
Dies hatte nicht nur eine Arbeitsentlastung für die Mitarbeitenden zur Folge. Die Ausführung des jeweiligen Arbeitsschritts konnten nun auch diejenigen übernehmen, die nicht für die spezielle Tätigkeit geschult sein mussten, sondern vor allem versiert im Umgang mit den Maschinen waren. Die Techniken und Abfolgen wiederum konnten kontinuierlich weiterentwickelt werden. Ein effizientes und skalierbares Geschäftsmodell.
Toolbasiert oder Eigenbau?
Moderne Data Pipelines sind nichts anderes als automatisierte und aufeinander aufbauende Prozesse innerhalb einer Fertigungsstraße. Sie sorgen für die Verarbeitung der Daten und speichern diese an einem zentralen, ausgelagerten Ort, beispielsweise einem Data Lake oder Data Warehouse. Auch wenn Echtzeit- oder hochentwickelte Datenanalysen benötigt werden oder die vollautomatisierte Speicherung von Daten in der Cloud gewünscht ist, sind Data Pipelines ein untersetzbares Werkzeug. Die meisten Unternehmen werden ohne sie nicht in der Lage sein, valide Datenanalyse zu betreiben. Deshalb stellt sich nicht mehr die Frage, ob Data Pipelines eingerichtet werden sollten, sondern auf welchem Weg dies mit welchen Ressourcen erledigt werden kann.
Früher wurden Daten aufwändig durch in Code entwickelte ETL-Pipelines bereitgestellt. Doch der interne Aufbau und die Pflege eigener Daten-Pipelines ist ein aufwändiges Vorgehen. Zunächst muss eine Methode zur Überwachung eingehender Daten entwickelt werden. Dann besteht die Notwendigkeit, zu jeder Quelle eine Verbindung herzustellen und Daten umzuwandeln, damit sie mit Format und Schema des Ziels übereinstimmen. Daten müssen in eine Zieldatenbank oder in ein Data Warehouse verschoben werden. Bei veränderten Unternehmensanforderungen wird das Hinzufügen und Löschen von Feldern und das Ändern ganzer Schemata notwendig. Zudem ist der Aufbau einer Datenbank-Modellierung inklusive Transformationen gefragt. Nicht zuletzt steht ein Data Team vor der fortlaufenden, permanenten Verpflichtung zur Pflege und Verbesserung der Daten-Pipeline und Schnittstellen.
Data Pipeline Tools entlasten Engineers und befähigen Analysts
Diese Prozesse sind kostspielig, sowohl in Bezug auf Ressourcen als auch auf Zeit. Es wird erfahrenes und damit teures Personal aus dem Bereich Analytics Engineering benötigt, das entweder eingestellt oder geschult und von anderen Projekten und Programmen abgezogen werden muss. Der Aufbau kann Monate dauern, was zu erheblichen Opportunitätskosten führt. Nicht zuletzt skalieren diese Art von Lösungen nicht immer, sodass zusätzliche Hardware und Mitarbeitende benötigt werden, was schnell zulasten des Budgets geht. Der Bau eigener Data Pipelines macht meist nur in Ausnahmefällen und unter bestimmten Voraussetzungen Sinn.
Heute befähigen Technologien und Data Pipeline Tools auch Data Analysts dazu, nach kurzer Einarbeitungszeit eigenständig hochwertige Pipelines zu bauen, was vor allen Dingen für immer wiederkehrende Anforderungen eine hervorragende Lösung ist. Analytics Engineers werden zudem entlastet und verwenden ihre Ressourcen auf komplexeren Projektanforderungen. Der Umgang mit Data Pipeline Tools wie dbt oder Fivetran ist mit grundlegendem Know-how in den Bereichen Datenanbindung und Analytics schnell zu erlernen – ganz im Sinne von Henry Ford.
Drei gute Gründe für Modern Data Pipelines
Nummer 1: Flexibilität der Cloud
Business User benötigen Daten in der Regel on demand. Allerdings stehen an der Tagesordnung meist zeitfressende und manchmal sogar nervenaufreibende Anfragen an die IT. Dabei sind diese nicht selten mit der Befürchtung verbunden, unvollständige oder unpassende Daten zu erhalten. Gleichzeitig sind sie von der Hoffnung getragen, wenigstens nicht allzu lange auf die Daten warten zu müssen. Denn die bestehende IT-Infrastruktur ist nicht unbedingt auf dezidierte Datenabfragen vorbereitet.
Die Qualität einer Data Pipeline hängt von ihrer Flexibilität ab. Traditionelle Pipelines laufen on premise und nutzen teure wie aufwändig zu wartende Hardware. Hinzu kommt ihre eingeschränkte Nutzbarkeit durch eine träge Performance. Sind mehrere Workloads parallel aktiv, laufen die Datenflüsse träge und konkurrieren miteinander. Zu Peak-Zeiten ist dies ein absolutes Horror-Szenario und die Abfrage von Realtime-Daten bestenfalls ein El Dorado für Datenträumer.
Modern Data Pipelines bedienen sich aktueller Cloud-Technologien, sind also skalierbar, agil und dynamisch. Sie reagieren sofort auf zu- oder abnehmende Workloads und beantworten Abfragen zu spezifizierten Datasets unverzüglich zum Zeitpunkt ihrer Anfrage. Business User sind durch cloudbasierte Data Pipelines in der Lage, selbstbestimmte und zeitnahe Datenanalysen vorzunehmen. Natürlich bringt all dies zudem kostensenkende Aspekte mit sich.
Nummer 2: Self-Service dank ELT-Tools und Modern Data Pipelines
Bei Belastungsspitzen mal eben schnell ein spezielles Data-Set abfragen? Fehlanzeige. An dieser Stelle verbringen Business User sehr viel Zeit damit, ihre Datenabfrage an die IT-Verantwortlichen weiterzugeben und auf Output zu warten. Die IT wiederum muss die Anfrage erst einmal aufnehmen und in ihr eigenes Anforderungsprofil übersetzen – Missverständnisse sind oft vorprogrammiert.
Allerdings gilt der unverbaute und schnelle Zugang zu Daten-Pipelines für alle und rund um die Uhr als Grundlage für die Datendemokratisierung in einem Unternehmen. Zudem sollten Business User in der Lage sein, sämtliche Datenquellen und Datenformate abfragen zu können. Ganz egal, ob es sich um strukturierte oder noch nicht annähernd transformierte Daten handelt. Besonders ETL-Prozesse setzen nicht nur den Einsatz umfangreicher externer Tools voraus. Es kann auch Monate dauern, bis ein Team aus Analytics Engineers entsprechende Prozesse aufgesetzt hat. Oft müssen Pipelines für spezielle Abfragen sogar neu programmiert werden. Hierdurch werden personelle und zeitliche Ressourcen unnötig lange gebunden.
Vorteil von Modern Data Pipelines ist der Einsatz eines ELT-Tools. Daten werden also extrahiert und in das Zielsystem geladen, meist in einen Data Lake oder ein Warehouse, bevor sie transformiert werden. Mit diesen sofort zugänglichen Rohdaten können Business User anschließend situativ handeln und kontextbezogen schlussfolgern.
Nummer 3: Daten in Echtzeit UND im Bündel
Welcher Wetterbericht basiert auf „alten“ Daten? Welche Vertriebsabteilung kann tage- oder wochenlang auf Informationen über ihre Kundschaft warten, um Entscheidungsprozesse voranzutreiben? Mit stark zunehmenden Datenströmen besteht ein wachsender Bedarf nach Realtime-Daten. Besonders das Internet of Things lässt unvorstellbar werden, dass auf erfasste Daten nur zeitverzögerte Reaktionen erfolgen sollen. Wartezeiten von Stunden oder gar Tagen sind inakzeptabel. Denn die Daten müssen sofort weitergeleitet und verarbeitet werden.
Das sogenannte Near Realtime Processing gehört zu den Standardaufgaben von Modern Data Pipelines. Die Daten werden vollumfänglich und live von einem System in das andere transferiert. Die Echtzeitanalyse liefert dynamische Reportings, deren Daten selten älter als eine Minute sind.
Modern Data Pipelines sind natürlich zusätzlich in der Lage, angesammelte Daten gemeinsam im Stapel zu verarbeiten. Batch Processing ergibt nach wie vor für Reportings Sinn, die beispielsweise einmal täglich oder wöchentlich abgefragt werden. Besonders komplexe Datenabfragen werden mit der Stapelabfrage sehr gut gehandhabt. In datengetriebenen Unternehmen werden sicher beide Varianten gefragt sein und umgesetzt werden.
Wettbewerbsvorteil Modern Data Pipelines
Durch die derzeitige massive Umstellung der Unternehmen auf cloudbasierte Technologien ist der Einsatz von Modern Data Pipelines zunächst die logische Konsequenz. Selbst Unternehmen, die überwiegend mit stapelverarbeitenden ETL-Prozessen arbeiten, werden auf Dauer nicht an ELT-basierten Analysen vorbeikommen. Innerhalb eines Modern Data Stacks können sie moderne Pipelines inkrementell implementieren, erst einmal bestimmte Daten- oder Geschäftsfelder involvieren und sich dem Thema so Stück für Stück annähern.
Klar ist: Modern Data Pipelines bieten einen klaren Wettbewerbsvorteil, denn Entscheidungen lassen sich mit ihnen schneller und besser treffen. Unternehmen können sofort handeln und entsprechende Optionen ergreifen. Bei der Erneuerung von Pipelines ist darauf zu achten, dass diese eine kontinuierliche Datenverarbeitung zulassen. Weiterhin müssen sie dynamisch und flexibel sein sowie unabhängig von anderen Tools, Pipelines oder technischen Prozessen verwendet werden können. Optimal ist ein direkter Zugang zu Daten und Pipelines, die zudem einfach zu konfigurieren sein sollten. Mit komfortablen Anwendungen wie zum Beispiel Fivetran oder dbt nehmen Unternehmen ordentlich Fahrt auf. Denn diese Tools ermöglichen und erleichtern die Arbeit mit Data Pipelines um ein Vielfaches.
