Fivetran macht die Integration von Daten aus verschiedensten Quellstrukturen in einem Data Warehouse (DWH) oder anderen Datenbanken gänzlich ohne eigenes Coding und mit sehr geringem Wartungsaufwand möglich. Seine Besonderheit liegt in der Anwendung moderner Transformationsprozesse begründet. Die konventionelle Reihenfolge des defizitären ETL-Prozesses in eine primäre Ladephase und nachgelagerte Transformationsphase kehrt Fivetran einfach um: aus ETL wird ELT. Richtig implementiert, bietet der Modern Data Stack mit Fivetran eine kontinuierliche Datenintegration und unternehmensweite Zugänglichkeit mit einem Minimum an manuellen Eingriffen und maßgeschneidertem Code.
Als Partner von Fivetran übernehmen wir für Unternehmen die vollständige Implementierung und Überwachung ihrer Data Pipelines. Wir kümmern uns um den geeigneten Aufbau des Modern Data Stack mit Fivetran als maßgeblicher Komponente, die für zuverlässige Datenintegration in das Data Warehouse sorgt.
Während eines ELT-Prozesses werden Transformationen in einem elastischen, cloudbasierten Data Warehouse durchgeführt. Durch die Flexibilität können die Rechen- und Speicherressourcen je nach Bedarf nach oben oder unten skaliert werden. Dadurch entfällt die Notwendigkeit, Hardware-Anforderungen zu prognostizieren und überschüssige Kapazität zu kaufen.
Transformationen, die innerhalb des Data Warehouse durchgeführt werden, sind destruktiv. Sie ermöglichen es, dass die zugrunde liegenden Daten völlig ungestört bleiben, während zusätzliche Tabellen mit den gewünschten Modellen erstellt werden. Das bedeutet, dass fehlgeschlagene Transformationen keine dauerhaften Folgen haben und immer wieder getestet werden können.
Transformationen innerhalb des DWH können in SQL geschrieben werden. Analysten und Analystinnen sind dadurch in der Lage, Transformationen selbst durchzuführen und selbst erzeugte Modelle an sich ändernde Geschäftsanforderungen anzupassen, ohne dass wertvolle Daten verloren gehen.
Der traditionelle Ansatz zur Datenintegration, bekannt als Extrakt-Transform-Load (ETL), ist seit den 1970er Jahren dominierend. Die Abkürzung ETL wird häufig umgangssprachlich verwendet, um Aktivitäten der Datenintegration allgemein zu beschreiben. ETL entwickelte sich zu einer Zeit, als Rechenleistung, Speicher und Bandbreite knapp und teuer waren. Ein ETL-System führt die folgenden Schritte aus:
Daten werden mit Hilfe von Konnektoren extrahiert
Durch eine Reihe von Transformationen werden die Daten je nach Bedarf von Analysten und Endbenutzern in Modelle umgewandelt
Daten werden in ein Data Warehouse geladen
Daten werden durch ein Business-Intelligence-Tool zusammengefasst und visualisiert
Da ETL die Daten nicht direkt von jeder Quelle in das Data Warehouse repliziert, gibt es keinen umfassenden Datenspeicher für Analysen. Fehler in jeglicher Phase des Prozesses machen die Daten für Analysten unzugänglich und erfordern einen technischen Aufwand zur Reparatur. Der moderne ELT-Ansatz von Fivetran ist somit Grundvoraussetzung für eine zuverlässige Datenintegration.
