Fivetran

Moderne Datenintegration mit ELT

Fivetran macht die Integration von Daten aus verschiedens­ten Quellstrukturen in einem Data Warehou­se (DWH) oder anderen Datenbanken gänz­lich ohne eigenes Coding und mit sehr geringem Wartungsaufwand möglich. Seine Besonderheit liegt in der Anwendung moderner Transformationsprozesse begründet. Die konventionelle Reihenfolge des defizitären ETL-Prozesses in eine primäre Ladephase und nachgelagerte Transformationsphase kehrt Fivetran einfach um: aus ETL wird ELT. Richtig implementiert, bietet der Modern Data Stack mit Fivetran eine kontinuierliche Datenintegration und unternehmensweite Zugänglichkeit mit einem Minimum an manuellen Eingriffen und maßgeschneidertem Code.

Qualifizierter Partner von Fivetran

Als Partner von Fivetran übernehmen wir für Unternehmen die vollständige Implementierung und Überwachung ihrer Data Pipelines. Wir kümmern uns um den geeigneten Aufbau des Modern Data Stack mit Fivetran als maßgeblicher Komponente, die für zuverlässige Datenintegration in das Data Warehouse sorgt.

Fivetran

ELT statt ETL
Fivetran Data Transformation

Während eines ELT-Prozesses werden Transformationen in einem elastischen, cloudbasierten Data Warehouse durchgeführt. Durch die Flexibilität können die Rechen- und Speicherressourcen je nach Bedarf nach oben oder unten skaliert werden. Dadurch entfällt die Notwendigkeit, Hardware-Anforderungen zu prognostizieren und überschüssige Kapazität zu kaufen.

Transformationen, die innerhalb des Data Warehouse durchgeführt werden, sind destruktiv. Sie ermöglichen es, dass die zugrunde liegenden Daten völlig ungestört bleiben, während zusätzliche Tabellen mit den gewünschten Modellen erstellt werden. Das bedeutet, dass fehlgeschlagene Transformationen keine dauerhaften Folgen haben und immer wieder getestet werden können.

Transformationen innerhalb des DWH können in SQL geschrieben werden. Analysten und Analystinnen sind dadurch in der Lage, Transformationen selbst durchzuführen und selbst erzeugte Modelle an sich ändernde Geschäftsanforderungen anzupassen, ohne dass wertvolle Daten verloren gehen.

Fivetran
Nachteile von konventionellem ETL

Warum Fivetrans ELT besser ist

Der traditionelle Ansatz zur Datenintegration, bekannt als Extrakt-Transform-Load (ETL), ist seit den 1970er Jahren dominierend. Die Abkürzung ETL wird häufig umgangssprachlich verwendet, um Aktivitäten der Datenintegration allgemein zu beschreiben. ETL entwickelte sich zu einer Zeit, als Rechenleistung, Speicher und Bandbreite knapp und teuer waren. Ein ETL-System führt die folgenden Schritte aus:

Daten werden mit Hilfe von Konnektoren extrahiert

Durch eine Reihe von Transformationen werden die Daten je nach Bedarf von Analysten und Endbenutzern in Modelle umgewandelt

Daten werden in ein Data Warehouse geladen

Daten werden durch ein Business-Intelligence-Tool zusammengefasst und visualisiert

Da ETL die Daten nicht direkt von jeder Quelle in das Data Warehouse repliziert, gibt es keinen umfassenden Datenspeicher für Analysen. Fehler in jeglicher Phase des Prozesses machen die Daten für Analysten unzugänglich und erfordern einen technischen Aufwand zur Reparatur. Der moderne ELT-Ansatz von Fivetran ist somit Grundvoraussetzung für eine zuverlässige Datenintegration.

Weniger Komplexität

Die Lagerung von Standardschemata verlagert einen Großteil der auf die Pipeline angewandten Arbeit von den Analytics Engineers zu den Data Analysts, wodurch die Pipeline vereinfacht wird. Teure Ressourcen für das Engineering werden eingespart und können für die Analyse verwendet werden.

Mehr Stabilität

Die Pipeline ist widerstandsfähiger und weniger risikobehaftet. Da Transformationen erst nach der Speicherung der Daten durchgeführt werden, betreffen eventuelle Fehler, die durch Änderungen in den Quellsystemen verursacht werden, hauptsächlich die Analyseschicht und lassen sich ohne große Abhängigkeiten beheben.

Leichtere Zugänglichkeit

Die Pipeline ist leichter zugänglich, da sie weniger arbeitsintensiv zu warten ist. Der Wegfall des Codings ist ein Zu­gewinn für alle, die die Integration von Daten unabhängig und selbstständig vornehmen möchten. Mit über 200 Konnektoren lassen sich bereits ohne Aufwände im Engineering zahlreiche Datenquellen anbinden.

Themen, Services und Beratung rund um Fivetran

Till Aufderheide - Managing Director - taod Consulting

Till Aufderheide

Managing Director
till.aufderheide@taod.de
+49 176 236 276 01

Benötigst du Beratung zum Thema Fivetran?

UP
Kontakt aufnehmen
linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram