Das data build tool (dbt) transformiert Daten schnell und einfach direkt im Data Warehouse. Entgegen des klassischen, teils veralteten ETL-Ansatzes, bei dem Daten erst transformiert und dann ins Warehouse geladen werden, führt dbt Transformationen und Modellierungen direkt auf der Datenbank aus. Besonders kompatibel und sinnvoll ist dbt in flexiblen Cloud-Umgebungen, da diese die dafür nötige Compute-Kapazitäten aufweisen. Modelle und SQL-Statements können mühelos in dbt selbst erstellt, getestet und verwaltet werden. Die simple Oberfläche ermöglicht es auch Data Analysts ohne Engineering Know-how, entsprechende Transformationen anzustoßen. Data Team Workflows werden dadurch effizienter und kostengünstiger. Hinter dbt steht eine extrem starke Open Source Community, die das Tool stetig und leidenschaftlich weiterentwickelt. Dbt ist sowohl als kostenlose, reduzierte Core-Variante als auch umfangreiche und flexible Cloud-Version verfügbar.
Als einer der ersten und wenigen Partner von dbt in Deutschland stehen wir Unternehmen beim Thema Datentransformation und ELT-Prozesse mit data build tool kompetent zur Seite. Unabhängig davon, ob ein Modern Data Stack aufgebaut wird oder innerhalb der Data Transformation nachgerüstet werden muss, beraten wir detailliert über Möglichkeiten, Daten mit dbt umfänglich und automatisiert zu transformieren. Wir erschaffen entweder das optimale Grundgerüst für die Entwicklung und das Deployment von SQL-Statement oder erweitern die Prozesse im bestehenden Tech Stack.
Für die individuelle Verwaltung, Aufbereitung und Analyse von extrem hohen Datenvolumina ist ein zeitgemäßer Technologie-Stack notwendig. Für unseren Kunden, einen Verein aus der Fußballbundesliga, bauen wir auf Basis von Snowflake eine skalierbare Data Platform für die Verarbeitung von immensen Live-Daten.
Automatisch und azyklisch
dbt erkennt durch das Einhalten des DAG-Standards (Directed Acyclic Graph) selbst welche Abfolge nötig ist und stößt diese dann automatisch an. Das mühevolle Festlegen einer Reihenfolge, wann welche Datensätze transformiert werden müssen und welche Datensätze in Abhängigkeit zueinander stehen, entfällt somit. Es werden so viele Prozesse wir möglich gleichzeitig abgeschlossen, Abhängigkeiten jedoch miteinander orchestriert. Es handelt sich um ein azyklisches Verfahren, da kein Prozess zweimal durchlaufen wird. Falls dbt einen Fehler erkennt, wird die komplette Prozesskette sofort abgebrochen, um kompromittierte Daten zu vermeiden.
Ausführlich und anschaulich
Eine Data Lineage zeigt und visualisiert den Weg der Daten, von ihrer ursprünglichen Quelle bis hin zum Verwendungszweck. Dazu gehören alle Transformationen, die die Daten durchlaufen haben, um an ihrem Endziel anzukommen. Dbt bietet eine Lineage in einem sehr ausführlichen und anschaulichen Format, sodass Unternehmen nachvollziehen können, wo die Daten wie genutzt werden.
Automatisch und umkehrbar
Selbst wenn eine Datenbank eine Funktion zur Datentransformation aufweist, fehlen meist Möglichkeiten zur Versionierung und Kontrolle der Arbeitsschritte. Eine getätigte Transformation ist nicht umzukehren. Dbt hingegen erstellt eine automatische Historisierung. Mittels Snapshots werden die getätigten Änderungen sichtbar, so dass gegebenenfalls zu einem vorherigen Status Quo zurückgekehrt werden kann.
