dbt Labs

Analytics Engineering Tool für moderne Datentransformation

Das data build tool (dbt) transformiert Daten schnell und einfach direkt im Data Warehouse. Entgegen des klassischen, teils veralteten ETL-Ansatzes, bei dem Daten erst transformiert und dann ins Warehouse geladen werden, führt dbt Transformationen und Modellierungen direkt auf der Datenbank aus. Besonders kompatibel und sinnvoll ist dbt in flexiblen Cloud-Umgebungen, da diese die dafür nötige Compute-Kapazitäten aufweisen. Modelle und SQL-Statements können mühelos in dbt selbst erstellt, getestet und verwaltet werden. Die simple Oberfläche ermöglicht es auch Data Analysts ohne Engineering Know-how, entsprechende Transformationen anzustoßen. Data Team Workflows werden dadurch effizienter und kostengünstiger. Hinter dbt steht eine extrem starke Open Source Community, die das Tool stetig und leidenschaftlich weiterentwickelt. Dbt ist sowohl als kostenlose, reduzierte Core-Variante als auch umfangreiche und flexible Cloud-Version verfügbar.

Qualifizierter Partner für das dbt Development Framework

Als einer der ersten und wenigen Partner von dbt in Deutschland stehen wir Unternehmen beim Thema Datentransformation und ELT-Prozesse mit data build tool kompetent zur Seite. Unabhängig davon, ob ein Modern Data Stack aufgebaut wird oder innerhalb der Data Transformation nachgerüstet werden muss, beraten wir detailliert über Möglichkeiten, Daten mit dbt umfänglich und automatisiert zu transformieren. Wir erschaffen entweder das optimale Grundgerüst für die Entwicklung und das Deployment von SQL-Statement oder erweitern die Prozesse im bestehenden Tech Stack.

Snowflake Bundesliga / Case Study / taod Consulting GmbH

Case Study

Neuer Technologie-Stack für die Datenanalyse eines Fußball-Bundesligisten

Für die individuelle Verwaltung, Aufbereitung und Analyse von extrem hohen Datenvolumina ist ein zeitgemäßer Technologie-Stack notwendig. Für unseren Kunden, einen Verein aus der Fußballbundesliga, bauen wir auf Basis von Snowflake eine skalierbare Data Platform für die Verarbeitung von immensen Live-Daten.

Case Study lesen
Prozessorchestrierung bei dbt
Prozessorchestrierung bei dbt

Automatisch und azyklisch

dbt Prozessorchestrierung

dbt erkennt durch das Einhalten des DAG-Standards (Directed Acyclic Graph) selbst welche Abfolge nötig ist und stößt diese dann automatisch an. Das mühevolle Festlegen einer Reihenfolge, wann welche Datensätze transformiert werden müssen und welche Datensätze in Abhängigkeit zueinander stehen, entfällt somit. Es werden so viele Prozesse wir möglich gleichzeitig abgeschlossen, Abhängigkeiten jedoch miteinander orchestriert. Es handelt sich um ein azyklisches Verfahren, da kein Prozess zweimal durchlaufen wird. Falls dbt einen Fehler erkennt, wird die komplette Prozesskette sofort abgebrochen, um kompromittierte Daten zu vermeiden.

Ausführlich und anschaulich

dbt Lineage

Eine Data Lineage zeigt und visualisiert den Weg der Daten, von ihrer ursprünglichen Quelle bis hin zum Verwendungszweck. Dazu gehören alle Transformationen, die die Daten durchlaufen haben, um an ihrem Endziel anzukommen. Dbt bietet eine Lineage in einem sehr ausführlichen und anschaulichen Format, sodass Unternehmen nachvollziehen können, wo die Daten wie genutzt werden.

dbt Lineage
dbt Lineage
dbt Historisierung
dbt Historisierung

Automatisch und umkehrbar

dbt Historisierung

Selbst wenn eine Datenbank eine Funktion zur Datentransformation aufweist, fehlen meist Möglichkeiten zur Versionierung und Kontrolle der Arbeitsschritte. Eine getätigte Transformation ist nicht umzukehren. Dbt hingegen erstellt eine automatische Historisierung. Mittels Snapshots werden die getätigten Änderungen sichtbar, so dass gegebenenfalls zu einem vorherigen Status Quo zurückgekehrt werden kann.

Einfache Anwendung

Mit dbt werden Daten in einem Warehouse über einfache Select-Anweisungen transformiert. Standardisierte Engineering-Aufgaben können somit auch mit wenig technischem Know-how von Analysten und Analystinnen übernommen werden. Wir bereiten Unternehmen für den Umgang mit dem Tool vor. Zeitaufwändige Abstimmungsprozesse mit der IT oder den Analytics Engineers entfallen.

Qualitätssicherung

Native Funktionen wie die Data Lineage oder der Historisierung garantieren die bestmögliche Qualität für das angebundene Warehouse. Jede getätigte Transformation kann sofort geprüft werden. Wir sichern die kompetente Qualitätsüberwachung. Durch die Version Control ist es zudem zu jeder Zeit möglich, innerhalb der Arbeitsschritte zurückzugehen, um Prozesse rückgängig zu machen.

Clevere Integration

dbt kann als „Herzstück“ des Modern Data Stack angesehen werden. Es unterstützt eine vollumfängliche und stabile Kommunikation zwischen allen Apps und Tools eines Modern Data Stack und kann nahtlos in die meisten Cloud Data Warehouses und Storage-Systeme integriert werden. Wir begleiten Unternehmen bei der ganzheitlichen Integration ihrer Transformationsprozesse mit data build tool.

Themen, Services und Beratung rund um dbt Labs

Frederic Bauerfeind - Managing Consultant - taod Consulting

Frederic Bauerfeind

Managing Consultant
frederic.bauerfeind@taod.de
+49 221 975 849 83

Benötigst du Beratung zum Thema dbt?

Kontakt aufnehmen
UP
cross linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram