Spécial dbt avec Victor Vaneecloo !

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre accueillent Victor Vaneecloo, Data Engineer expérimenté, pour échanger sur ses retours d’expérience autour de dbt (data build tool) et de ses usages en Data Engineering. Les ressources 👉 Victor sur LinkedIn : https://www.linkedin.com/in/baptiste-wlodarczyk/ ➕ rateIndex : https://rateindex.streamlit.app/ ➕ Newsletter : https://vaneec.tech/ ➕ Site : https://vvaneecloo.ghost.io/ 👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/ 👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/ ➕ Formation SQL sur BigQuery de 3 jours : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance ➕ Newsletter : https://datayoka.notion.site/1355071b... ➕ Blog : https://datayoka.com/blog Liens vers les articles 1️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-performance-working-at-scale-trade-offs-1-3/ 2️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-why-dbt-your-orchestration-layer-one-app-not-two-2-3/ 3️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-lets-build-a-production-ready-platform-with-dbt-airflow-3-3/ Chapitres 00:00 Introduction et présentation de l’invité 01:13 Comprendre DBT : définition et enjeux 03:22 Défis et pièges dans l’utilisation de DBT 05:37 Passage à l’échelle de DBT : aspects techniques et organisationnels 09:38 Intégration des modèles incrémentaux dans DBT 11:54 Le rôle de la gouvernance en data engineering 15:34 Intégration de DBT avec les outils d’orchestration 19:39 L’intérêt des monorepos 21:53 Simplifier l’orchestration des données avec Airflow et DBT 23:55 Gouvernance et visibilité dans la gestion des données 25:20 Les avantages du micro-batching 27:09 Présentation d’Elementary pour l’observabilité 29:23 Quand utiliser un traitement complet ou incrémental 31:14 Projets et outils futurs en data engineering