Personnalisez cette formation

Obtenir un certificat — 34,29 $12 $

Ingénierie des données : ETL, entrepôts, dbt et Airflow

Ingénierie des données : ETL, entrepôts, dbt et Airflow

Concevoir et exploiter un pipeline de données moderne : choisir ETL ou ELT, modéliser un schéma en étoile, construire et tester des modèles dbt, les planifier avec Airflow et maîtriser qualité, coûts et gouvernance.

Ce que vous allez apprendre

  • Décrire le cycle de vie de l’ingénierie des données et choisir entre batch et streaming, puis entre ETL et ELT.
  • Concevoir une ingestion fiable : chargements incrémentaux, capture des changements, relances idempotentes et formats de fichiers adaptés.
  • Modéliser un processus métier en schéma en étoile : déclarer le grain, construire faits et dimensions et gérer les dimensions à évolution lente.
  • Comparer entrepôts cloud, data lakes et lakehouses, et organiser les données en couches avec partitionnement et formats de tables ouverts.
  • Construire, tester et documenter des transformations avec dbt : sources, ref, matérialisations, tests et snapshots.
  • Orchestrer des pipelines avec Airflow : écrire un Dag, définir planification et reprises, utiliser les assets et lancer des backfills en sécurité.
  • Appliquer contrôles de qualité, observabilité, gouvernance et maîtrise des coûts à un pipeline en production.

Modules

  1. Le cycle de vie de l’ingénierie des données
  2. Une ingestion fiable
  3. Modélisation dimensionnelle
  4. Entrepôts, lacs et lakehouses
  5. Transformations avec dbt
  6. Orchestration avec Airflow
  7. Qualité, gouvernance et coûts

Fiche de la formation

Durée d’étude estimée
environ 60 minutes
Évaluation finale
42 questions · Seuil de réussite 75%
Disponible en
English, Français, العربية
Prix
Gratuit. Certificat vérifiable en option : 19 $
Dernière mise à jour
Publié par
AMAADOR ACADEMY

À qui s’adresse cette formation

Futurs data engineers et débutants, analytics engineers, développeurs BI, analystes de données évoluant vers l’ingénierie, et équipes IT qui construisent ou relisent des pipelines de données.

Prérequis

Connaissance pratique de SQL (jointures, regroupements) et bases de Python. Aucune expérience préalable de dbt ou d’Airflow n’est requise.

Contenu de la formation

1. Le cycle de vie de l’ingénierie des données

Un data engineer construit et exploite les systèmes qui acheminent les données de l’endroit où elles naissent jusqu’à celui où des personnes et des modèles les utilisent. Quels que soient les outils, le travail suit cinq étapes.

Les cinq étapes. Sécurité, gestion des données, orchestration et coûts les traversent toutes.

Les sources sont des applications, bases de données, fichiers, API, capteurs et flux d’événements. Vous en êtes rarement propriétaire : considérez-les comme peu fiables, car les schémas changent sans prévenir et des champs arrivent en retard ou vides.

Batch ou streaming est le premier choix de conception. Le batch traite un ensemble borné de données selon un calendrier. Le streaming traite les événements en continu dès leur arrivée.

QuestionBatchStreaming
Délai typiqueDe quelques minutes à un jourQuelques secondes ou moins
ComplexitéPlus faiblePlus élevée (ordre, événements tardifs, état)
Coût d’exploitationPayé à chaque exécutionToujours actif
Bon usageRapports financiers quotidiens, KPI mensuelsAlertes de fraude, stocks en temps réel

À retenir : demandez au métier quel délai est acceptable avant de choisir. La plupart des rapports se satisfont du batch ; un streaming dont personne n’a besoin ajoute seulement des coûts et des risques de panne.

2. Une ingestion fiable

L’ingestion copie les données d’une source vers votre plateforme. La façon de copier détermine le coût, le délai et la détection des lignes supprimées.

MéthodePrincipePoint de vigilance
Chargement completCopier toute la table à chaque exécutionLent et coûteux quand les tables grossissent ; correct pour de petits référentiels
Incrémental par horodatageCopier les lignes dont updated_at est postérieur à la dernière exécutionNe voit pas les suppressions physiques ; exige une colonne updated_at fiable
Capture des changements (CDC)Lire le journal de transactions de la base et émettre chaque insertion, mise à jour et suppressionExige des droits sur la base et de l’attention aux changements de schéma

Le CDC capte les suppressions et l’ordre exact des changements, avec peu de charge sur la source puisqu’il lit le journal plutôt que d’interroger les tables. Des outils open source comme Debezium et des connecteurs managés d’éditeurs d’ingestion utilisent cette approche pour des bases comme PostgreSQL et MySQL.

  1. Choisir une clé — identifier la clé primaire de chaque table source.
  2. Choisir un curseur — retenir la colonne qui avance, comme updated_at ou une position du journal.
  3. Stocker le point de reprise — enregistrer la dernière valeur chargée, uniquement après la réussite du chargement.
  4. Chevaucher volontairement — recharger une petite fenêtre, par exemple les deux dernières heures, et dédupliquer par clé.
  5. Déposer en brut — écrire exactement ce qui a été reçu, avec un horodatage de chargement, avant tout nettoyage.

3. Modélisation dimensionnelle

Les analystes posent des questions comme « ventes par mois, région et produit ». Un schéma en étoile y répond vite et clairement : une table de faits centrale d’événements mesurables, entourée de tables de dimensions qui les décrivent. L’approche vient de la modélisation dimensionnelle de Ralph Kimball.

La table de faits contient des clés et des nombres ; les dimensions contiennent les descriptions servant à filtrer et regrouper.

  1. Choisir le processus métier — par exemple l’exécution des commandes, pas « le service commercial ».
  2. Déclarer le grain — dire en une phrase ce que représente une ligne : « une ligne par ligne de commande ».
  3. Choisir les dimensions — qui, quoi, où, quand décrivent chaque ligne.
  4. Choisir les faits — les nombres à ce grain, comme la quantité et le montant net.

Le grain est la décision la plus importante. Chaque colonne de la table de faits doit être vraie à ce grain. Mélanger les grains, par exemple un objectif mensuel à côté du montant d’une ligne de commande, produit des doubles comptes.

4. Entrepôts, lacs et lakehouses

Trois modèles de stockage dominent les plateformes modernes. Ils se recouvrent un peu plus chaque année : jugez-les à ce que vous devez faire plutôt qu’à l’étiquette.

Entrepôt de donnéesData lakeLakehouse
Données conservéesTables structurées et modéliséesTous fichiers : tables, journaux, images, JSONFichiers sur stockage bon marché avec une couche de tables par-dessus
InterrogationSQLSpark, Python, moteurs SQLSQL et Spark sur les mêmes tables
TransactionsOui, intégréesNon, uniquement des fichiersOui, grâce au format de table
ExemplesSnowflake, BigQuery, Amazon RedshiftFichiers sur Amazon S3, Google Cloud Storage ou Azure Data Lake StorageDatabricks, Microsoft Fabric, tables Iceberg sur stockage objet

Les entrepôts cloud sont en colonnes : chaque colonne est stockée et compressée séparément, donc une requête qui a besoin de trois colonnes sur cinquante ne lit que celles-là. Ils séparent aussi stockage et calcul : on ajoute de la puissance pour un traitement lourd et on cesse de payer à sa fin.

Deux mécanismes déterminent le coût et la vitesse des requêtes :

5. Transformations avec dbt

dbt transforme des requêtes SQL SELECT en tables et vues dans votre entrepôt, avec gestion de versions, tests et documentation. Il réalise le T de l’ELT ; il n’extrait ni ne charge de données. dbt existe en deux lignées : dbt v1, écrit en Python (v1.12 dans la documentation 2026), et le plus récent dbt v2. Les concepts ci-dessous sont les mêmes dans les deux.

  1. Déclarer les sources — lister les tables brutes dans un fichier YAML pour que les modèles les désignent avec source() et que leur fraîcheur soit contrôlable.
  2. Écrire les modèles de staging — un modèle par table source : renommer, convertir les types, rien d’autre. Exemple : stg_orders sélectionne depuis source('shop', 'orders').
  3. Écrire les modèles intermédiaires et marts — joindre et agréger en désignant les autres modèles avec ref('stg_orders').
  4. Lancer dbt build — dbt déduit l’ordre des appels à ref(), puis exécute modèles, tests, seeds et snapshots selon ces dépendances.

La fonction ref() est le cœur de dbt. Elle construit le graphe de dépendances (le DAG), résout le bon schéma selon l’environnement et permet de tester des changements dans un schéma de développement sans toucher à la production.

6. Orchestration avec Airflow

Un orchestrateur décide ce qui s’exécute, quand, dans quel ordre et que faire en cas d’échec. Apache Airflow est l’un des orchestrateurs open source les plus répandus ; la dernière version indiquée dans les annonces officielles est la 3.4.0 (6 novembre 2026). On décrit un workflow sous forme de Dag (graphe orienté acyclique) en Python : les tâches sont les nœuds, les dépendances les flèches, sans boucle.

ConceptSignification
DagLe workflow : tâches, dépendances, planification
TâcheUne unité de travail, écrite avec un opérateur ou le décorateur TaskFlow @task
Dag runUne exécution du Dag pour une date logique
RetriesCombien de fois, et après quel délai, une tâche en échec est retentée
SensorUne tâche qui attend une condition, comme l’arrivée d’un fichier

Dans Airflow 3, on importe les briques depuis airflow.sdk (dag, task, Asset). Plusieurs fonctions anciennes ont disparu : execution_date est remplacé par logical_date, les SubDAGs par les groupes de tâches et les assets, et catchup vaut désormais False par défaut : un nouveau Dag ne lance donc pas en silence des centaines d’exécutions passées.

7. Qualité, gouvernance et coûts

Un pipeline qui tourne au vert mais livre de faux chiffres est pire qu’un pipeline en échec, car personne ne s’en aperçoit. La qualité se contrôle selon des dimensions mesurables.

DimensionQuestionContrôle typique
ComplétudeManque-t-il quelque chose ?not_null, nombre de lignes par rapport à la source
UnicitéY a-t-il des doublons ?unique sur la clé
ValiditéLa valeur est-elle autorisée ?accepted_values, plages, formats
ActualitéEst-ce assez frais ?Fraîcheur des sources, échéances des Dag runs
CohérenceLes tables concordent-elles ?relationships, totaux qui se rapprochent

Placez les contrôles là où ils sont les moins chers à traiter : à l’arrivée (schéma, nombre de lignes, fraîcheur), pendant la transformation (tests dbt) et avant la mise à disposition (rapprochement avec le total de la finance). Quand un contrôle critique échoue, arrêtez le flux et alertez un responsable nommé, plutôt que de publier de mauvaises données avec un avertissement que personne ne lit.

Un contrat de données est un accord écrit entre l’équipe qui produit les données et celles qui les consomment : schéma, sens des champs, fraîcheur et interlocuteur. Il transforme « la source a changé une colonne » d’une surprise en un changement géré.

La leçon complète se poursuit dans la formation interactive de cette page.

Sources et références

Formation pédagogique indépendante de tout éditeur. Les versions et fonctionnalités ont été vérifiées dans la documentation officielle en novembre 2026 (Apache Airflow 3.4, dbt v1.12 et v2) ; elles évoluent vite, consultez donc la documentation à jour avant de construire. Les points juridiques (RGPD, loi marocaine 09-08) sont une introduction et non un conseil juridique : impliquez votre délégué à la protection des données. Les noms de produits servent uniquement à expliquer les concepts.

Toutes les formations · IA & données — Formations gratuites, certificat à partir de 7 $