Dans un contexte où les organisations exploitent des volumes croissants de données, la maîtrise des architectures décisionnelles et des flux de traitement devient un enjeu stratégique
Cette formation sur la conception des entrepôts de données et les flux ETL avancés permet d’acquérir les compétences nécessaires pour concevoir des plateformes analytiques performantes, fiables et évolutives
Les participants apprennent à modéliser des Data Warehouses complexes intégrant l’historisation des données, à développer des pipelines ETL robustes avec gestion des erreurs et contrôle qualité, ainsi qu’à optimiser les performances des traitements grâce aux techniques d’indexation, de partitionnement et de parallélisation
La formation couvre également l’orchestration des flux avec des outils dédiés, la supervision des traitements et les bonnes pratiques de gouvernance des données. Grâce à des mises en situation concrètes et des travaux pratiques, les apprenants développent une approche opérationnelle directement applicable aux projets de Business Intelligence, d’intégration de données et d’analyse décisionnelle.
Inclus dans votre formation en inter-entreprise
Programme détaillé
Modélisation avancée d’un entrepôt de données (7h00)
- Modèles dimensionnels avancés (SCD de type 1, 2 et 3), constellation de faits.
- Étude de l’évolution d’une dimension client.
- Travaux pratiques : Modélisation d’un Data Warehouse RH/Finance avec gestion des dimensions à évolution lente (SCD2).
Mise en œuvre de flux ETL complexes (7h00)
- Conception d’un pipeline ETL robuste : journalisation (logs), gestion des erreurs et identifiants de batch.
- Ajout de composants de contrôle et de validation dans un job Talend.
- Travaux pratiques : Création d’un flux ETL avec gestion des rejets et journalisation des erreurs.
Optimisation et performances des traitements (7h00)
- Indexation, partitionnement, optimisation Pushdown et exécution parallèle des traitements.
- Analyse d’un flux ETL présentant des problèmes de performance et proposition d’un plan d’amélioration.
- Travaux pratiques : Refonte d’un flux ETL pour un traitement optimisé en batchs parallèles.
Orchestration et supervision des flux (7h00)
- DAG (Directed Acyclic Graph), gestion des dépendances, planification des traitements et politiques de relance (retry policy).
- Orchestration de plusieurs jobs interdépendants avec Apache Airflow.
- Travaux pratiques : Création d’un DAG complet comprenant trois jobs liés et l’envoi d’un e-mail d’alerte en cas d’échec.
Gouvernance, documentation et traçabilité (7h00)
- Data lineage, qualité des données et dictionnaire de données.
- Génération automatique de la documentation d’un pipeline de données.
- Travaux pratiques : Mise en place de règles de qualité des données et documentation complète d’un pipeline ETL.