Cette formation Big Data permet aux professionnels de découvrir les principes, architectures et outils incontournables du traitement des données massives. Les participants apprennent à comprendre les enjeux du Big Data, à explorer l’écosystème Hadoop et à mettre en œuvre des traitements distribués avec Apache Spark. Au travers de démonstrations et de travaux pratiques, ils découvrent le fonctionnement de HDFS, YARN, MapReduce, les DataFrames Spark ainsi que les mécanismes de transformation et d’intégration de données à grande échelle
La formation aborde également la conception de pipelines ETL distribués et présente les principaux outils complémentaires de l’écosystème tels que Hive, HBase, Kafka ou Airflow
Adaptée aux développeurs, administrateurs systèmes, data engineers débutants ou professionnels souhaitant comprendre les architectures de données modernes, cette formation fournit les bases nécessaires pour contribuer efficacement à des projets Big Data et analytique avancée.
Inclus dans votre formation en inter-entreprise
Programme détaillé
Fondamentaux du Big Data (3h30)
- Les 5V du Big Data (Volume, Vélocité, Variété, Véracité, Valeur).
- Exemple de volume de données sur un cas réel (logs, IoT, réseaux sociaux…).
- Travaux pratiques : Identifier des cas d’usage Big Data et catégoriser les besoins.
Architecture et écosystème Hadoop (10h30)
- HDFS, NameNode, DataNode, YARN, MapReduce.
- Lecture et traitement de fichiers dans HDFS.
- Travaux pratiques : Charger et traiter un fichier CSV volumineux avec un traitement MapReduce simple.
Introduction à Apache Spark (3h30)
- Architecture de Spark, différences avec Hadoop, RDD vs DataFrame.
- Manipulation de jeux de données avec Spark DataFrame.
- Travaux pratiques : Filtrage, jointure et agrégation de données avec PySpark.
ETL distribué avec Spark (10h30)
- Bonnes pratiques d’un ETL Big Data, formats optimisés (Parquet, ORC).
- Création d’un pipeline ETL simple (extraction JSON, transformation, stockage au format Parquet).
- Travaux pratiques : Développement d’un pipeline Spark complet pour intégrer et transformer plusieurs sources de données hétérogènes.
Introduction à l’écosystème Big Data avancé (7h00)
- Présentation de Hive, HBase, Kafka et Airflow.
- Interrogation d’un fichier à l’aide de HiveQL.
- Travaux pratiques : Exploration libre ou mini-projet guidé avec l’écosystème Big Data.