Evolution MM

Formations à l'informatique
Découvrez la différence ENI

Lien accueil

Téléchargez le Calendrier des formations

Nantes, Rennes, Niort, Nice, Paris

Rechercher
Rechercher une formation
 

Apache Spark - Mise en oeuvre des traitements Big Data

Public :

  • Développeurs backend et architectes SI.

Objectifs :

  • Développer une application s'appuyant sur Spark ;
  • Connaître les différents concepts sous-jacents et les APIs ;
  • Exécuter, tester, optimiser une application utilisant Spark ;
  • Appréhender les problématiques de machine learning avec SparkML.

Pré-requis :

  • Posséder de bonnes connaissances en développement logiciel et avoir une compréhension des problèmes liés au Big Data.

Contenu pédagogique

Présentation de Spark

  • Spark vs MapReduce
  • " Hello world " WordCount
  • Le modèle in-memory
  • Composants : Jobs, Stages, Tasks
  • Les différentes interfaces : API Python, shell…

Les Resilent Distributed Datasets

  • Principe des DAG
  • La création
  • Les transformations : filter, map, reduce…
  • Les actions
  • Cache et persistance
  • Travaux pratiques :
    • Effectuer des statistiques sur des données météorologiques

Les dataframes

  • Les requêtes
  • Les formats : structurés, non structurés
  • Join, group, agrégation
  • Spark SQL
  • Travaux pratiques :
    • Effectuer des statistiques sur un volume important de textes

Application : Exécution et debug

  • Structure d'une application
  • Exécuter une application
  • WebUI
  • Optimisations
  • Travaux pratiques :
    • Observer et optimiser l'exécution de l'analyse de texte

Streaming

  • Présentation de DStream
  • Découverte de Sqoop
  • Utilisation de Kafka
  • Travaux pratiques :
    • Exploiter des données via Sqoop en temps réel

SparkML

  • Présentation de ML et MLlib
  • Composants : Estimators, Transformers, Evaluators
  • Pipeline
  • Travaux pratiques :
    • Prédire la race d'un chien présent dans une image


Modalité et moyens pédagogiques, techniques et d'encadrement

  • Formation avec un formateur, dans une salle dédiée à la formation, équipée d'un vidéoprojecteur, d'un tableau blanc et d'une solution de visio-conférence dans le cas des formations suivies en in-classTM (présentiel à distance). Le nombre de stagiaires peut varier de 1 à 12 personnes (5 à 6 personnes en moyenne), ce qui facilite le suivi permanent et la proximité avec chaque stagiaire.
  • Chaque stagiaire dispose d'un poste de travail adapté aux besoins de la formation, d'un support de cours et/ou un manuel de référence au format numérique ou papier (pour les sessions inter-entreprises, dans le cas où le support de cours officiel est en anglais, nous offrons en complément, s'il existe, un ouvrage de référence des Editions ENI au format numérique rédigé en français).
  • Pour une meilleure assimilation, le formateur alterne tout au long de la journée les exposés théoriques, les démonstrations et la mise en pratique au travers d'exercices et de cas concrets réalisés seul ou en groupe. La répartition du temps entre la théorie et la pratique est mentionnée dans le plan de cours.

Modalités d'évaluation des acquis

  • L'évaluation des acquis se fait tout au long de la formation au travers des différents travaux dirigés et travaux pratiques réalisés par le stagiaire.
  • En complément, pour les stagiaires qui le souhaitent, certaines formations peuvent être validées officiellement par un examen de certification. Pour les formations concernées, l'examen est mentionné dans la zone " Commentaire " du programme de formation. Les candidats doivent produire un travail personnel important en vue de se présenter au passage de l'examen, le seul suivi de la formation ne constituant pas un élément suffisant pour garantir un bon résultat et/ou l'obtention de la certification.

Moyens de suivi d'exécution et appréciation des résultats

  • Feuille de présence, émargée par demi-journée par chaque stagiaire et le formateur ;
  • Evaluation qualitative de fin de formation, qui est ensuite analysée par notre équipe pédagogique ;
  • Attestation de fin de formation, remise au stagiaire en main propre ou par courrier électronique.

Qualification du formateur

  • La formation est animée par un professionnel de l'informatique et de la pédagogie, dont les compétences techniques, professionnelles et pédagogiques ont été validées par des certifications et/ou testées et approuvées par les éditeurs et/ou notre équipe pédagogique. Il est en veille technologique permanente et possède plusieurs années d'expérience sur les produits, technologies et méthodes enseignés. Il est présent auprès des stagiaires pendant toute la durée de la formation.
Durée : 3 jour(s)
Tarif : Consultez-nous
Réf : T265-023

Dates des sessions

Nantes (44) Consultez-nous Rennes (35) Consultez-nous Paris (75) Consultez-nous Niort (79) Consultez-nous Nice (06) Consultez-nous in-class™