Dans un contexte où les entreprises doivent exploiter des données toujours plus nombreuses et plus rapides, le traitement de données en temps réel devient un levier stratégique pour améliorer la prise de décision et la réactivité opérationnelle
Cette formation vous permet d’acquérir les compétences indispensables pour concevoir, déployer et superviser des architectures de streaming de données basées sur Apache Kafka et Apache Flink
Les participants découvrent les fondamentaux du stream processing, la gestion des flux événementiels, la production et la consommation de messages, ainsi que la mise en œuvre de pipelines temps réel complets. À travers des démonstrations et des travaux pratiques, ils apprennent à traiter, enrichir et analyser des flux de données en continu, à détecter des événements métier significatifs et à intégrer ces traitements avec les systèmes d’information existants
La formation aborde également les enjeux de performance, de résilience, de supervision et de sécurité afin de construire des plateformes de données modernes adaptées aux besoins des organisations orientées data.
Inclus dans votre formation en inter-entreprise
Programme détaillé
Introduction au traitement temps réel (3h30)
- Différences batch vs stream, micro-batching, événements.
- Simulation d’un scénario batch vs streaming (ex. : logs web).
- Travaux pratiques : Analyse de cas d’usage temps réel (fraude, IoT, logs, clickstream…).
Architecture et fondamentaux de Kafka (10h30)
- Broker, Topics, Producers, Consumers, Partitions, Offset.
- Production et consommation de messages en ligne de commande.
- Travaux pratiques : Création d’un mini-bus Kafka avec plusieurs producteurs et consommateurs.
Traitement des flux avec Flink (7h00)
- DataStream API, Event Time, Windows, Watermarks.
- Traitement temps réel de flux Kafka avec Flink (alerte, agrégation).
- Travaux pratiques : Développement d’un traitement Flink détectant des anomalies en direct.
Pipeline de bout en bout Kafka + Flink (7h00)
- Intégration, tolérance aux pannes, commutateurs de traitement.
- Pipeline ingestion Kafka ? traitement Flink ? stockage.
- Travaux pratiques : Création d’un pipeline d’analyse de flux temps réel (ex. : monitoring IoT).
Supervision, performance et sécurité (7h00)
- Débit, latence, résilience, chiffrement, authentification SSL/SASL.
- Monitoring d’un pipeline Flink avec Grafana.
- Travaux pratiques : Ajout de métriques, dashboards et authentification à un projet Kafka-Flink.