Prérequis
Connaissances de base en bases de données (SQL) Notions en Cloud ou en manipulation de données (Excel, ETL, BI)
Durée
3 jours
Contenu Technique de la Formation
La formation aborde les concepts et technologies suivants :
- Rôle et missions du Data Engineer dans un environnement Cloud
- Écosystème Azure Data : présentation des briques principales
- Azure Data Factory : intégration, pipelines, monitoring, orchestrations avancées
- Azure Databricks : traitement distribué, Spark, notebooks collaboratifs, machine learning léger
- Azure Synapse Analytics : stockage analytique, modélisation et requêtes massives
- Cas d’usage et synergies entre Data Factory, Databricks et Synapse
- Gouvernance, sécurité et bonnes pratiques d’industrialisation des flux de données
Objectifs de la Formation
À l’issue de cette formation, les participants seront capables de :
- Situer les rôles et responsabilités du Data Engineer dans un projet Big Data/Cloud
- Construire des pipelines d’intégration avec Data Factory
- Déployer et exécuter des traitements distribués avec Databricks
- Interroger et analyser de larges volumes de données avec Synapse
- Concevoir une architecture data moderne sur Azure combinant les trois services
- Appliquer les bonnes pratiques de sécurité, gouvernance et monitoring des données
Table des Matières
Introduction & Data Factory
- Introduction au Data Engineering et à l’écosystème Azure
- Présentation de Data Factory
- Création et exécution de pipelines
- Gestion des connecteurs et sources de données
- Automatisation, planification et monitoring des flux
Azure Databricks
- Introduction à Spark et Databricks
- Utilisation des notebooks (Python/SQL)
- Nettoyage et transformation des données massives
- Collaboration et versioning dans Databricks
- Intégration avec Data Factory
Azure Synapse & Mise en perspective
- Concepts de Data Warehouse moderne
- Création et interrogation de tables dans Synapse
- Requêtes analytiques à grande échelle
- Connexion Synapse ↔ Power BI
- Architecture intégrée Data Factory + Databricks + Synapse
- Gouvernance, sécurité et bonnes pratiques
En Pratique
- Les exercices proposés visent à illustrer les concepts à travers des mises en situation :
- Exercices d’ingestion et d’orchestration : création d’un pipeline Data Factory pour charger des données brutes (ex. fichiers CSV)
- Exercices de transformation : nettoyage et enrichissement d’un dataset dans un notebook Databricks avec production d’une table Delta
- Exercices d’analytique : chargement et interrogation des données dans Synapse (requêtes distribuées, vues)
- Exercice récapitulatif “mini-projet bout-à-bout” : conception d’un flux complet combinant Data Factory, Databricks et Synapse, incluant gouvernance de base et supervision
Modalités et Inscription
Cette formation est proposée selon deux formules pour s'adapter au mieux à vos besoins :
Session régulière
Des sessions sont organisées à intervalles réguliers. Demandez les prochaines dates planifiées pour vous inscrire à la prochaine session.
Sur mesure & intra-entreprise
Vous souhaitez former vos équipes directement dans vos locaux ou adapter le programme technique à votre contexte d'entreprise ? Contactez-nous pour obtenir un devis personnalisé.