Prérequis

Connaissances en langage de requête SQL pour interagir avec les sources de données. Compréhension des bases du cloud computing et du fonctionnement général des services cloud.

Durée

3 jours

Contenu Technique de la Formation

La formation aborde les contenus techniques suivants :

• Introduction à Azure Data Factory et Fondamentaux
• Activités et Transformations dans Azure Data Factory
• Surveillance, Gestion et Déploiement

Objectifs de la Formation

Les objectifs visés par cette formation sont :

• Comprendre les concepts fondamentaux d'Azure Data Factory (ADF) et son rôle dans le traitement et le transfert des données dans le cloud.
• Apprendre à créer des flux de données et des pipelines de données pour orchestrer les workflows de données complexes.
• Maîtriser les différentes activités et transformations disponibles dans Azure Data Factory.
• Comprendre comment intégrer et transformer des données provenant de différentes sources et destinations.
• Savoir comment surveiller, gérer et déployer les pipelines de données dans Azure Data Factory.

Table des Matières

Introduction à Azure Data Factory et Fondamentaux

• Introduction à Azure Data Factory
• Présentation d'Azure Data Factory et ses avantages dans le traitement des données.
• Comprendre l'architecture d'ADF et ses principaux composants.
• Configuration de l'environnement de développement pour Azure Data Factory.
• Création de Flux de Données
• Utilisation de l'interface utilisateur et des outils en ligne de commande pour créer des flux de données.
• Comprendre les concepts de jeux de données, de datasets et de connexions aux sources et destinations de données.
• Création de flux de données pour extraire, transformer et charger (ETL) des données.
• Création de Pipelines de Données
• Utilisation des flux de données pour créer des pipelines de données.
• Orchestration de workflows de données complexes avec les pipelines.
• Planification et déclenchement de l'exécution des pipelines.

Activités et Transformations dans Azure Data Factory

• Activités de Données
• Utilisation des différentes activités prédéfinies pour réaliser des tâches spécifiques (e.g., copier des données, exécuter des scripts, etc.).
• Utilisation des paramètres et des variables pour rendre les activités dynamiques.
• Gestion des dépendances entre les activités.
• Transformations de Données
• Comprendre les transformations de données disponibles dans Azure Data Factory (e.g., jointures, agrégations, filtrage, etc.).
• Appliquer des transformations aux données pour les nettoyer et les préparer pour l'analyse.

Surveillance, Gestion et Déploiement

• Surveillance et Gestion des Pipelines
• Utilisation des outils de surveillance pour suivre l'exécution des pipelines.
• Comprendre les journaux d'exécution et la gestion des erreurs.
• Utilisation des mécanismes de reprise pour gérer les erreurs de pipeline.
• Déploiement des Pipelines de Données
• Génération de fichiers de déploiement pour les pipelines de données.
• Déploiement des pipelines dans des environnements de développement, de test et de production.
• Stratégies de déploiement pour une mise à jour en douceur des pipelines.

En Pratique

• Création d'un flux de données pour extraire des données d'une source.
• Création d'un pipeline pour orchestrer le flux de données et charger les données dans une destination.
• Planification de l'exécution du pipeline à des heures spécifiques.
• Utilisation des activités de données pour copier et déplacer des fichiers.
• Création d'une transformation pour agréger des données provenant de différentes sources.
• Gestion des dépendances entre les activités pour orchestrer un workflow de données complexe.
• Surveillance de l'exécution des pipelines et analyse des journaux.
• Utilisation des mécanismes de reprise pour gérer les erreurs d'exécution.
• Déploiement d'un pipeline dans un environnement de test ou de production.

Modalités et Inscription

Cette formation est proposée selon deux formules pour s'adapter au mieux à vos besoins :

Session régulière

Des sessions sont organisées à intervalles réguliers. Demandez les prochaines dates planifiées pour vous inscrire à la prochaine session.

Sur mesure & intra-entreprise

Vous souhaitez former vos équipes directement dans vos locaux ou adapter le programme technique à votre contexte d'entreprise ? Contactez-nous pour obtenir un devis personnalisé.