Data engineer

• Comprendre le rôle et les missions du data engineer
• Développer des pipelines de données fiables et automatisés
• Maîtriser l’architecture et l’industrialisation des flux de données

Ingénieurs data, développeurs et administrateurs de données

Maîtriser les bases d’un langage de programmation et du SQL

• Définir les missions du data engineer au sein d’une équipe data
• Concevoir une architecture de données adaptée aux usages métiers
• Modéliser les données pour les entrepôts de données et les data lakes
• Développer des pipelines ETL et ELT fiables et reproductibles
• Programmer les traitements de données en Python et en langage SQL
• Orchestrer et planifier les flux de données automatisés au quotidien
• Exploiter les plateformes de données et les services du cloud
• Superviser la qualité, la traçabilité et la performance des flux
• Sécuriser les accès et respecter le RGPD dans les traitements
• Collaborer avec les data analysts et les data scientists de l’équipe

• Construire un pipeline de données complet, de bout en bout
• Modéliser un entrepôt de données pour un cas d’usage métier
• Diagnostiquer puis corriger un flux de données ETL en échec

• Modèle de documentation technique d’un pipeline de données
• Fiche repère des bonnes pratiques de modélisation de données
• Check list de mise en production d’un flux de données fiable