Mission freelance Lead Data Engineer - Python/AWS/DevOps/ Big Data/ Linux / Energie (H/F)

Nous recherchons pour le compte de notre client grand-compte dans l'Energie, un Lead data Engineer.

Objectifs :

• Etre le/la référent(e) technique de la plateforme de données - coordination technique transverse

• Etre référent principale sur un sujet pilote

• Définir, mettre en œuvre et automatiser des pipes des données et gouvernance

• Assurer le Run notamment la MCO, la CI / CD et la mise en production en coordination avec l’équipe référente

• Préparer les pipelines Data en coordination avec l’architecte et le manager

• Avoir un sens expérimental et de proposition dans un contexte Multi cloud est un atout majeur

Missions :

Etre le/la référent(e) technique de la plateforme de données

• Etre garant(e) du socle technique de la plateforme data et de son évolution,

• Définir les besoins techniques, la roadmap d’évolution du socle technique de la plateforme de données pour suivre ses changements d’échelle et garantir ses performances et sa maintenabilité,

• Etre mentor et référent pour les membres de l’équipe,

• Participer aux choix de nos partenaires.

Le dev de devops : définir, mettre en œuvre et automatiser des pipes des données et gouvernance

• Mettre en place des projets Data Lake (ingestion de sources, pipeline de traitements de données, modélisation, tests, déploiements) dans la meilleure architecture,

• Définir les meilleures de façon de stocker exposer les données au sein de la plateforme selon les usages attendus,

• Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats,

• Réaliser les développements en ayant intégré les besoins et pratiques des analystes et data scientists.

run et environnements

• Maintenir les environnements techniques et partager vos connaissances,

• Gérer les incidents et s’assurer de leur résolution dans une logique d’amélioration continue et d’automatisation (ex : rejeu de données),

• Assurer la supervision des traitements (technique et fonctionnelle).