Mission freelance 📩 Data Engineer Python / Big Data

Nous recherchons pour l’un de nos clients grands comptes du secteur de l’énergie un Data Engineer Python / Big Data afin d’intervenir sur le développement d’une plateforme Big Data robuste et scalable, destinée à centraliser, normaliser et distribuer des indicateurs métiers à l’échelle internationale.

Contexte de la mission

La plateforme a pour objectif de gérer un volume important de données provenant de plusieurs pays. Elle permettra de centraliser différents indicateurs, de standardiser les vues et de faciliter leur exploitation par les différentes parties prenantes.

Le consultant interviendra au sein d’une équipe majoritairement basée à Paris, avec de possibles déplacements ponctuels à Lyon et Bruxelles.

Missions principales

Dans le cadre de cette mission, vous serez amené à :

• Concevoir et développer des composants de data ingestion.

• Participer au traitement, à la normalisation et à l’optimisation des données.

• Mettre en place des pipelines de distribution de données vers différents consommateurs.

• Contribuer à l’amélioration du framework commun : monitoring, CI/CD, tests, performance, résilience, qualité de code.

• Appliquer les standards internes en matière d’architecture et de développement.

• Collaborer avec les équipes projets afin de promouvoir les bonnes pratiques techniques.

• Participer à la conception d’une architecture Big Data scalable et maintenable.

Compétences attendues

• Python V3

• Big Data Architecture & Technologies

• Datalake

• Data pipelines

• Data modeling

• CI/CD

• Testing

• Monitoring

• Performance optimization

• Environnements distribués

• AWS Cloud, un plus