Mission freelance Data Engineer / Data Architect Senior H/F

Dans le cadre de la modernisation d’une plateforme décisionnelle au sein d’un acteur de l’épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior.

La mission s’inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés.

Vous rejoindrez l’équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses.

L’objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l’équipe Marketing.

Vous interviendrez notamment sur :

• La définition de l’architecture et de l’organisation du Lakehouse ;

• La conception de solutions de collecte, de stockage et de transformation des données ;

• La migration et la modernisation progressive des traitements existants ;

• L’industrialisation et le suivi des pipelines de données ;

• La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation.

En tant que Data Engineer / Data Architect Senior, vous serez amené à :

• Concevoir l’organisation des données et des flux au sein d’un environnement Lakehouse basé sur S3 ;

• Développer des pipelines de traitement avec Python, Spark et PySpark ;

• Mettre en place et maintenir les traitements d’ingestion et de transformation ;

• Participer à l’ordonnancement des traitements avec Dagster ;

• Contribuer à l’exposition des données via Trino et les outils de datavisualisation ;

• Développer les solutions de collecte et de stockage répondant aux besoins métiers ;

• Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ;

• Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ;

• Rédiger et maintenir la documentation technique ;

• Participer à la recette avec la MOA et les utilisateurs ;

• Estimer les charges et contribuer au suivi de l’avancement du projet ;

• Réaliser des études en collaboration avec les équipes transverses ;

• Participer à l’amélioration continue des processus de développement et d’exploitation.

• Python ;

• Apache Spark / PySpark ;

• SQL ;

• Amazon S3 ;

• Dagster ;

• Trino ;

• Git ;

• Jenkins.

• Informatica ;

• DAC ;

• Oracle 19 ;

• Outils BI et de reporting.

• Jira ;

• Confluence ;

• Windows 10 avec WSL.