Job Vacancy Data Engineer

Une organisation leader en solutions de financement est à un tournant crucial où l'exploitation des données doit devenir un levier central de transformation et de compétitivité. Cependant, plusieurs défis structurels doivent être adressés pour réussir cette transition vers une organisation véritablement axée sur les données (insuffisance du Data Management existant, dépendances fortes à des systèmes legacy qui ont vocation à être décommissionnés à court et moyen termes, limites structurelles des outils et solutions actuels).

Le projet doit permettre de valider la capacité de mise en œuvre d'un projet de data science depuis sa phase exploratoire jusqu'à sa phase d'industrialisation. Il se concentre sur la phase d'exploration des données liées au reporting réglementaire, avec un périmètre limité aux données critiques, provenant de diverses sources. L'objectif est de garantir un accès optimisé et une gouvernance renforcée pour les Data Quality Analysts (DQA).

Conception et implémentation des pipelines de données

• Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI).

• Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus.

• Suivre avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence.

  
  Industrialisation et automatisation des flux de données et des traitements

• Mettre en place des processus d'industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production.

• Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies.

• Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l'exploration à la production, en intégrant les modèles dans des pipelines automatisés.

Gestion des données et optimisation des performances

• Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d'architecture de stockage (raw, refined, trusted layers).

• Assurer la surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l'intégrité des jeux de données.

Sécurité et gouvernance des données

• Mettre en œuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes.

• Travailler en collaboration avec le Data Office pour assurer l'alignement avec les politiques et processus définis.

• Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées.