Mission freelance [SCH] Data Engineer Spark / Scala - 1047

Au sein de la DSI Finance, vous interviendrez en tant que Data Engineer Spark / Scala confirmé sur le projet d’intégration du Datalake Finance, adossé à la distribution Hadoop HortonWorks.
Ce datalake centralise les données issues des systèmes comptables et de synthèse afin de répondre aux besoins de reporting Finances & Risques (COREP, RWA, IFRS9, etc.).

Missions principales :
-Participer au développement et à l’intégration de nouvelles sources de données au sein du Datalake Finance.
-Assembler et distribuer les données aux consommateurs métiers tout en garantissant la pérennité et la performance des pipelines existants.
-Contribuer à la conception technique, l’implémentation et les tests des flux sous Spark / Scala.
-Veiller à la non-régression et à la qualité du code dans le cadre des évolutions du socle.
-Travailler en méthodologie Agile (Scrum / Kanban) avec les équipes métiers, data et maintenance.
-Participer à la documentation technique et aux revues de code.

Profil recherché :
-5 à 6 ans d’expérience en environnement Big Data / Datalake.
-Solide maîtrise de Spark / Scala et des paradigmes de programmation fonctionnelle (ZIO, Monix, Cats appréciés).
-Connaissance des écosystèmes Hadoop, Hive, Kafka, HBase, Kerberos.
-Expérience dans un cadre Agile (Scrum / Kanban) et outils associés (Jira, Confluence).
-Esprit analytique, autonomie, rigueur et bon relationnel.