Offre d'emploi Développeur Big Data Scala / Java (Migration DataHub)

Contexte / Objectif : Renfort d’une équipe technique en charge de la migration du DataHub vers sa version 2. L’objectif est d’assurer le développement et l’industrialisation de traitements Big Data dans un environnement distribué à forte volumétrie, depuis la conception jusqu’au maintien en production.

Missions principales :

• Étude et conception technique des batchs et pipelines data.

• Développement Spark/Scala pour traitements batch et streaming.

• Récupération, transformation, enrichissement et restitution des données (ETL/ELT).

• Création et publication de batchs Kafka (topics / événements).

• Participation à l’industrialisation : CI/CD, tests, déploiement et monitoring.

• Collaboration étroite avec les Business Analysts pour garantir la qualité et la lisibilité des libellés.

• Gestion autonome de sujets transverses (reporting, suivi, coordination, support niveau 2/3).

Stack technique (obligatoire / souhaité) :

• Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé).

• Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps.

• Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.