Job position Développeur Big Data Scala / Java (Migration DataHub)
Share this job
Contexte / Objectif : Renfort d’une équipe technique en charge de la migration du DataHub vers sa version 2. L’objectif est d’assurer le développement et l’industrialisation de traitements Big Data dans un environnement distribué à forte volumétrie, depuis la conception jusqu’au maintien en production.
Missions principales :
Étude et conception technique des batchs et pipelines data.
Développement Spark/Scala pour traitements batch et streaming.
Récupération, transformation, enrichissement et restitution des données (ETL/ELT).
Création et publication de batchs Kafka (topics / événements).
Participation à l’industrialisation : CI/CD, tests, déploiement et monitoring.
Collaboration étroite avec les Business Analysts pour garantir la qualité et la lisibilité des libellés.
Gestion autonome de sujets transverses (reporting, suivi, coordination, support niveau 2/3).
Stack technique (obligatoire / souhaité) :
Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé).
Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps.
Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.
Candidate profile
Profil recherché :
Niveau : confirmé — 3 à 6 ans d’expérience sur des environnements Big Data similaires.
Qualités : , , autonomie, sens du collectif. Capacité à échanger avec des interlocuteurs techniques et fonctionnels.
Working environment
Stack technique (obligatoire / souhaité) :
Obligatoire : Apache Spark (maîtrise), Scala (langage principal), SQL (avancé).
Souhaité : Java (notions confirmées), Kafka (bonnes bases), Apache Airflow (expérience appréciée), HDFS/Hive/YARN (bonnes bases), expérience Cloud (GCP ou AWS valorisée), CI/CD (Jenkins, Gitflow), notions DevOps.
Méthodologie & environnement : Travail en mode Agile (backlog, rituels, communication proactive). Interaction régulière avec équipes Data, BI, infra et métiers.
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Développeur Big Data Scala / Java (Migration DataHub)
CELAD
