Offre d'emploi Data Engineer - SPARK/SCALA

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2

Objectif de la mission :
Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements.

Stack et compétences techniques requises :

• Apache Spark (maîtrise attendue)

• Scala (langage principal sur la squad)

• SQL (avancé)

• Java (notions de base à confirmées)

• Kafka (bonnes bases sur les événements, topics)

• Apache Airflow (idéalement une première expérience)

• Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises)

• Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS)

• CI/CD : Jenkins, Gitflow, notions de DevOps

• Méthodologie Agile : backlog, rituels, communication proactive

Responsabilités principales :

• Étude et conception technique des batchs

• Développement Spark/Scala pour traitement de données volumineuses

• Récupération, transformation, enrichissement, restitution

• Création de batchs de publication Kafka

• Participation à la maintenance de la chaîne CI/CD

• Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés

• Gestion autonome de certains sujets (reporting, suivi, coordination)

Profil recherché :

• Confirmé (3 à 6 ans d’expérience sur des environnements similaires)

• Proactif, rigoureux, à l’aise dans les contextes techniques exigeants

• Capacité à interagir avec des interlocuteurs techniques et fonctionnels

Démarrage : ASAP
Durée : mission longue (visibilité +12 mois)

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2

Objectif de la mission :
Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements.

Stack et compétences techniques requises :

• Apache Spark (maîtrise attendue)

• Scala (langage principal sur la squad)

• SQL (avancé)

• Java (notions de base à confirmées)

• Kafka (bonnes bases sur les événements, topics)

• Apache Airflow (idéalement une première expérience)

• Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises)

• Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS)

• CI/CD : Jenkins, Gitflow, notions de DevOps

• Méthodologie Agile : backlog, rituels, communication proactive

Responsabilités principales :

• Étude et conception technique des batchs

• Développement Spark/Scala pour traitement de données volumineuses

• Récupération, transformation, enrichissement, restitution

• Création de batchs de publication Kafka

• Participation à la maintenance de la chaîne CI/CD

• Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés

• Gestion autonome de certains sujets (reporting, suivi, coordination)

Profil recherché :

• Confirmé (3 à 6 ans d’expérience sur des environnements similaires)

• Proactif, rigoureux, à l’aise dans les contextes techniques exigeants

• Capacité à interagir avec des interlocuteurs techniques et fonctionnels

Démarrage : ASAP
Durée : mission longue (visibilité +12 mois)