
Job position Data Engineer (Spark, Hadoop, Scala)
Share this job
Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala, pour intégrer une Squad data transverse.
L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API, avec les responsabilités suivantes :
Suivi et gestion de la production
Réduction de la dette technique
Évolution de l’architecture existante et proposition d’améliorations
Développements projets et intégration dans les pipelines
Possibilité d’évolution vers d’autres Squad Data selon les besoins
Activités principales
Acheminement, traitement et mise à disposition des données
Industrialisation des traitements data
Mise en production de modèles statistiques
Suivi de projet, développement de jobs Spark
Ingestion multi-format (batch & streaming)
Développement de scripts et API de restitution
Génération de Dashboard ou fichiers à destination des équipes métier
Participation à la conception et administration de solutions Big Data
Installation, configuration de clusters Hadoop
Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake
Candidate profile
Expérience significative (6 ans minimum) sur des environnements Big Data OnPremise
Aisance sur l’ensemble de la chaîne Data : ingestion, traitement, exposition
Maîtrise des environnements Spark, Scala, Hadoop impérative
Capacité à travailler en mode agile / Squad
Autonomie, rigueur, force de proposition
Working environment
Projet réalisé au sein d’une squad Agile (Scrum/Kanban) avec des rituels réguliers (Daily, Sprint Planning, Review, Rétrospective)
Collaboration étroite avec les équipes Data Scientists, DevOps, et Métiers
Environnement Big Data OnPremise complexe et exigeant
Outils d’intégration et d'automatisation : Jenkins, Control-M, XLDeploy, XLRelease
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer (Spark, Hadoop, Scala)
HIGHTEAM