
Le poste Data Engineer (Spark, Hadoop, Scala)
Partager cette offre
Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala, pour intégrer une Squad data transverse.
L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API, avec les responsabilités suivantes :
Suivi et gestion de la production
Réduction de la dette technique
Évolution de l’architecture existante et proposition d’améliorations
Développements projets et intégration dans les pipelines
Possibilité d’évolution vers d’autres Squad Data selon les besoins
Activités principales
Acheminement, traitement et mise à disposition des données
Industrialisation des traitements data
Mise en production de modèles statistiques
Suivi de projet, développement de jobs Spark
Ingestion multi-format (batch & streaming)
Développement de scripts et API de restitution
Génération de Dashboard ou fichiers à destination des équipes métier
Participation à la conception et administration de solutions Big Data
Installation, configuration de clusters Hadoop
Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake
Profil recherché
Expérience significative (6 ans minimum) sur des environnements Big Data OnPremise
Aisance sur l’ensemble de la chaîne Data : ingestion, traitement, exposition
Maîtrise des environnements Spark, Scala, Hadoop impérative
Capacité à travailler en mode agile / Squad
Autonomie, rigueur, force de proposition
Environnement de travail
Projet réalisé au sein d’une squad Agile (Scrum/Kanban) avec des rituels réguliers (Daily, Sprint Planning, Review, Rétrospective)
Collaboration étroite avec les équipes Data Scientists, DevOps, et Métiers
Environnement Big Data OnPremise complexe et exigeant
Outils d’intégration et d'automatisation : Jenkins, Control-M, XLDeploy, XLRelease
Postulez à cette offre !
Trouvez votre prochaine mission parmi +7 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer (Spark, Hadoop, Scala)
HIGHTEAM