Offre d'emploi Développeur Big Data - + 3 ans
Lyon (69)
Gamme solutions
Partager cette offre
Contexte de la mission
Dans ce contexte, nous recherchons un Data Engineer ayant une forte appétence pour la compréhension des enjeux métier liés à la donnée, les environnements Big Data en transformation, et le travail sur des systèmes existants et l'amélioration continue. Le profil attendu combine compétences techniques solides et posture d'ingénieur impliqué dans le fonctionnement global du SI (BUILD & RUN). Une expérience minimale de 3 ans est requise.
Objectifs et livrables
Activité principale
Les missions s'inscrivent dans une trajectoire progressive :
Phase 1 : Modernisation des traitements existants
- Migration de traitements Informatica et PL/SQL vers Spark (Java)
- Participation à l'optimisation des traitements existants
- Maintenance corrective et évolutive des traitements PL/SQL
- Appropriation des processus métier derrière les flux de données
Phase 2 : Refonte cloud (Databricks)
- Participation au projet stratégique de migration vers le cloud
- Conception et mise en œuvre de pipelines de données sur Databricks
- Industrialisation des traitements dans un environnement moderne
Activités principales :
- Concevoir, développer et maintenir des pipelines de données en Spark (Java)
- Migrer des traitements legacy vers des architectures Big Data modernes
- Assurer la maintenance des traitements existants SQL / PL-SQL
- Garantir la performance, la robustesse et la qualité des données
- Participer activement au RUN et à l'amélioration continue
Activités secondaires
- Contribution aux bonnes pratiques de développement et d'exploitation
- Mise à jour du référentiel documentaire
- Partage de connaissances au sein de l'équipe
- Participation à la guilde Spark de l'équipe (choix de conception, optimisation des traitements, road map technique etc…)
Stack technique de l'équipe
Spark, Java, Ceph, Tableau Server, Oracle, Informatica, Maven, Control-M, Git, Jenkins, Terraform
Profil recherché
Défini/challenge les solutions et architectures techniques permettant le traitement de volumes importants de pipelines de données suffisamment sécurisés et lisibles pour les Data Analysts et Data Scientists.
Maîtrise des solutions de stockage de données
Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données
Maîtrise des outils de gestion de code et de déploiement projet
Maitrise des fondamentaux de l'agilité
Maîtrise avancée des langages structurés
Maîtrise avancée des technologies du Big Data permettant le traitement et la manipulation de données
Compétences demandées :
- Databricks : Confirmé
- Spark : Confirmé
- Programmation Orientée Objet (Java ou Python) : Confirmé
Environnement de travail
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Développeur Big Data - + 3 ans
Gamme solutions