Job position Développeur Big Data / Spark
Share this job
Au sein du SI de notre client dans le domaine de l'énergie, le périmètre concerne le pilotage de la partie BI et notamment les points suivants :
• Piloter le système client et les processus métier associés
• Garantir la qualité et la cohérence des données
• Fournir les données pour l’analyse et l’amélioration continue du système
Elle est utilisée par environ 1000 utilisateurs (analystes, experts métiers, experts SI).
Le projet est composé de cinq équipes couvrant à la fois le développement des traitements fonctionnels, des reportings ainsi que la gestion des plateformes et de l’outillage.
Dans un contexte de transformation du SI décisionnel, l’équipe porte actuellement des enjeux forts de modernisation des traitements Big Data, avec une migration en cours vers Spark ainsi qu’un projet de refonte complète dans le cloud basé sur Databricks à moyen terme.
Candidate profile
Les missions s’inscrivent dans une trajectoire progressive :
Phase 1 : Modernisation des traitements existants
• Migration de traitements Informatica et PL/SQL vers Spark (Java)
• Participation à l’optimisation des traitements existants
• Maintenance corrective et évolutive des traitements PL/SQL
• Appropriation des processus métier derrière les flux de données
Phase 2 : Refonte cloud (Databricks)
• Participation au projet stratégique de migration vers le cloud
• Conception et mise en œuvre de pipelines de données sur Databricks
• Industrialisation des traitements dans un environnement moderne
Activités principales :
• Concevoir, développer et maintenir des pipelines de données en Spark (Java)
• Migrer des traitements legacy vers des architectures Big Data modernes
• Assurer la maintenance des traitements existants SQL / PL-SQL
• Garantir la performance, la robustesse et la qualité des données
• Participer activement au RUN et à l’amélioration continue
Activité secondaire
• Contribution aux bonnes pratiques de développement et d’exploitation
• Mise à jour du référentiel documentaire
• Partage de connaissances au sein de l’équipe
• Participation à la guilde Spark de l’équipe (choix de conception, optimisation des traitements, road map technique etc…)
Working environment
Compétences techniques requises
• Maitrise en Spark (indispensable)
• Maitrise en SQL / PL-SQL (indispensable)
• Connaissances en Java (indispensable)
Compétences appréciées
• Expérience sur Databricks
• Python
Qualités attendues
• Curiosité et capacité à comprendre le fonctionnel et le sens des traitements
• Culture du RUN (exploitation, stabilité, amélioration continue)
• Autonomie, rigueur et sens des responsabilités
• Capacité d’analyse et de résolution de problèmes
• Esprit d’équipe et communication
Apply to this job!
Find your next career move from +9,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Développeur Big Data / Spark
CAT-AMANIA