Job position Data Engineer Big Data & API – Spark/PySpark/Scala, Hadoop / Starburst, CI/CD, Control-M
Share this job
Contexte
Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins.
Missions
Assurer le rôle de Data Engineer et développeur d’API au sein de la squad.
Exploitation/production : supervision des traitements, corrections, optimisation des performances.
Gestion de la dette technique : refactor, qualité, sécurité.
Architecture : revue de l’existant et propositions d’évolutions.
Développements projets : pipelines de données et APIs d’exposition.
Candidate profile
Environnement technique
Big Data : Spark (PySpark/Scala), Hadoop on-prem, Hive, SQL/HQL, Starburst.
Industrialisation : Jenkins, CI/CD pipelines, XL Deploy / XL Release, Control-M.
OS & outillage : Unix/Bash, Jira.
Profil recherché
Expérience significative en ingénierie de données sur écosystèmes Hadoop/Spark.
Aisance en SQL avancé et modélisation (ESG est un plus).
Pratique de la prod et de l’industrialisation (ordonnancement, CI/CD).
Capacité à challenger/faire évoluer l’architecture et à exposer des données via API.
Esprit d’équipe, rigueur, sens du service.
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Big Data & API – Spark/PySpark/Scala, Hadoop / Starburst, CI/CD, Control-M
CAT-AMANIA