Offre d'emploi Data Engineer Senior Scala/Spark (H/F)
Saint-Denis (93)
QODEXIA
Le poste Data Engineer Senior Scala/Spark (H/F)
Partager cette offre
QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale.
QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé.
Pour le compte de l'un de nos clients grands comptes du secteur transport, ous sommes à la rercherche d'un Profil Data Engineer Senior Scala/Spark (H/F)
Client : Secteur d’activité Transport
Poste : Architecte technique DSM
Expérience : plus de 8 ans
Localisation : Saint-Denis
Durée : Mission très longue
Profil recherché
Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) :
Le profil recherché pour la mission est celui d’un Data Engineer Scala/Spark. Une expérience significative est requise pour ce poste.
Il bénéficiera d’un accompagnement du lead technique du projet sur le périmètre et du Chef de Projets Data pour les aspects méthodologie. Ce soutien sera plus important au début de la mission.
Qualités requises
- Excellent relationnel
- Capacité rédactionnelle
- Capacité d’adaptation et de travail en équipe
- Rigueur et esprit de synthèse
- Esprit d’initiative
- Autonomie
Compétences requises
• maîtrise de l'API Scala Spark (batch principalement)
• maîtrise des techniques d'optimisation Spark
• expérience dans le traitement de volumétries importantes / complexes
• développement et bonnes pratiques Scala, build Maven
• travail en environnement cloud (idéalement Azure) et écosystème Databricks
Compétences souhaitées
• Connaissance des outils Datadog, Rundeck
Environnement de travail
DESCRIPTION DE LA MISSION
Objectifs
La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark.
Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes.
Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’ops, architectes et encadrés par un chef de projet.
Description détaillée des tâches qui constituent la mission
Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous.
S'agissant d'un projet mené en agilité, le découpage des livrables est réalisé par sprints.
Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. A noter que ces livrables sont réalisés par l'équipe projet, il n'y a pas de responsabilité de production individuelle.
Les sprints projet s'échelonnent généralement sur 2 semaines.
Le contenu général des sprints est le suivant :
- développement des US et tests associés
- Documentation projet, mapping des données, modélisation des pipelines, documents d'exploitation
- Mise en place du CI/CD sur notre usine logicielle
- Mise en place du monitoring
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Senior Scala/Spark (H/F)
QODEXIA
