Le poste Ingénieur Data Spark / Scala — Nanterre
Partager cette offre
Ingénieur Data Spark / Scala — Nanterre
Localisation : Nanterre
Démarrage : ASAP / dès que possible
Niveau : Confirmé
Durée : mission longue durée
Dans le cadre d’un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l’assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l’industrialisation de traitements Data sur une architecture Big Data.
Vos missions
Participer à la conception détaillée des traitements Data.
Rédiger les spécifications fonctionnelles générales et détaillées.
Développer des traitements Spark / Scala.
Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies.
Contribuer à la formalisation des plans de tests.
Réaliser les tests unitaires et les premiers tests d’intégration.
Analyser et corriger les anomalies en phase d’intégration fonctionnelle et de recette utilisateur.
Préparer le packaging des traitements.
Déployer les composants en préproduction et en production.
Optimiser les traitements afin de garantir les standards de qualité de service.
Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d’incident de production.
Participer à la mise en service et accompagner le déploiement.
Assurer le suivi des environnements.
Stack / environnement
Big Data :
Spark, Scala, Hadoop, Datalake
Datawarehouse :
Exadata, alimentation de Datawarehouse communautaire
Base de données :
Oracle
Industrialisation :
Packaging, déploiement préproduction / production, réentrance des traitements
DevOps / versioning :
GitLab
Contexte projet :
Business Intelligence, Big Data, traitements décisionnels, règles métiers Data
Environnement complémentaire apprécié :
Apache Mesos
Qualité de service :
Optimisation des traitements, suivi des environnements, reprise sur incident
Candidature
Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data, autour de traitements Spark / Scala, Datalake Hadoop et Datawarehouse Exadata ?
Merci de postuler directement.
Profil recherché
Profil recherché
Expérience confirmée en ingénierie Data, Big Data ou développement de traitements décisionnels.
Plus de 5 ans d’expérience sur Spark et Scala.
Bonne maîtrise du développement de traitements Data dans des environnements Big Data.
Expérience dans la manipulation de données issues d’un Datalake.
Bonne compréhension des architectures Hadoop et Datawarehouse.
Connaissance nécessaire de GitLab.
Connaissance nécessaire d’Oracle.
Connaissance d’Apache Mesos appréciée.
Capacité à rédiger des spécifications fonctionnelles générales et détaillées.
Capacité à contribuer aux plans de tests, aux tests unitaires et aux tests d’intégration.
Capacité à analyser et résoudre les anomalies en phase d’intégration et de recette.
Sens de l’industrialisation, de l’optimisation et de la qualité de service.
Rigueur, autonomie et capacité à travailler en coordination avec les différentes parties prenantes projet.
Environnement de travail
Contexte
Vous interviendrez au sein d’une équipe projet dédiée aux sujets Business Intelligence & Big Data.
Le projet s’appuie sur une architecture permettant de collecter les données issues de plusieurs Back Offices dans un Datalake sur cluster Hadoop. Ces données sont ensuite exploitées afin d’alimenter un Datawarehouse communautaire stocké sur une base Exadata.
L’intervention consiste à concevoir et développer de nouveaux traitements Spark / Scala, manipulant les données raffinées du Datalake et intégrant des règles métiers décisionnelles.
Vous travaillerez en étroite collaboration avec le Chef de Projet, le responsable de lot et l’équipe de développement du programme.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Ingénieur Data Spark / Scala — Nanterre
WE +