Job position Expertise Spark Data
Share this job
Dans le cadre d’un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark.
La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH.
Volumétrie cible :
350 bases de données
5 000 requêtes par seconde
1 To de données par an
Tâches à réaliser :
Réalisation d’une analyse technique et d’un état des lieux de l’existant
Élaboration de recommandations d’amélioration :
Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure
Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel
Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données
Rédaction d’un document d’architecture cible accompagné des préconisations associées
Candidate profile
Apache Spark
MongoDB
OVH Cloud
Kafka / Kafka Connect
Déploiement Apache Spark sur Kubernetes
Réalisation d’une analyse technique et d’un état des lieux de l’existant
Élaboration de recommandations d’amélioration :
Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure
Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel
Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données
Rédaction d’un document d’architecture cible accompagné des préconisations associées
Apply to this job!
Find your next career move from +800 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Expertise Spark Data
NEO SOFT SERVICES