Le poste Expertise Spark Data
Partager cette offre
Dans le cadre d’un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark.
La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH.
Volumétrie cible :
350 bases de données
5 000 requêtes par seconde
1 To de données par an
Tâches à réaliser :
Réalisation d’une analyse technique et d’un état des lieux de l’existant
Élaboration de recommandations d’amélioration :
Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure
Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel
Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données
Rédaction d’un document d’architecture cible accompagné des préconisations associées
Profil recherché
Apache Spark
MongoDB
OVH Cloud
Kafka / Kafka Connect
Déploiement Apache Spark sur Kubernetes
Réalisation d’une analyse technique et d’un état des lieux de l’existant
Élaboration de recommandations d’amélioration :
Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure
Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel
Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données
Rédaction d’un document d’architecture cible accompagné des préconisations associées
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Expertise Spark Data
NEO SOFT SERVICES
