Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Rennes

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations