Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Rennes

Dans le cadre d’un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark. La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To de données par an Tâches à réaliser : Réalisation d’une analyse technique et d’un état des lieux de l’existant Élaboration de recommandations d’amélioration : Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données Rédaction d’un document d’architecture cible accompagné des préconisations associées

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Contexte de la mission : Pour un besoin interne , nous recherchons un Expert Spark Data Engineer La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence construite sur une architecture comprenant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur l’infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To par an Tâches à réaliser : Analyse et état des lieux technique Préconisations d'amélioration : Amélioration Spark streaming + temps réel + dimensionnement infra Préconisations d'amélioration : Dimensionnement infra pour le streaming temps réel. Préconisations d'amélioration : Dimensionnement MongoDB & structuration de la donnée (standardisation des patterns) Document d'architecture cible & de préconisations

Dans le cadre de la création d’une nouvelle plateforme Data , le Data Engineer Senior intervient sur l’ensemble du cycle de vie de la donnée . Il conçoit, développe et maintient des pipelines de données batch et streaming en Spark et Python , contribue à la mise en place d’une architecture Lakehouse moderne , et garantit la qualité, la fiabilité et la sécurité des données . Le rôle inclut l’ industrialisation des traitements (CI/CD, DataOps), l’observabilité, la documentation et une forte collaboration avec les équipes techniques et métiers.

Notre client effectue une transformation vers l’Agilité. Les équipes sont découpées en squads autour d’un produit et travaillent suivant le cadre SCRUM. Les équipes sont réparties uniformément sur deux sites principaux Rennes et Lyon. Nous sommes accompagnés par des coachs Agile pour la mise en œuvre de la transformation. Dans ce cadre nous recherchons une prestation de Scrum Master expérimenté pour accompagner 1 squad de 6 personnes. Les activités de la squad concernée couvrent mise en œuvre d’une Data plateforme sous la forme d’un socle technique (Spark, Jupyter, Kubernetes, Argo, MinIO, Trino) et d’un cadre de gouvernance garantissant la sécurité, la conformité et la qualité des données. Le périmètre de la fonction est : • dans la squad Data Plateforme, constituée d’un Product Owner, d’un Lead Platform Architect, d’un Data Architect, d’un développeur Platform automation, d’un DevOps, d’un Data Engineer. • le tout au sein de la tribu Data & IA, en lien avec les experts du Chapitre Data Gouvernance & IA et les architectes Data L’accompagnement de l’équipe doit se faire sur l’appropriation du cadre SCRUM, de ses valeurs et la facilitation des problèmes liés aux changement organisationnel et opérationnels. De façon moins prioritaire, et suivant le profil, une partie de l’activité pourrait également être consacrée à l’accompagnement de la transformation Agile de l’entreprise (au niveau DSI, métiers, Architecture, data) avec les autres coachs agiles. Activités principales : ➢ SCRUM MASTER d’une équipe autonome ➢ Garant du cadre Agile et des valeurs auprès des équipes accompagnées et dans l’organisation o Support sur les événements Agiles et s’assure que ceux-ci sont positifs et productifs o Sécurisation du delivery lors des PI Planning o Accompagnement dans l’appropriation auprès des équipiers ➢ Amélioration des pratiques des équipes et facilitation avec les parties prenantes ➢ Facilitation sur les problématiques opérationnelles ➢ Faire grandir les équipes accompagnées en responsabilité et autonomie ➢ Remontée d’alerte si nécessaires ➢ Être force de proposition sur des axes d’amélioration continue ➢ Communication et proactivité dans le mode de fonctionnement Agile de l’équipe et de l’organisation Compétences requises : ➢ Expérience solide dans l’accompagnement d’équipes Agile dans une organisation à l’échelle ➢ Pratiques et méthodes collaboratives dans l’exécution des activités (animation, ateliers divers …..) ➢ Connaissance des outils et techniques d’amélioration continue ➢ Aisance relationnelle, animation, communication ➢ Proactivité ➢ Expérience confirmée dans l’accompagnement et la gestion du changement Qualités personnelles : ➢ Esprit collectif ➢ Sens de l’organisation ➢ Orienté solution