Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Paris

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

Contexte du projet : Dans le cadre d’un vaste programme de transformation digitale, CBX Group accompagne un grand acteur dans la mise en place et l’industrialisation d’une plateforme Big Data. Nous recherchons un Tech Lead Data Engineer expérimenté pour renforcer l’équipe Data et piloter la conception, le développement et la mise en production de traitements batch et temps réel, tout en encadrant les Data Engineers de la squad. Missions principales : Piloter la conception et le développement de pipelines en Spark SQL et Java Spark (batch & streaming). Définir les standards de développement et garantir la qualité technique de la squad (revues de code, bonnes pratiques, CI/CD). Concevoir et optimiser des traitements temps réel (Kafka, MongoDB, event-driven). Accompagner le design des usages Data en lien avec les Product Owners et le métier. Assurer l’optimisation et le tuning des traitements Spark pour garantir performance et scalabilité. Encadrer et coacher les Data Engineers de l’équipe, favoriser le partage de connaissances. Documenter l’architecture et les traitements dans Confluence, assurer le support et la maintenance. Participer aux rituels agiles et contribuer à la roadmap technique de la plateforme. Stack technique : Cloudera / MAPR, Java 11/17/21, Spark 2/3, Spring Boot, Kafka, MongoDB, Jenkins, Kubernetes, ArgoCD, SonarQube ; cloud GCP