Mission freelance Lead Data Engineer Streaming
Paris (75013)
STHREE SAS pour HUXLEY
Le poste Lead Data Engineer Streaming
Partager cette offre
Contexte de la mission
Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming.
Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux.
Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud.
Stack technique & environnement
Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy
Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours)
Orchestration : StreamSets, Airflow
Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy)
Langages : Python, Scala, SQL
CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE)
Monitoring : Grafana, Prometheus, Elastic Stack
Profil recherché
Responsabilités
Piloter la conception et l’évolution des pipelines de données temps réel
Encadrer les data engineers et assurer la montée en compétence sur les outils de streaming
Définir les bonnes pratiques d’architecture et de développement (DataOps, CI/CD)
Participer aux choix technologiques et à l’architecture cible (Flink, Starburst, etc.)
Garantir la qualité, la sécurité et la traçabilité des données
Collaborer avec les équipes métier pour traduire les besoins en solutions techniques
Profil recherché
Minimum 7 ans d’expérience en data engineering, dont 3 ans sur des projets de streaming
Maîtrise avancée d’Apache Kafka et Spark Streaming en environnement distribué
Expérience en encadrement technique ou lead d’équipe
Maitrise de Flink
Expérience sur GCP ou autre cloud public
Capacité à dialoguer avec des profils techniques et métiers
Une expérience dans le secteur bancaire, financier ou en fintech est fortement apprécié
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Lead Data Engineer Streaming
STHREE SAS pour HUXLEY
