Job position Lead Data Engineer Streaming
Share this job
Contexte de la mission
Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming.
Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux.
Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud.
Stack technique & environnement
Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy
Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours)
Orchestration : StreamSets, Airflow
Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy)
Langages : Python, Scala, SQL
CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE)
Monitoring : Grafana, Prometheus, Elastic Stack
Candidate profile
Responsabilités
Piloter la conception et l’évolution des pipelines de données temps réel
Encadrer les data engineers et assurer la montée en compétence sur les outils de streaming
Définir les bonnes pratiques d’architecture et de développement (DataOps, CI/CD)
Participer aux choix technologiques et à l’architecture cible (Flink, Starburst, etc.)
Garantir la qualité, la sécurité et la traçabilité des données
Collaborer avec les équipes métier pour traduire les besoins en solutions techniques
Profil recherché
Minimum 7 ans d’expérience en data engineering, dont 3 ans sur des projets de streaming
Maîtrise avancée d’Apache Kafka et Spark Streaming en environnement distribué
Expérience en encadrement technique ou lead d’équipe
Maitrise de Flink
Expérience sur GCP ou autre cloud public
Capacité à dialoguer avec des profils techniques et métiers
Une expérience dans le secteur bancaire, financier ou en fintech est fortement apprécié
Apply to this job!
Find your next career move from +9,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Lead Data Engineer Streaming
STHREE SAS pour HUXLEY