Job position Data Engineer orienté Streaming (Kafka / Spark / GCP)
Share this job
Dans le cadre du développement de sa plateforme data sur Google Cloud, notre client renforce son équipe avec un Data Engineer orienté streaming et batch processing.
Vous interviendrez sur la conception et l’évolution d’une architecture de traitement de données temps réel et batch utilisée pour alimenter plusieurs plateformes analytiques et opérationnelles.
L’environnement est fortement orienté streaming Kafka, Spark et GCP.
ResponsabilitésDévelopper et maintenir des pipelines de données temps réel avec Kafka
Implémenter des traitements streaming avec Kafka Streams
Mettre en place des flux d’ingestion et d’écriture via Kafka Connect
Développer des traitements batch avec Spark
Optimiser les flux de données vers les différents backends analytiques
Participer à l’industrialisation des pipelines via Gitlab CI
Concevoir et maintenir des APIs data (Spring Boot Java)
Participer à l’amélioration continue de l’architecture data
Candidate profile
Data Engineer avec expérience significative sur Kafka
Bonne maîtrise de Scala ou Java
Expérience sur Spark / Big Data processing
Connaissance des architectures data streaming
Expérience dans des environnements GCP appréciée
Kafka, Kafka Streams, Kafka Connect
Apache Spark
Google DataProc
Google Cloud Storage, BigQuery, BigTable, Elasticsearch, CouchDB
Azkaban
Scala 2; Java (17 / 21 / 23), Python (notions), Golang (notions), scripting
Avro (très important), JSON, XML
Git, GitLab, GitLab CI
SQL, DBT (bonus)
Airflow (bonus)
Working environment
Architecture data moderne orientée streaming
Environnement technique riche (Kafka + Spark + GCP)
Mission longue avec forte autonomie
Équipe data expérimentée
Apply to this job!
Find your next career move from +800 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer orienté Streaming (Kafka / Spark / GCP)
FRENCHOPS SERVICES