Mission freelance Data Engineer orienté Streaming (Kafka / Spark / GCP)
Massy (91)
FRENCHOPS SERVICES
Le poste Data Engineer orienté Streaming (Kafka / Spark / GCP)
Partager cette offre
Dans le cadre du développement de sa plateforme data sur Google Cloud, notre client renforce son équipe avec un Data Engineer orienté streaming et batch processing.
Vous interviendrez sur la conception et l’évolution d’une architecture de traitement de données temps réel et batch utilisée pour alimenter plusieurs plateformes analytiques et opérationnelles.
L’environnement est fortement orienté streaming Kafka, Spark et GCP.
ResponsabilitésDévelopper et maintenir des pipelines de données temps réel avec Kafka
Implémenter des traitements streaming avec Kafka Streams
Mettre en place des flux d’ingestion et d’écriture via Kafka Connect
Développer des traitements batch avec Spark
Optimiser les flux de données vers les différents backends analytiques
Participer à l’industrialisation des pipelines via Gitlab CI
Concevoir et maintenir des APIs data (Spring Boot Java)
Participer à l’amélioration continue de l’architecture data
Profil recherché
Data Engineer avec expérience significative sur Kafka
Bonne maîtrise de Scala ou Java
Expérience sur Spark / Big Data processing
Connaissance des architectures data streaming
Expérience dans des environnements GCP appréciée
Kafka, Kafka Streams, Kafka Connect
Apache Spark
Google DataProc
Google Cloud Storage, BigQuery, BigTable, Elasticsearch, CouchDB
Azkaban
Scala 2; Java (17 / 21 / 23), Python (notions), Golang (notions), scripting
Avro (très important), JSON, XML
Git, GitLab, GitLab CI
SQL, DBT (bonus)
Airflow (bonus)
Environnement de travail
Architecture data moderne orientée streaming
Environnement technique riche (Kafka + Spark + GCP)
Mission longue avec forte autonomie
Équipe data expérimentée
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer orienté Streaming (Kafka / Spark / GCP)
FRENCHOPS SERVICES
