Job Vacancy Expert technique Kafka Streams / Lead Developer Data Streaming

Nous recherchons un Expert technique Kafka / Kafka Streams ou un Lead Developer Data Streaming pour intervenir dans le secteur de l’énergie sur une plateforme de traitement en temps réel de données issues d’équipements terrain, notamment des objets connectés, des automates et des systèmes de gestion technique du bâtiment.

La mission s’inscrit dans un environnement à forte volumétrie, caractérisé par une ingestion massive de flux et des enjeux importants de performance, de scalabilité, de résilience et de cohérence des données. La plateforme contribue au pilotage en temps réel de systèmes énergétiques.

Les principales responsabilités sont les suivantes :

• Concevoir et optimiser des architectures de streaming basées sur Kafka.

• Traiter les problématiques avancées liées aux architectures orientées événements et aux systèmes distribués.

• Développer et maintenir des pipelines de traitement en temps réel avec Java, Spring et Kafka Streams.

• Analyser et résoudre les problématiques de performance et de scalabilité.

• Gérer le partitionnement Kafka, le débit des traitements et l’optimisation de la latence.

• Assurer la tolérance aux pannes, la reprise sur incident et la cohérence des données.

• Superviser les pipelines critiques et garantir la fiabilité des traitements.

• Accompagner les équipes sur les sujets techniques et diffuser les bonnes pratiques.

• Contribuer à l’industrialisation des solutions à travers les chaînes CI/CD, le monitoring et l’observabilité.

L’environnement technique principal comprend Java, Spring Boot, Spring Data, Kafka, Kafka Streams, CI/CD, monitoring et observabilité.

Les technologies complémentaires appréciées sont InfluxDB, Spring Cloud, Kafka Connect, Oracle Database, PL/SQL, AWS Lambda, SQS, SNS, Ansible, Docker et Spark.