Partager cette offre
CONTEXTE
Dans le cadre d’un environnement international de trading d’énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève.
Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité.
Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu’avec des équipes internationales basées notamment à Paris, Houston et Singapour.
RESPONSABILITÉS
Concevoir, maintenir et optimiser des pipelines de données batch et temps réel.
Développer des solutions de streaming data à haute performance.
Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake.
Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis.
Développer des pipelines et APIs en Python.
Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM.
Garantir la disponibilité, l’intégrité, la qualité et la performance des données.
Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel.
Participer à l’amélioration continue des pratiques de monitoring, CI/CD et observabilité.
Collaborer avec les équipes métier et techniques dans un contexte international et exigeant.
ENVIRONNEMENT TECHNIQUE
Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana
Profil recherché
5+ ans d’expérience en Data Engineering.
Expertise confirmée en Data Streaming.
Très forte maîtrise de Databricks : Spark Streaming, Structured Streaming, Delta Lake.
Excellente maîtrise de Python : pipelines, APIs, WebSockets.
Expertise AWS, notamment Kinesis, SQS, SNS, EventBridge, S3, Lambda et IAM.
Solide expérience sur Kafka et/ou Kinesis : conception, déploiement et monitoring de pipelines temps réel.
Français courant, à l’oral comme à l’écrit.
Anglais courant.
Compétences appréciées :
Spark / PySpark et ETL batch.
Orchestration : Prefect ou équivalent.
CI/CD : Git, GitHub Actions.
Observabilité : CloudWatch, Grafana ou équivalent.
Expérience dans le trading de matières premières ou d’énergie.
Connaissance des contraintes réglementaires du secteur.
Postulez à cette offre !
Trouvez votre prochain job parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
DATA ENGINEER — DATABRICKS / STREAMING / AWS
TALAN SA