Share this job
CONTEXTE
Dans le cadre d’un environnement international de trading d’énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève.
Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité.
Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu’avec des équipes internationales basées notamment à Paris, Houston et Singapour.
RESPONSABILITÉS
Concevoir, maintenir et optimiser des pipelines de données batch et temps réel.
Développer des solutions de streaming data à haute performance.
Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake.
Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis.
Développer des pipelines et APIs en Python.
Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM.
Garantir la disponibilité, l’intégrité, la qualité et la performance des données.
Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel.
Participer à l’amélioration continue des pratiques de monitoring, CI/CD et observabilité.
Collaborer avec les équipes métier et techniques dans un contexte international et exigeant.
ENVIRONNEMENT TECHNIQUE
Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana
Candidate profile
5+ ans d’expérience en Data Engineering.
Expertise confirmée en Data Streaming.
Très forte maîtrise de Databricks : Spark Streaming, Structured Streaming, Delta Lake.
Excellente maîtrise de Python : pipelines, APIs, WebSockets.
Expertise AWS, notamment Kinesis, SQS, SNS, EventBridge, S3, Lambda et IAM.
Solide expérience sur Kafka et/ou Kinesis : conception, déploiement et monitoring de pipelines temps réel.
Français courant, à l’oral comme à l’écrit.
Anglais courant.
Compétences appréciées :
Spark / PySpark et ETL batch.
Orchestration : Prefect ou équivalent.
CI/CD : Git, GitHub Actions.
Observabilité : CloudWatch, Grafana ou équivalent.
Expérience dans le trading de matières premières ou d’énergie.
Connaissance des contraintes réglementaires du secteur.
Apply to this job!
Find your next job from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
DATA ENGINEER — DATABRICKS / STREAMING / AWS
TALAN SA