Contractor job Senior Data Engineer – Plateforme de données de comptage
Bois-Colombes (92)
LeHibou
Share this job
Notre client dans le secteur Énergie et ressources naturelles recherche un/une Senior Data Engineer – Plateforme de données de comptage H/F
Description de la mission :
Contexte
Un acteur majeur du secteur de l’énergie souhaite mieux exploiter ses données afin de développer de nouvelles offres, de réduire les risques opérationnels et d’améliorer l’efficacité de ses équipes. Dans le périmètre B2B, un projet stratégique vise à collecter et suivre des indicateurs cohérents sur les activités d’approvisionnement dans plusieurs pays, à partir d’un référentiel de données commun et d’un cadre de gouvernance.
La plateforme Big Data existante collecte de grands volumes de données relatives à l’électricité et au gaz (allocation, consommations, points de livraison, entre autres) provenant d’entités locales. Déjà déployée en France, elle doit être étendue à d’autres pays. L’équipe centrale construit et améliore le framework commun et accompagne les déploiements locaux.
Mission
Concevoir et développer les composants d’ingestion, de traitement, de normalisation et de distribution des données de la plateforme. Contribuer à l’évolution du framework commun et accompagner la mise en production ainsi que l’exploitation des services dans un contexte international.
Principales responsabilités
Concevoir et développer l’ingestion des données.
Développer les traitements et la normalisation des données, puis leur distribution aux différentes parties prenantes.
Faire évoluer le framework commun : monitoring, CI/CD, tests, performance, résilience, bonnes pratiques et qualité du code.
Promouvoir et faire respecter les guidelines d’architecture et d’utilisation du framework auprès des autres équipes.
Recueillir, challenger et affiner les besoins métier, puis concevoir des solutions conformes aux standards d’architecture.
Piloter les développements en tant que profil senior ou expert, avec un code efficace, réutilisable et testé.
Identifier les goulets d’étranglement et les bugs, et proposer des solutions.
Livrer des services prêts pour la production et accompagner leur phase de run, notamment à l’aide d’outils de monitoring et d’alerting.
Rédiger et maintenir la documentation technique en anglais.
Environnement technique
Développement : Python, Git, API, programmation orientée objet, packaging et modularité
Architecture data : architecture en couches, solutions de stockage et d’exposition
Big Data : HDFS, S3, Parquet, Spark, AWS Glue, pipelines et traitements distribués
Optimisation : SQL, stockage, code, dimensionnement d’infrastructure, partitioning, bucketing, indexation, caching, optimisation mémoire et requêtes
Cloud : AWS, IAM, Lambda, EventBridge, Step Functions, CloudWatch
DevOps et industrialisation : CI/CD, infrastructure as code, Git flow
Données : structures de données, modélisation et SQL
Livrables attendus
Composants et services de données prêts pour la production.
Évolutions du framework commun, notamment en matière de monitoring, CI/CD, tests, performance et résilience.
Documentation technique maintenue en anglais.
Candidate profile
Profil recherché
Expérience
Plus de 7 ans d’expérience.
Expérience confirmée en génie logiciel Python, architecture data, technologies et patterns Big Data, modélisation et SQL, ainsi qu’en DevOps et industrialisation.
Pratique réelle d’AWS, avec un niveau intermédiaire minimum.
Compétences techniques
Maîtrise confirmée de Python : design, architecture, POO, packaging, modularité, réutilisabilité, Git, API et qualité de développement.
Maîtrise de l’architecture data en couches et des solutions de stockage et d’exposition.
Expérience confirmée des pipelines et traitements Big Data, notamment HDFS, S3, Parquet, Spark et Glue.
Maîtrise des patterns Big Data et de l’optimisation des systèmes distribués, des requêtes et des ressources.
Pratique d’AWS, notamment IAM, S3, Lambda, Glue, EventBridge, Step Functions et CloudWatch.
Maîtrise des structures de données, de la modélisation, de SQL, de la CI/CD, de l’infrastructure as code et de Git flow.
Compétences personnelles
Proactivité, prise d’initiative et orientation solution.
Capacité à accompagner des développeurs vers la livraison et la qualité.
Capacité à mener plusieurs sujets en parallèle.
Rigueur dans l’application des standards de développement.
Esprit d’équipe, écoute et bonnes capacités de communication.
Adaptabilité à une organisation complexe et évolutive, ouverture à la critique et volonté de comprendre le « pourquoi ».
Langues
Français courant.
Anglais courant.
Compétences / Qualités indispensables :
Développement logiciel Python, Architecture et ingénierie data Big Data, AWS et services cloud, SQL et modélisation des données, DevOps, CI/CD et industrialisation, Leadership technique et accompagnement des développeurs
Compétences / Qualités qui seraient un + :
Connaissance du secteur de l’énergie : comptage (metering), allocation, points de livraison, marchés gaz et électricité B2B. Une expérience chez ENGIE ou un autre acteur de l’énergie est idéale. Expérience de plateforme multi-pays ou multi-entités : avoir déjà déployé un framework data commun dans plusieurs filiales ou pays, si possible en ayant joué un rôle de lead technique (revues de code, standards, coaching). Outillage data et cloud avancé : Terraform ou AWS CDK, orchestration (Airflow), Delta Lake ou Iceberg, qualité et observabilité des données. Une certification AWS est un plus.
Informations concernant le télétravail :
Oui — 2 jours/semaine
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Senior Data Engineer – Plateforme de données de comptage
LeHibou