Mission freelance Data Engineer Advanced (Scala / Spark / AWS)

Contexte

Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie.
La mission s’inscrit dans un environnement data critique, lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier.

Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold), avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers.

Localisation : Paris (hybride)
Durée : 12 mois renouvelables (jusqu’à 3 ans)

• Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark

• Traiter, dédoublonner, normaliser et structurer des données de marché

• Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon

  • Silver layer : données dédoublonnées, normalisées et structurées

  • Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.)

• Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud

• Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog

• Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement

• Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure)

• ETL / Compute : Scala, Spark (batch)

• Cloud AWS : Glue Jobs, S3, Lambda, Step Functions

• Qualité des données : Great Expectations ou équivalent

• DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation

• Environnement applicatif connexe : API REST, services backend

• Compétences complémentaires appréciées : Python, React

Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks.

• Minimum 5 ans d’expérience significative en Scala et Spark

• Expérience confirmée sur des projets Big Data / ETL à forte volumétrie

• Expérience pratique sur AWS (Glue, S3, orchestration)

• Bonne culture DevOps

• Autonomie, rigueur, capacité à être force de proposition

• Python

• Développement API

• Connaissances de base en market data / trading (non bloquant)

• Entretien Teams de 30 minutes axé sur les expériences professionnelles

• Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe

Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue.