Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue à Paris

Contexte Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie . La mission s’inscrit dans un environnement data critique , lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier. Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold) , avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers. Localisation : Paris (hybride) Durée : 12 mois renouvelables (jusqu’à 3 ans) Objectifs de la mission Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark Traiter, dédoublonner, normaliser et structurer des données de marché Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon Silver layer : données dédoublonnées, normalisées et structurées Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.) Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure) Environnement technique ETL / Compute : Scala, Spark (batch) Cloud AWS : Glue Jobs, S3, Lambda, Step Functions Qualité des données : Great Expectations ou équivalent DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation Environnement applicatif connexe : API REST, services backend Compétences complémentaires appréciées : Python, React Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks. Compétences requisesIndispensables Minimum 5 ans d’expérience significative en Scala et Spark Expérience confirmée sur des projets Big Data / ETL à forte volumétrie Expérience pratique sur AWS (Glue, S3, orchestration) Bonne culture DevOps Autonomie, rigueur, capacité à être force de proposition Appréciées Python Développement API Connaissances de base en market data / trading (non bloquant) Process de sélection Entretien Teams de 30 minutes axé sur les expériences professionnelles Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe Modalités de réponse Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue .