Job Vacancy Data Engineer Spark/AWS/Iceberg

Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l’évolution d’une plateforme Data alimentant des produits et services à forte volumétrie.

Au sein d’une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum.

• Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.

• Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance.

• Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité.

• Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité.

• Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard.

• Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes.

• Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge.

• Documenter les pipelines, modèles de données, procédures d’exploitation et choix techniques.

• Participer aux pratiques de CI/CD et aux revues de code.

Apache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting

• Formation supérieure en informatique, Data ou ingénierie.

• Première expérience en Data Engineering.

• Bonne maîtrise de Spark et SQL.

• Expérience en Python ou Scala appréciée.

• Bonne connaissance des architectures Data sur AWS, notamment S3.

• Connaissance d’Iceberg ou de technologies de tables/stockage analytiques similaires.

• Sensibilité aux enjeux de qualité des données, résilience et observabilité.

• Autonomie, curiosité, esprit d’équipe et intérêt pour les environnements techniques modernes.