Job Vacancy Data Engineer python AWS APACHE

La mission :

·       Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.

·       Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l’évolutivité et à la gouvernance des données.

·       Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.

·       Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.

·       Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.

·       Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.

·       Documenter les pipelines, les modèles de données, les procédures d’exploitation et les décisions techniques.

·       De formation supérieure en informatique, en data ou en ingénierie, avec une première expérience en Data Engineering.

·       Bonne maîtrise de Spark et de SQL ; une expérience en Python ou Scala est appréciée.

·       Connaissance des architectures data sur AWS, du stockage objet S3 et des formats ou tables analytiques comme Iceberg.

·       Sensibilité forte à la qualité des données, à la résilience, à l’observabilité et à l’amélioration continue.

·       Esprit d’équipe, autonomie, curiosité et envie de contribuer à des produits utilisés.