Mission freelance Data Engineer

Nous recherchons un Data Engineer pour rejoindre l’équipe CONTENT CATALOG et contribuer à la construction de la plateforme data qui alimente les expériences .

Nos projets :

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de

développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en

méthodologie Agile :

o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus :

métadonnées éditoriales, programmes, saisons, droits et disponibilités.

Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes aux produits .

o

La mission :

 Concevoir, développer et maintenir des pipelines de traitement de données avec Apache

Spark.

 Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la

performance, à l’évolutivité et à la gouvernance des données.

 Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et

traçabilité des données du catalogue.

 Construire un système résilient : traitements idempotents, reprise sur erreur, retries

maîtrisés, gestion des données en retard, rejouabilité et backfill.

 Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes

utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.

 Participer aux phases de développement et de tests : unitaires, intégration, qualité des

données, performance et montée en charge.

 Documenter les pipelines, les modèles de données, les procédures d’exploitation et les

décisions techniques.