Mission freelance Data Platform Engineer - Metadata

Organisée autour des outils de stockage et de catalogage, l'équipe Datalake est chargée de mettre à disposition le stockage (S3) pour l'ensemble de la data platform et de garantir robustesse et scalabilité. L'équipe Datalake assure la gouvernance technique du patrimoine de donnée et la gestion des métadonnées au travers des data contract. Nous hébergeons et maintenons le repository central de ces derniers. Nous permettons grâce à cela de construire une observabilité de plateforme au travers de l’usage, du lineage etc.

Nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme.

Une appétence data et avoir déjà manipulé des outils tels que databricks est un réel plus.

Ta mission sera de

• Garantir la robustesse du data contract registry (Aurora + Python fastAPI)

• Monitorer et prendre des actions proactives de management

• Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry)

• Restituer dans le datalake les metadonnées de nos produits

Accompagner et former

• Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe

• Participer et conseiller lors de la conception des pipelines de données des équipes

Développer le futur

• Gouvernance automatisée (Data contract registry, access management, metadata management)

• Etroite collaboration avec les staff engineer de la plateforme pour le développement de nouvelle features (ADR)