Trouvez votre prochaine offre d’emploi ou de mission freelance Freshdesk à Paris

Contexte Le Cluster lance l'étude d'un potentiel nouveau Data Lake afin de remplacer l’infrastructure legacy par une plateforme moderne, scalable et pleinement gouvernée. Le nouveau lake s’appuiera sur une architecture Medallion et intégrera les technologies suivantes : TrinoDB, Apache Iceberg, Parquet, dbt, Argo Workflows, Apache Superset, Metabase et OpenMetadata . Missions Analyse de l’existant & migration Cartographier les sources, pipelines et jeux de données actuels (legacy, SQL, fichiers plats...). Définition de la stratégie de migration vers le nouveau lake (bronze -> silver -> gold). Conception des plans de bascule tout en minimisant les interruptions de service. Architecture & ingestion Conception des couches Bronze / Silver / Gold du nouveau Data Lake avec TrinoDB, Apache Iceberg et Parquet. Création de pipelines d’ingestion (batch & near-real-time) depuis les systèmes de crédit. Modélisation & transformation Développement des modèles de transformation dans dbt : scripts SQL, tests automatisés, documentation et versionning. Harmonisation des schémas (normes de nommage, typage, PK/UK) avec les exigences du domaine crédit. Orchestration Implémentation des workflows de migration et de rafraîchissement des données avec Argo Workflows (planification, gestion des dépendances, monitoring). Self-service & visualisation Déploiement des espaces de travail Apache Superset et Metabase pour que les analystes métier puissent créer leurs propres dashboards à partir du nouveau lake. Rédaction des guides d’utilisation et accompagnement de la montée en compétence des équipes. Gouvernance, catalogue & lineage Intégration OpenMetadata pour le catalogage automatique, le suivi du lineage et la gestion des métadonnées (description, propriétaire, sensibilité). Mise en place des processus de data ownership, de versionning et de validation. Qualité & validation Implémentation, dans les modèles dbt, des tests de qualité (not-null, unicité, règles métiers spécifiques au crédit). Mise en place des indicateurs de suivi (freshness, complétude, anomalies) et des alertes automatiques. Sécurité & conformité Application des standards de sécurité du groupe (RBAC, data-masking). Contribution aux audits internes et aux revues de conformité réglementaire. Collaboration inter-équipes Travail en étroite coordination avec les équipes métiers. Participation aux cérémonies projets et aux ateliers de design.