Cherry Pick
Langues : Français courant, Anglais professionnel Contexte de la Mission Le client opère une plateforme Data Lakehouse pour ses activités de banque et d'assurance à travers 9 pays européens. L'architecture "médaillon" repose sur une stack moderne et code-centric (Snowflake, DBT, Airflow MWAA, AWS, Collibra, Elementary). Aujourd'hui, la qualité des données est assurée par des tests techniques (DBT tests, Elementary). L'enjeu de cette mission est de pallier le manque d'un framework structuré couvrant l'ensemble des dimensions de qualité, les besoins métiers et les fortes exigences d'audit. Le consultant devra notamment adresser deux recommandations d'audit : définir des KPIs centraux croisés sur l'ensemble des pays (JV) et évaluer/déployer un outil central de monitoring de la Data Quality. Objectifs & Phases du Projet La mission s'articule autour de la structuration d'un Data Quality Framework Cadrage et Définition : Récupération du framework historique, inventaire des pistes d'audit, définition des KPIs centraux cross-JV et évaluation de l'Open Data Contract Standard (ODCS). Structuration & Outils : Benchmark et recommandation d'outils DQ (Elementary, Snowflake DMF/Cortex, Dataiku, Great Expectations). Implémentation : Mise en place de data contracts sur 3 couches (Standard, Target, Business) et développement de contrôles métiers auditables. Industrialisation : Déploiement de tableaux de bord DQ cross-JV (Power BI), gestion structurée des rejets et implémentation de quality gates dans le CI/CD. Innovation & Transfert : Exploration de solutions IA pour la Data Quality (Snowflake Cortex, Dataiku), documentation complète et transfert de compétences aux équipes internes. Environnement Technique Le socle technique est orienté "code-centric". La solution DQ proposée devra s'aligner sur ce principe (Git, DBT, Airflow, CI/CD). Technologie Usage dans le cadre du projet Snowflake Data warehouse, métriques DQ, DMF (complément IA) DBT + Elementary Tests DQ, observabilité, détection d'anomalies Apache Airflow (MWAA) Orchestration, alerting, SLA AWS Ingestion multi-sources (S3, Glue, DMS, AppFlow) Collibra Gouvernance, catalogage des règles DQ Power BI Dashboards qualité (IT et métier) Git / CI-CD TeamCity, GitHub Actions, Quality gates Python Scripts, intégrations API Profil Recherché Nous recherchons un profil Senior (5 ans d'expérience minimum en Data Engineering / Data Quality) doté d'une forte vision architecturale et d'une rigueur liée aux contextes réglementaires. Compétences techniques exigées : Expertise : Data Quality (frameworks, dimensions DAMA, data contracts, scoring). Niveau Avancé : DBT (tests, macros, Elementary, dbt-expectations) et Snowflake (SQL avancé, monitoring, DMF). Niveau Confirmé : Apache Airflow (DAGs, sensors, SLA, alerting), Python, Git et CI/CD. Les petits plus (Nice-to-have) : Expérience pratique avec les Data Contracts (idéalement ODCS). Connaissance des solutions Snowflake Cortex Data Quality / DMF, ou d'outils comme Great Expectations / Soda. Connaissance de Collibra (module data quality). Expérience des exigences réglementaires bancaires (BCBS 239, DORA) et/ou environnement multi-pays.
