Mission freelance Data Engineer QA / Data Quality Engineer — Cloud Platform Paiement

PROFIL RECHERCHÉ

• Bac+5, 4 ans minimum en data engineering ou data quality engineering

• Profil ayant évolué de data engineer vers une spécialisation data quality : parcours le plus naturel et le plus pertinent

• Expérience sur des plateformes data en production avec des contraintes de fiabilité élevées : fintech, paiement, santé ou e-commerce critique

• Connaissance des outils émergents de data observability (Great Expectations, Soda, Monte Carlo ou équivalent)

• Anglais upper-intermediate opérationnel (B2) : réunions, documentation et code reviews avec des équipes internationales au quotidien

COMPÉTENCES REQUISES

• Python Data Quality (++) : Great Expectations, Soda Core, Pandera, dbt tests ou équivalent ; création de règles de validation custom ; tests unitaires avec pytest et fixtures data

• SQL Avancé (++) : Requêtes complexes pour la validation des données : réconciliation entre tables, détection de doublons, vérification de cohérence référentielle, comparaison de distributions

• Databricks / Spark (++) : Intégration des checks de qualité dans Delta Live Tables et Jobs Databricks, validation de schémas Delta Lake, gestion des performances lors des contrôles à grande échelle

• Tests Automatisés Data (+++) : Tests unitaires sur les transformations, tests d'intégration pour les pipelines, tests de régression sur les sorties — culture QA software appliquée à la donnée

• Data Observabilité (+++) : Monitoring des métriques de qualité en production, détection d'anomalies et de data drift, tableaux de bord de santé des données (Monte Carlo, Anomalo, ou solutions custom CloudWatch)

• CI/CD Data & AWS : Intégration des tests de qualité dans GitLab CI, gates qualité automatiques ; S3, Glue, CloudWatch pour le monitoring, IAM pour la sécurité des données

• Data Contracts : Définition et implémentation des contrats entre producteurs et consommateurs (schémas, SLAs, sémantiques) — Soda, dbt contracts ou custom

CONTEXTE & OBJECTIF DU POSTE

Le client est un acteur majeur du secteur du paiement en transformation vers un modèle software & services. Les données de transactions alimentent des décisions business critiques et des modèles ML — une donnée corrompue ou incohérente a des conséquences directes sur la fiabilité des paiements, la conformité réglementaire et la qualité des modèles.

Le Data Quality Engineer recherché est le garant de la fiabilité des données en production. C'est un profil hybride : il combine la culture data engineering (pipelines, Spark, Databricks, AWS) avec une expertise QA appliquée à la donnée (tests automatisés, frameworks de validation, data observability, data contracts). Il embarque la qualité directement dans les pipelines, dès la conception.

Trois enjeux concrets :

• Concevoir et implémenter un framework de Data Quality automatisé couvrant l'ensemble de la plateforme, intégré dans les pipelines Databricks et les pipelines CI/CD

• Mettre en place une data observabilité en production : monitoring des anomalies, détection du data drift, alerting — dans un contexte de données de paiement en évolution constante

• Évangéliser les bonnes pratiques QA auprès des data engineers et promouvoir le shift-left quality dans l'équipe Data Platform