Contractor job Data Engineer Senior — Cloud Platform Paiement

PROFIL RECHERCHÉ

• Bac+5, 4 ans minimum en data engineering

• Expérience Databricks et Spark en production réelle sur des volumes significatifs

• Expérience sur une data platform cloud AWS (S3, Redshift, Glue ou équivalent) en conditions de production

• Expérience en contexte fintech, paiement ou IoT (données à fort volume) : fortement appréciée

• Anglais upper-intermediate opérationnel (B2) : réunions, documentation et code reviews avec des équipes internationales au quotidien

COMPÉTENCES REQUISES

• Python / PySpark (++) : Développement de pipelines data, transformations complexes, code maintenable et testé (pytest) — niveau développeur senior, pas du scripting basique

• Databricks (++) : Jobs, Delta Live Tables, gestion des clusters, optimisation Spark (partitionnement, caching, broadcast joins, tuning) ; Unity Catalog apprécié

• Apache Spark (++) : PySpark en production réelle — transformations à grande échelle, shuffle optimization, memory management, diagnostic et résolution de problèmes de performance

• AWS Data Services (++) : Amazon Redshift (modélisation, distribution/sort keys, optimisation des requêtes), AWS S3 (partitionnement, formats Parquet/Delta/Iceberg), IAM pour la sécurité des données

• ETL/ELT & Orchestration : Maîtrise des patterns d'ingestion batch et streaming, orchestration (Airflow ou AWS Step Functions probable), Delta Lake / Lakehouse patterns

• Qualité & Sécurité des Données : Data validation, schema evolution, data lineage ; gestion des données sensibles en contexte PCI-DSS (chiffrement, anonymisation, contrôle d'accès)

• Compétences complémentaires appréciées : Java Spring Boot (services d'ingestion ou d'exposition de données) ; Scala (contextes Spark avancés) ; NoSQL (DynamoDB, MongoDB)

CONTEXTE & OBJECTIF DU POSTE

Le client est un acteur majeur du secteur du paiement en transformation vers un modèle software & services. La Data Platform est un composant stratégique de cette évolution — les pipelines construits alimentent des usages analytics et machine learning sur des données de transactions à fort volume (des dizaines de millions de terminaux POS). Criticité, scalabilité et sécurité des données sont des contraintes réelles.

Le Data Engineer recherché intervient au cœur de la feature team Data Platform. C'est un rôle hands-on — il conçoit, construit et opère au quotidien, en lien direct avec des data scientists, des analysts et des équipes produit.

Trois enjeux concrets :

• Concevoir et construire des pipelines ETL/ELT robustes et scalables sur des volumes de données transactionnelles élevés, avec Databricks/Spark et AWS comme briques centrales

• Garantir la fiabilité en production : monitoring, alerting, gestion des incidents — les pipelines alimentent des décisions business critiques

• Produire des données de qualité pour les data scientists et les modèles ML, avec une attention particulière à la data quality, au lineage et au feature engineering