Mission freelance Data Engineer Senior — Cloud Platform Paiement
Nanterre (92)
CONCRETIO SERVICES
Le poste Data Engineer Senior — Cloud Platform Paiement
Partager cette offre
RÉSUMÉ EXPRESS
Data Engineer senior (4 ans+, Bac+5) pour construire et opérer les pipelines data d'une plateforme cloud de paiement à fort volume transactionnel. Il maîtrise Python/PySpark et Databricks en production, conçoit les architectures data lakehouse sur AWS (S3, Redshift), optimise les jobs Spark et garantit la fiabilité et la qualité des données pour les usages analytics et ML. Expérience fintech ou paiement fortement appréciée.
2 jours de télétravail par semaine / Anglais professionnel opérationnel obligatoire.
MISSIONS PRINCIPALES
Design & Construction des Pipelines Data
Concevoir et construire les pipelines ETL/ELT d'ingestion, transformation et chargement depuis de multiples sources (terminaux POS, APIs, systèmes de paiement)
Choisir les patterns adaptés selon les cas d'usage : batch vs streaming, data warehouse vs data lake vs lakehouse
Développer en Python/PySpark avec des pratiques d'ingénierie logicielle solides (tests, packaging, code maintenable)
Databricks & Optimisation Spark
Construire et optimiser les workflows Databricks (Jobs, Delta Live Tables) en production sur des volumes significatifs
Optimiser les jobs Spark : partitionnement, broadcast joins, caching, memory management, tuning des performances et des coûts
Architecture Data & Stockage AWS
Concevoir les structures de données et les patterns de stockage sur AWS (S3, Redshift, formats Parquet/Delta/Iceberg)
Modéliser et optimiser les données dans Redshift (distribution keys, sort keys, requêtes analytiques)
Gérer la sécurité des données dans un contexte de données de paiement sensibles (IAM, chiffrement, conformité)
Fiabilité Production & Qualité des Données
Assurer le monitoring et l'alerting des pipelines en production, intervenir sur les incidents (données manquantes, pipeline en retard, données corrompues)
Mettre en place des contrôles de qualité des données (data validation, schema evolution, data lineage)
Collaboration & Veille
Travailler avec les data scientists pour comprendre leurs besoins et leur fournir des datasets de qualité pour le ML
Assurer une veille technologique active sur les nouvelles technologies et best practices data
Profil recherché
PROFIL RECHERCHÉ
Bac+5, 4 ans minimum en data engineering
Expérience Databricks et Spark en production réelle sur des volumes significatifs
Expérience sur une data platform cloud AWS (S3, Redshift, Glue ou équivalent) en conditions de production
Expérience en contexte fintech, paiement ou IoT (données à fort volume) : fortement appréciée
Anglais upper-intermediate opérationnel (B2) : réunions, documentation et code reviews avec des équipes internationales au quotidien
COMPÉTENCES REQUISES
Python / PySpark (++) : Développement de pipelines data, transformations complexes, code maintenable et testé (pytest) — niveau développeur senior, pas du scripting basique
Databricks (++) : Jobs, Delta Live Tables, gestion des clusters, optimisation Spark (partitionnement, caching, broadcast joins, tuning) ; Unity Catalog apprécié
Apache Spark (++) : PySpark en production réelle — transformations à grande échelle, shuffle optimization, memory management, diagnostic et résolution de problèmes de performance
AWS Data Services (++) : Amazon Redshift (modélisation, distribution/sort keys, optimisation des requêtes), AWS S3 (partitionnement, formats Parquet/Delta/Iceberg), IAM pour la sécurité des données
ETL/ELT & Orchestration : Maîtrise des patterns d'ingestion batch et streaming, orchestration (Airflow ou AWS Step Functions probable), Delta Lake / Lakehouse patterns
Qualité & Sécurité des Données : Data validation, schema evolution, data lineage ; gestion des données sensibles en contexte PCI-DSS (chiffrement, anonymisation, contrôle d'accès)
Compétences complémentaires appréciées : Java Spring Boot (services d'ingestion ou d'exposition de données) ; Scala (contextes Spark avancés) ; NoSQL (DynamoDB, MongoDB)
Environnement de travail
CONTEXTE & OBJECTIF DU POSTE
Le client est un acteur majeur du secteur du paiement en transformation vers un modèle software & services. La Data Platform est un composant stratégique de cette évolution — les pipelines construits alimentent des usages analytics et machine learning sur des données de transactions à fort volume (des dizaines de millions de terminaux POS). Criticité, scalabilité et sécurité des données sont des contraintes réelles.
Le Data Engineer recherché intervient au cœur de la feature team Data Platform. C'est un rôle hands-on — il conçoit, construit et opère au quotidien, en lien direct avec des data scientists, des analysts et des équipes produit.
Trois enjeux concrets :
Concevoir et construire des pipelines ETL/ELT robustes et scalables sur des volumes de données transactionnelles élevés, avec Databricks/Spark et AWS comme briques centrales
Garantir la fiabilité en production : monitoring, alerting, gestion des incidents — les pipelines alimentent des décisions business critiques
Produire des données de qualité pour les data scientists et les modèles ML, avec une attention particulière à la data quality, au lineage et au feature engineering
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Senior — Cloud Platform Paiement
CONCRETIO SERVICES