Job Vacancy Data Engineer Senior Lead Python / PySpark / AWS - F/H
Paris
INGENIANCE
Share this job
Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions.
Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations.
Vos missions :
- Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison.
- Proposer et défendre les choix d'architecture, et arbitrer en autonomie.
- Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences.
- Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur.
- Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue.
- Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena.
- Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts.
- Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests.
Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché.
Ref : O-SIYUA
Candidate profile
Vous justifiez d'au moins 8 ans d'expérience en data engineering, dont un vrai pilotage technique de projet data (Tech Lead, lead dev ou équivalent) avec des décisions d'architecture prises et défendues.
Compétences attendues :
- Python maîtrisé en profondeur (compréhensions, collections, map/filter), sans dépendre de la documentation.
- PySpark en production : Spark UI, skew, mémoire, AQE, UDF et fonctions natives.
- AWS : Glue, Step Functions, S3, Athena, maîtrise des coûts.
- Industrialisation : Git, CI/CD, tests, conception de frameworks réutilisables.
- Appréciés : Terraform, Iceberg, Airflow, connaissance de la finance de marché (pricing, grecs, PnL, produits actions).
Vous êtes autonome, force de proposition face à un besoin flou, et à l'aise pour encadrer et faire grandir une équipe.
Working environment
INGENIANCE est une ESN spécialisée en finance de marché, banque et assurance depuis plus de 18 ans. Nous accompagnons les grands acteurs bancaires et assurantiels français sur leurs projets les plus critiques, avec une expertise reconnue en Craft Development, Big Data, Cloud/DevOps et Agilité. Rejoindre Ingéniance, c'est intégrer une communauté d'experts, être accompagné par un management de proximité et construire son parcours sur des missions à forte valeur ajoutée. Build your success!
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Senior Lead Python / PySpark / AWS - F/H
INGENIANCE