Mission freelance [FBO] Data Engineer expérimenté

Contexte de la mission

Dans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution.

Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie.

Responsabilités

Architecture & ingestion de données

• Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks

• Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon)

• Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings)

• Gérer les tables Delta Lake pour un stockage ACID-compliant

APIs & intégrations partenaires

• Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes

• Développer des APIs RESTful en Python pour la distribution de données

• Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux

Qualité, performance & DevOps

• Implémenter des contrôles qualité et des frameworks de tests automatisés

• Optimiser les jobs Spark et fonctions serverless (performance et coûts)

• Travailler en CI/CD via Azure DevOps

Stack technique

DomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest