Contexte de la mission : Dans le cadre de l'évolution d'une plateforme Data stratégique, nous recherchons un(e) Senior Software Engineer pour intervenir sur une application centrale permettant de configurer et d'orchestrer des traitements de données. Vous contribuerez à la modernisation de cette application afin d'améliorer sa maintenabilité, sa robustesse, sa scalabilité et sa capacité à répondre aux nouveaux besoins métiers. Vous travaillerez en étroite collaboration avec les équipes Data, les Product Owners et les équipes Architecture afin de faire évoluer les standards techniques et les bonnes pratiques de développement. Vos missions : En tant que Senior Software Engineer, vous serez notamment amené(e) à : - Concevoir, développer et maintenir une application Python dédiée à l'orchestration et à l'exécution de traitements de données. - Moderniser l'architecture applicative afin de favoriser son évolutivité, sa performance et sa fiabilité. - Réduire la dette technique grâce à des travaux de refactoring et d'amélioration continue. - Concevoir et mettre en œuvre une stratégie complète de tests (tests unitaires, tests d'intégration, validation des règles métiers, automatisation dans les pipelines CI/CD). - Développer des composants génériques et configurables afin de limiter le code spécifique et favoriser la réutilisation. - Collaborer avec les équipes Data Engineering pour intégrer les traitements dans les pipelines de données. - Participer aux choix d'architecture et aux décisions techniques structurantes. - Promouvoir les bonnes pratiques de développement logiciel, de qualité de code et d'industrialisation. - Accompagner les équipes dans l'amélioration continue des pratiques de développement. Valeur ajoutée de la mission : Vous jouerez un rôle clé dans la modernisation d'une plateforme Data stratégique en contribuant à l'amélioration de son architecture, de sa qualité logicielle et de ses performances. Votre expertise permettra de renforcer la robustesse de la plateforme tout en facilitant le développement de nouveaux traitements et l'évolution des besoins métiers. Environnement technique : 1. Langages et développement - Python - SQL 2. Data Engineering - Apache Spark - PySpark - Databricks - Delta Lake - Architecture Lakehouse 3. Cloud - AWS (S3, ECS, Fargate...) 4. Orchestration - Apache Airflow 5. DevOps - Git - GitLab CI/CD - Docker 6. Infrastructure as Code - Terraform - Terragrunt 7. Gouvernance - Gestion des accès - Monitoring - Optimisation des coûts - Gouvernance des données 8. Méthodologie - Agile Scrum Expertise souhaitée Profil recherché : - Minimum 5 ans d'expérience en développement logiciel avec une forte expertise Python. - Solide expérience en conception d'architectures logicielles et en refactoring d'applications existantes. - Bonne maîtrise des environnements Cloud, idéalement AWS. - Expérience des plateformes Data et des traitements distribués. - Maîtrise des bonnes pratiques de qualité logicielle et des tests automatisés. - Expérience des pipelines CI/CD et des environnements DevOps. - Connaissance des architectures distribuées et des problématiques de performance et de scalabilité. Qualités attendues : - Esprit d'analyse et capacité à proposer des solutions techniques innovantes. - Excellentes capacités de communication et de collaboration. - Autonomie, rigueur et sens de l'organisation. - Goût pour le partage de connaissances et l'accompagnement technique des équipes. - Capacité à évoluer dans un environnement Agile et à contribuer aux décisions stratégiques. Mobilité Non renseigné * Champs obligatoires
Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. ResponsabilitésArchitecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest
Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.
