Trouvez votre prochaine offre d’emploi ou de mission freelance Delta Lake

Notre client, grand groupe international du secteur de l'assurance, engage une transformation majeure de sa plateforme Data & IA. Dans le cadre de ce programme, la Data Factory recherche un Senior Staff Data Platform Architect pour définir la trajectoire technologique de la plateforme et piloter les transformations structurantes. Le périmètre technique s'appuie sur Azure et Databricks. Les chantiers prioritaires sont : ● Migration vers Unity Catalog : architecture cible, stratégie de migration, gouvernance des Data Products, masking de la donnée, sécurité ● Move to Global Azure Tenant : migration depuis un tenant legacy (ARM) vers le tenant groupe, avec industrialisation IaC via Terraform ● Data Observability, FinOps, MLOps, Agentic AI : sujets d'innovation et de gouvernance associés à la roadmap plateforme Le poste n'est pas un rôle de management hiérarchique. Le leadership attendu est technique, transverse et d'influence : Design Authority, revues d'architecture, animation de communautés, alignement avec les architectes entreprise, solutions, cloud et sécurité. A. Stratégie & architecture plateforme ● Définir la trajectoire de la plateforme sur 3 à 5 ans : Lakehouse, Data Products, Data Mesh, MLOps, GenAI, Agentic AI, Data Observability, FinOps ● Produire les livrables stratégiques : roadmaps, schémas directeurs, standards d'architecture, patterns de référence B. Programme Unity Catalog ● Définir l'architecture cible : stratégie de migration, modèle de gouvernance, modèle de sécurité, stratégie Data Product ● Piloter la migration progressive, la coexistence Legacy / Unity et la migration factory C. Modernisation & Global Azure Tenant ● Piloter la stratégie de migration Azure Global Tenant : impacts techniques, trajectoire, standards Terraform / IaC ● Industrialiser les frameworks internes et contribuer à l'évolution des Data Products D. Innovation & veille technologique ● Identifier les technologies émergentes : Databricks roadmap, Microsoft Fabric, GenAI, AI Agents, Lakeflow, Delta Sharing ● Piloter les études, POC et expérimentations E. Gouvernance technique & FinOps ● Définir les standards architecture, développement, exploitation et sécurité ● Animer les Design Authority et revues d'architecture ● Définir la stratégie FinOps : optimisation coûts Azure, optimisation Databricks, capacity planning

Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer Microsoft Fabric confirmé afin de participer à la conception, au développement et à l'industrialisation des traitements de données sur la plateforme Microsoft Fabric. Vous interviendrez sur l'ensemble de la chaîne de traitement des données, de l'ingestion à la mise à disposition, en garantissant la qualité, la performance et la fiabilité des pipelines. Vos missionsConcevoir, développer et maintenir des pipelines de données sous Microsoft Fabric. Développer les traitements de transformation de données en Python, PySpark et SQL. Concevoir et exploiter des architectures Lakehouse, Delta Lake et Data Warehouse. Paramétrer et configurer les différents composants de l'écosystème Microsoft Fabric. Garantir la qualité, la performance et la fiabilité des traitements de données. Automatiser les déploiements et contribuer à l'industrialisation des développements (CI/CD). Participer aux phases de tests, de recette et de mise en production. Assurer la maintenance évolutive et corrective des solutions Data. Collaborer avec les équipes Data, BI, Architecture et Métiers afin de répondre aux besoins fonctionnels et techniques. Participer à l'amélioration continue des bonnes pratiques de développement et de gouvernance des données.

Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.

Data Engineer – Gestion d'ActifsNotre client, un acteur mondial majeur de la gestion d'actifs, recherche un Data Engineer expérimenté pour rejoindre son département Investment Accounting & Administration au sein de l'activité Investment Management. Il s'agit d'une opportunité stratégique de contribuer au développement et à l'évolution d'une plateforme de données cloud au cœur des opérations d'investissement, de l'analytique et du reporting. Le candidat retenu participera à la conception, au développement et à l'optimisation d'un hub de données d'entreprise complexe, permettant aux équipes d'investissement d'exploiter pleinement les données Bloomberg ainsi que d'autres sources de données financières. En collaboration avec des équipes internationales, vous développerez des solutions de données évolutives qui soutiennent la prise de décision et la création de valeur à partir des données. Principales ResponsabilitésConcevoir, développer et maintenir des pipelines de données et des produits data cloud robustes au service d'opérations d'investissement critiques et d'applications analytiques à grande échelle. Renforcer et étendre les capacités de la plateforme de données de l'entreprise à l'aide de technologies modernes de Data Engineering. Collaborer étroitement avec les équipes d'investissement et les parties prenantes métiers afin de comprendre leurs besoins et fournir des solutions adaptées. Développer des solutions performantes basées sur Databricks, Spark, Delta Lake et les technologies cloud natives. Promouvoir les meilleures pratiques en matière de développement et de gouvernance des données : qualité de code, CI/CD, tests automatisés et fiabilité des plateformes. Contribuer à l'adoption de technologies innovantes, notamment l'Intelligence Artificielle, les Large Language Models (LLM) et les outils d'analyse avancée. Assurer une veille technologique continue afin d'accompagner l'évolution de la plateforme et des capacités de l'équipe. Compétences et Expérience RequisesMinimum 5 ans d'expérience en Data Engineering, dont au moins 5 ans sur Databricks dans la conception et le développement de pipelines de données. Solide expérience du cloud, idéalement Microsoft Azure ; une expérience sur AWS ou GCP sera également considérée. Maîtrise de Python, PySpark, SparkSQL et/ou Scala. Expérience dans la mise en place et l'orchestration de pipelines Big Data avec des outils tels qu'Azure Data Factory, Airflow, dbt ou équivalents. Expertise de Spark, particulièrement Databricks Spark et Delta Lake. Expérience dans l'implémentation de solutions Big Data dans un environnement cloud, incluant les Data Lakes et architectures Lakehouse. Excellentes compétences SQL avec la capacité de développer et d'optimiser des requêtes complexes sur de très grands volumes de données. Maîtrise de GitHub, du contrôle de version et des processus de déploiement CI/CD. Expérience des technologies d'IA, des LLM, de Databricks Genie ou d'outils similaires. Compétences SouhaitéesExpérience en architecture de bases de données et en modélisation de données (modèles conceptuels, logiques et physiques). Expérience préalable dans la gestion d'actifs, l'asset management, l'investissement ou un environnement de services financiers. Qualités PersonnellesExcellentes capacités d'analyse et de résolution de problèmes. Forte capacité d'apprentissage et adaptation rapide aux nouvelles technologies. Aisance relationnelle et aptitude à collaborer avec des équipes et parties prenantes internationales. Cette opportunité offre la possibilité de rejoindre une équipe Data en forte croissance et de contribuer à une plateforme stratégique au cœur des activités d'un leader mondial de la gestion d'actifs.