Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation d'une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l'exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud
Nous recherchons un Expert Technique Senior pour participer à un projet stratégique de refonte de notre Data Lake. Ce projet vise à répondre de manière flexible et agile aux besoins métiers, et apporter une valeur ajoutée autour de la donnée. Missions principales : Participer au développement du Framework de gestion des flux de données Contribuer à la conception et l'architecture technique de la solution cible Proposer des solutions innovantes Être force de proposition sur le design des solutions techniques Rédiger les dossiers techniques et autres documentations nécessaires Assurer la cohérence technique des différents modules du projet Réaliser et automatiser les tests sur les outils/modules développés Veiller au respect des délais Accompagner la phase de validation business en UAT et PROD Préparer le roadbook de migration et participer à la mise en production
Dans le cadre d'un grand groupe du secteur de l'assurance et de la protection sociale, la Direction Technique Informatique recherche un architecte technique Data pour intervenir sur les socles DATA de la plateforme décisionnelle et Big Data. L'équipe en charge des socles Data assure la conception, l'évolution et l'exploitation des plateformes de données industrielles permettant le pilotage, le reporting décisionnel, la data science et l'exploration de données à grande échelle. La prestation consiste à intervenir sur la conception, l'évolution et le maintien en conditions opérationnelles des plateformes Data Big Data (Hadoop) ainsi que sur les projets de transformation vers des plateformes Data modernes.
Date de démarrage : ASAP Date de fin : 31/10/2026 Localisation : Paris Tarif Journalier Moyen (TJM) Max : 660 € Descriptif de la MissionAu sein des équipes Data, vous interviendrez sur la conception, le développement, la gouvernance et l'optimisation de nos plateformes de données. Vos activités principales s'articuleront autour de quatre grands piliers : 1. Développement & Architecture DataConcevoir et développer des pipelines de données robustes et scalables sur Databricks (PySpark, Spark SQL, Delta Live Tables). Mettre en place des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer les workflows ETL/ELT à l'aide de Databricks Workflows. 2. Gestion et Administration de la Plateforme DatabricksAdministrer l'espace de travail (gestion des workspaces, configuration des clusters, gestion des permissions). Assurer l'optimisation des coûts (finops) via la configuration fine, l'autoscaling et le monitoring des clusters. Implémenter et faire respecter les bonnes pratiques de sécurité (Unity Catalog, gestion des accès, lineage de la donnée). 3. Gouvernance & Qualité des DonnéesMettre en place des mécanismes stricts de qualité et de validation des données (expectations, tests automatisés). Documenter rigoureusement les modèles et les flux sur la plateforme. Garantir la fiabilité, la cohérence et la fraîcheur des données mises à disposition. 4. Collaboration & SupportCollaborer étroitement avec les Data Analysts, Data Scientists et les équipes métiers. Accompagner et former les utilisateurs clés dans l'adoption et la prise en main de l'écosystème Databricks. Participer activement aux revues de code, à la standardisation et au partage des bonnes pratiques d'ingénierie. Compétences RequisesTechniques (Incontournables) :Développement : Excellente maîtrise de PySpark ou Spark SQL. Écosystème : Forte expérience pratique avec Databricks (pipelines, clusters, notebooks, Unity Catalog). Architecture : Solides connaissances des architectures Lakehouse, du data modeling, des concepts ETL/ELT et des stratégies d'ingestion (batch & streaming). Cloud : Connaissance approfondie d'au moins un des principaux fournisseurs cloud (Azure, AWS ou GCP). DevOps : Maîtrise de Git et des pratiques de CI/CD (Azure DevOps, GitHub Actions, etc.). Souhaitées (Un plus) :Connaissances en MLflow, orchestration de modèles et pratiques MLOps. Notions avancées en DataOps, cost optimization (FinOps) et outils de monitoring. Expérience dans l'exploitation d'APIs et l'ingestion de données en temps réel (ex: Kafka).
Dans le cadre du renforcement d'une plateforme stratégique de gestion et de diffusion de données de marché, nous recherchons un Data Engineer / Tech Lead expérimenté pour rejoindre une équipe en charge de la collecte, de la transformation et de l'exposition de données à forte valeur ajoutée. Vous jouerez un rôle clé dans la définition des standards techniques, l'accompagnement des équipes et l'évolution d'une plateforme Data moderne basée sur les technologies Cloud AWS. Vos missionsConcevoir, structurer et optimiser des pipelines de données robustes, performants et scalables. Définir les standards d'architecture et les bonnes pratiques de développement. Garantir la qualité technique, la sécurité et la maintenabilité des applications. Collaborer avec les Product Managers, Product Owners et Business Analysts afin de transformer les besoins métiers en solutions techniques. Encadrer et accompagner les Data Engineers et développeurs dans leur montée en compétences. Participer aux choix d'architecture et aux décisions techniques de la plateforme. Superviser les applications en production et contribuer à leur amélioration continue. Participer aux revues de code, aux bonnes pratiques DevOps et à l'automatisation des déploiements.
MissionsLe rôle vise à apporter l'expertise nécessaire pour soutenir les projets data et l'écosystème Databricks au sein du groupe. L'équipe met à disposition des environnements d'évaluation et de test, définit les standards et bonnes pratiques d'usage, et accompagne les entités ayant des besoins spécifiques sur des périodes dédiées. Les interlocuteurs sont principalement des Data Specialists et Data Citizens. Les environnements techniques s'appuient sur Databricks AWS et Azure. Les activités se structurent autour de trois axes : Data Engineering : développement et opérations data DevOps / DataOps : déploiement, automatisation, Infrastructure-as-Code, administration des plateformes Expertise : veille technologique, anticipation des évolutions, test et validation des nouvelles fonctionnalités Dans ce contexte, les responsabilités confiées sont les suivantes : Administrer, surveiller et maintenir les espaces de travail Databricks du COE. Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. Garantir la qualité et la conformité des services fournis aux entités. Accompagner les équipes métiers et data dans l'adoption de l'écosystème Databricks et leur transition vers les normes groupe. Tester, évaluer et recommander les nouvelles fonctionnalités de l'éditeur ou d'outils complémentaires pour améliorer l'expérience globale. Veiller au respect des politiques groupe et accompagner leur mise en œuvre. Contribuer à la conception et à la réalisation des use cases stratégiques portés par les entités.
Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data
Contexte de la mission Dans le cadre de l'évolution d'une plateforme Data stratégique, notre client recherche un Senior Software Engineer afin de participer à la modernisation d'une application centrale dédiée à la configuration et à l'orchestration de traitements de données. Cette mission s'inscrit dans un contexte de transformation visant à améliorer la qualité logicielle, renforcer la robustesse de l'application, optimiser ses performances et faciliter l'intégration de nouveaux cas d'usage. Le consultant travaillera en étroite collaboration avec les équipes Data Engineering, Architecture et Produit dans un environnement Agile. Missions Le consultant interviendra notamment sur les sujets suivants : Concevoir, développer et maintenir une application Python dédiée au traitement et à l'orchestration des données. Moderniser l'architecture applicative afin d'améliorer sa maintenabilité, sa performance et sa scalabilité. Réduire la dette technique grâce à des actions de refactoring et d'optimisation du code existant. Concevoir et mettre en œuvre une stratégie complète de tests : Tests unitaires Tests d'intégration Validation des traitements métier Automatisation dans les pipelines CI/CD Développer des composants génériques et configurables favorisant la réutilisabilité et limitant les développements spécifiques. Participer à l'intégration des traitements dans les pipelines Data. Contribuer aux choix d'architecture et à la définition des bonnes pratiques de développement. Accompagner les équipes dans l'amélioration continue des pratiques de développement logiciel. Environnement techniqueCloud AWS (S3, ECS, Fargate...) Data Engineering Python Apache Spark PySpark SQL Databricks Delta Lake Lakehouse Architecture Orchestration Apache Airflow DevOps GitLab CI/CD Docker Infrastructure as Code Terraform Terragrunt Gouvernance Data Databricks Unity Catalog Gestion des accès Monitoring Optimisation des coûts Méthodologie Agile Scrum Compétences techniquesIndispensables Python AWS SQL Apache Spark / PySpark Databricks Airflow Docker GitLab CI/CD Terraform Architecture logicielle Data Engineering Monitoring Appréciées Fargate Terragrunt Unity Catalog Lakehouse Architecture Soft Skills Excellente capacité d'analyse et de conception. Force de proposition. Autonomie et rigueur. Esprit collaboratif. Capacité à accompagner et faire monter en compétence les équipes. Excellente communication. Langues Anglais courant (niveau C1 minimum).
Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer Microsoft Fabric confirmé afin de participer à la conception, au développement et à l'industrialisation des traitements de données sur la plateforme Microsoft Fabric. Vous interviendrez sur l'ensemble de la chaîne de traitement des données, de l'ingestion à la mise à disposition, en garantissant la qualité, la performance et la fiabilité des pipelines. Vos missionsConcevoir, développer et maintenir des pipelines de données sous Microsoft Fabric. Développer les traitements de transformation de données en Python, PySpark et SQL. Concevoir et exploiter des architectures Lakehouse, Delta Lake et Data Warehouse. Paramétrer et configurer les différents composants de l'écosystème Microsoft Fabric. Garantir la qualité, la performance et la fiabilité des traitements de données. Automatiser les déploiements et contribuer à l'industrialisation des développements (CI/CD). Participer aux phases de tests, de recette et de mise en production. Assurer la maintenance évolutive et corrective des solutions Data. Collaborer avec les équipes Data, BI, Architecture et Métiers afin de répondre aux besoins fonctionnels et techniques. Participer à l'amélioration continue des bonnes pratiques de développement et de gouvernance des données.
Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.
Mission de l'équipe : Au sein de l'équipe Stress Testing and Data Analytics, la mission consiste à renforcer les capacités de développement et d'industrialisation des traitements de données utilisés dans les exercices de stress testing réglementaires. L'équipe est responsable de la collecte, de la structuration, de la transformation et de la mise à disposition des données nécessaires aux projections réglementaires, aux exercices de stress testing et aux productions associées. Dans le cadre de la préparation de l'EBA Stress Test 2027, le consultant interviendra sur le périmètre Credit Risk afin de contribuer à la fiabilisation des données, à l'automatisation des traitements et à la sécurisation des livrables réglementaires dans un environnement Big Data. La mission s'inscrit dans un contexte international impliquant une collaboration étroite avec les équipes Data, IT, Finance, Risque et Modèles. 1. Développement et industrialisation des traitements de données_ _L'équipe est responsable du développement, de l'évolution et de la maintenance des pipelines de données nécessaires aux exercices réglementaires. Elle conçoit des traitements robustes et industrialisés sous Dataiku DSS v14, en s'appuyant sur Python, PySpark et SQL, afin d'assurer la production de données fiables, reproductibles et auditables. Les traitements développés doivent répondre à des exigences élevées de qualité, de performance et de traçabilité conformément aux principes BCBS 239. 2. Intégration et contrôle de la qualité des données_ _L'équipe assure l'intégration de données provenant de différentes sources réglementaires et internes. Elle est responsable de la transformation des données, de la mise en œuvre des contrôles de qualité, des contrôles de cohérence ainsi que des rapprochements entre les différentes sources. Les écarts détectés doivent être analysés puis faire l'objet d'actions de remédiation afin de garantir la fiabilité des livrables réglementaires. 3. Contribution aux exercices réglementaires_ _L'équipe contribue directement à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Elle participe à la préparation des datasets réglementaires, à l'alimentation des templates attendus ainsi qu'à la sécurisation des différentes phases de production jusqu'aux livraisons. Une forte implication est attendue durant les périodes critiques de préparation, de validation, de re-run et de remédiation. 4. Documentation et traçabilité_ _L'équipe est responsable de la documentation technique et fonctionnelle des traitements développés. Elle garantit la traçabilité complète des données, des règles de transformation et des contrôles mis en œuvre afin de répondre aux exigences d'audit et de conformité réglementaire. Prestations demandées : La mission interviendra principalement sur les activités suivantes : Développer et maintenir les pipelines de données sous Dataiku DSS v14. Concevoir, optimiser et exécuter des traitements en Python, PySpark et SQL. Contribuer à la construction du Credit Starting Point dans le cadre de l'EBA Stress Test 2027. Intégrer, transformer et contrôler des données réglementaires et internes. Automatiser les contrôles de qualité et les contrôles de cohérence des données. Réaliser les analyses d'écarts et participer aux actions de remédiation. Produire une documentation technique et fonctionnelle des traitements développés. Garantir la traçabilité et l'auditabilité des données conformément aux principes BCBS 239. Collaborer avec les équipes Data, IT, Finance, Risque, Modèles et les différentes parties prenantes du programme. Participer aux phases de recette, validation, re-run et sécurisation des livrables réglementaires. Expertises : Data Engineering Dataiku DSS v14 Développement de pipelines de données Python PySpark SQL Big Data Data Quality Data Lineage Data Transformation Data Remediation Stress Testing BCBS 239
