Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Contexte de la mission Dans le cadre du programme de Digital and Data Transformation , a la charge de la conception, de la livraison et du cycle de vie des data products supportant les initiatives stratégiques data du Groupe. Le Data Engineer interviendra sur la construction et l’évolution des plateformes et pipelines data , la transformation de données brutes en données à forte valeur ajoutée, ainsi que l’amélioration continue des actifs data, en collaboration avec des équipes internationales. Prestation Attendue Data Engineering & Delivery • Conception et mise en œuvre des pipelines ETL / ELT • Développement de jobs ETL réutilisables • Gestion des chargements Delta / Full / Historique • Debugging et résolution d’incidents en production • Mise en œuvre des bonnes pratiques de développement à la mise en production Collaboration & Méthodologie • Travail en étroite collaboration avec le Product Owner, les équipes data et plateforme • Contribution aux phases de Data Scoping / Discovery • Méthodologie Agile • Interaction avec des équipes distribuées (multi‑pays) Livrables • Composants data développés et déployés (code source) • Documentation technique et fonctionnelle • Modèle de données documenté • Rapports d’audit et de sanity check • Rapports de tests d’acceptation • Transfert de compétences et support aux équipes

Vous serez intégré dans une équipe pluridisciplinaire (Data Engineer, DevSecFinOps) Vous travaillerez sur un use case dédié en collaboration avec les équipes Data (tech lead, gouvernance et architectes). Vous devrez avoir une approche FINOPS (Maîtrise et diminution des coûts) BUILD - Interlocuteur lors de la contribution à des projets dans le domaine de la Supply - Conception de solutions en respectant les normes et framework data - Développement, Modélisation sous la gouvernance de l'architecture data - Contribution au développement d'appli - Tests - Reporting RUN : - Maintien en condition opérationnelle de notre périmètre de responsabilité (4 référentiels de données opérationnels (RDO) multi sourceurs, 6 applications) - gestion des incidents - mise en production (via Git) - suivi de flux EXPERTISE : - Montée en compétence sur notre SI et notre domaine de responsabilité

Vous rejoindrez l’équipe Data Platform en tant que Data Engineer . Vous serez responsable de la conception, de l’optimisation et de la maintenance des pipelines et infrastructures de données afin de garantir un traitement et un stockage scalables. Vos missions incluent la conception d’architectures de données, l’optimisation des flux de données et la facilitation de leur accessibilité pour des usages analytiques et de machine learning. Vous collaborerez étroitement avec les équipes d’ingénierie, data science et produit afin d’assurer la qualité, la sécurité et l’intégration des données dans l’écosystème cloud. Vos responsabilités au quotidien : Définir et analyser les structures de données Concevoir, développer et gérer des pipelines ETL (Extract, Transform, Load) pour collecter, transformer et charger les données dans des data warehouses ou data lakes Concevoir et administrer des solutions de stockage (data warehouse type Amazon Redshift, data lakes sur AWS S3 avec Databricks, bases NoSQL) Collaborer avec les data scientists, analystes et équipes métier pour comprendre les besoins en données Garantir la fiabilité en production (monitoring, alerting, interventions si nécessaire) Expérimenter de nouvelles technologies data et bonnes pratiques afin d’améliorer l’infrastructure et l’efficacité des workflows

Data Engineer Senior – DataOps 01/07/2026 3 ans de mission Nantes ( 3 jours par semaine) Azure, Databricks, Azure Data Factory, Python (PySpark), SQL, CI/CD (GitHub / Azure DevOps), Azure Data Lake (ADLS / Delta Lake), Monitoring (Azure Monitor / Log Analytics) La mission consiste à intervenir en tant que Data Engineer Senior orienté DataOps au sein d’une équipe Data Analytics & CRM, dans un environnement Cloud Azure structuré (Databricks, Data Factory, Data Lake). Le consultant contribue à la fiabilité, la performance et l’industrialisation de la plateforme data, en assurant la conception, le déploiement et l’optimisation de pipelines de traitement de données couvrant l’ensemble de la chaîne (ingestion, transformation, exposition). Sur le volet projet (BUILD), il participe à la conception et à l’industrialisation des flux de données, à la mise en place d’architectures data adaptées (type Data Lakehouse / bronze-silver-gold), et à l’optimisation des traitements (Spark, SQL) afin de répondre aux enjeux de volumétrie et de performance. Il intervient également sur la structuration des pratiques DataOps, notamment sur la mise en œuvre de chaînes CI/CD robustes et la standardisation des développements. Sur le volet RUN / MCO, il assure la fiabilisation des pipelines, le monitoring et la qualité des données, en mettant en place des mécanismes d’observabilité, de gestion des incidents et d’amélioration continue. Il contribue également à l’optimisation des ressources cloud et à la maîtrise des coûts d’exploitation. Enfin, le consultant joue un rôle transverse en interaction avec les équipes Data, métiers et infrastructure, avec une forte attente sur la structuration des bonnes pratiques, la documentation et le transfert de compétences, dans un environnement exigeant en termes de qualité, de gouvernance et de performance.

Contexte de la mission: Dans le cadre du développement de nos activités data et de la montée en puissance de nos plateformes analytiques, nous recherchons un Data Engineer pour concevoir, construire et optimiser les pipelines de données alimentant nos applications métiers, nos plateformes analytiques et nos modèles d'intelligence artificielle.Vous rejoindrez une équipe Data pluridisciplinaire (Data Engineers, Data Scientists, Data Analysts, Architectes) et interviendrez sur toute la chaîne de traitement de la donnée : ingestion, transformation, structuration, optimisation, industrialisation et monitoring. Vos responsabilités: Vous serez en charge de: - Concevoir, développer et maintenir des pipelines de données robustes (batch & streaming) - Industrialiser la collecte, la transformation et la mise à disposition des données (ETL/ELT) - Assurer la qualité, la fiabilité et la disponibilité des datasets critiques - Participer à la modélisation et à la structuration des données (Data Lake, Data Warehouse) - Collaborer avec Data Scientists & Analysts pour fournir des données fiables et exploitables - Contribuer aux choix techniques et à l'évolution de l'architecture data - Documenter les pipelines, les schémas et les bonnes pratiques d'exploitation

Résumé: Vous rejoindrez l’équipe Data Platform en tant que Data Engineer. Vous serez responsable de la conception, de l’optimisation et de la maintenance des pipelines de données ainsi que des infrastructures associées, afin de garantir un traitement et un stockage des données évolutifs et performants. Cela inclut : la conception d’architectures de données, l’assurance d’une circulation efficace des données, et la facilitation de l’accès aux données pour les besoins d’analytics et de machine learning. Responsabilités: Définir et analyser les structures de données Concevoir, développer et gérer des pipelines ETL permettant d’ingérer des données brutes provenant de diverses sources Transformer les données et les charger dans des data warehouses ou data lakes Concevoir et administrer des solutions de stockage telles que des data warehouses (Amazon Redshift) et des data lakes (AWS S3 avec Databricks) Collaborer avec les data scientists et les équipes métier pour comprendre les besoins en données Garantir la fiabilité de la production via le monitoring, l'alerting et les interventions Expérimenter de nouvelles technologies et meilleures pratiques pour améliorer l’infrastructure et l’efficacité des workflows de données Must Haves: Diplôme de niveau Master / Bac+5 Minimum 4 ans d’expérience en tant que Data Engineer Excellente maîtrise de Python Solides compétences en Java (Spring Boot) Connaissance de Scala est un plus Maîtrise des processus ETL et des pipelines de données Expérience pratique avec Databricks et Spark Expertise des solutions de stockage Expérience sur le cloud public AWS Expérience en environnement Agile Nice to Haves: Niveau d’anglais intermédiaire avancé Forte capacité d’adaptation et flexibilité Motivation à évoluer dans un environnement Agile / SAFe Excellent esprit d’équipe

📋 RÉSUMÉ En tant que Consultant Data Platform, vous accompagnerez nos clients dans la conception, l'implémentation et l'optimisation de leurs architectures et solutions de plateforme de données. Vous interviendrez sur l'ensemble du cycle de vie des projets data, de la stratégie à la mise en œuvre opérationnelle. 🎯 MISSIONS Analyser les besoins métiers et techniques des clients pour définir des architectures de plateforme de données adaptées. Concevoir et implémenter des solutions de stockage, traitement et analyse de données (Data Lake, Data Warehouse, Data Mesh). Migrer des infrastructures de données existantes vers des environnements cloud (AWS, Azure, GCP). Optimiser les performances des plateformes de données et des pipelines ETL/ELT. Rédiger la documentation technique et fonctionnelle des solutions mises en œuvre. Assurer le support technique et la formation des équipes clientes. 📦 LIVRABLES Architectures de plateforme de données validées. Solutions de stockage et traitement de données implémentées et fonctionnelles. Pipelines de données (ETL/ELT) opérationnels. Documentation technique et manuels d'utilisation. Rapports d'optimisation et de performance.

Data Engineer Senior – DataOps 01/07/2026 3 ans de mission Nantes ( 3 jours par semaine) Azure, Databricks, Azure Data Factory, Python (PySpark), SQL, CI/CD (GitHub / Azure DevOps), Azure Data Lake (ADLS / Delta Lake), Monitoring (Azure Monitor / Log Analytics) La mission consiste à intervenir en tant que Data Engineer Senior orienté DataOps au sein d’une équipe Data Analytics & CRM, dans un environnement Cloud Azure structuré (Databricks, Data Factory, Data Lake). Le consultant contribue à la fiabilité, la performance et l’industrialisation de la plateforme data, en assurant la conception, le déploiement et l’optimisation de pipelines de traitement de données couvrant l’ensemble de la chaîne (ingestion, transformation, exposition). Sur le volet projet (BUILD), il participe à la conception et à l’industrialisation des flux de données, à la mise en place d’architectures data adaptées (type Data Lakehouse / bronze-silver-gold), et à l’optimisation des traitements (Spark, SQL) afin de répondre aux enjeux de volumétrie et de performance. Il intervient également sur la structuration des pratiques DataOps, notamment sur la mise en œuvre de chaînes CI/CD robustes et la standardisation des développements. Sur le volet RUN / MCO, il assure la fiabilisation des pipelines, le monitoring et la qualité des données, en mettant en place des mécanismes d’observabilité, de gestion des incidents et d’amélioration continue. Il contribue également à l’optimisation des ressources cloud et à la maîtrise des coûts d’exploitation. Enfin, le consultant joue un rôle transverse en interaction avec les équipes Data, métiers et infrastructure, avec une forte attente sur la structuration des bonnes pratiques, la documentation et le transfert de compétences, dans un environnement exigeant en termes de qualité, de gouvernance et de performance.

Nous recherchons un profil technique pour accompagner des projets data stratégiques au sein d’un acteur spécialisé dans la transformation et l’architecture des systèmes d’information. Vos missions Concevoir et faire évoluer des architectures data modernes (cloud, data lake, data warehouse, data mesh… selon les projets). Définir les standards et bonnes pratiques d’ingénierie des données. Concevoir, développer et optimiser des pipelines de données robustes et industrialisés. Participer aux choix technologiques et contribuer à la mise en place d’une gouvernance data efficace. Collaborer avec les équipes projet (data engineers, data analysts, product owners…) pour garantir la qualité et la fiabilité de la donnée. Compétences recherchées Maîtrise d’un ou plusieurs environnements cloud : AWS, Azure ou GCP. Expérience avérée en conception d’architectures data (batch, streaming, event-driven…). Solide pratique des langages et écosystèmes data : Python, SQL, Spark, DBT, Kafka, Airflow… Bonne compréhension des modèles de stockage et de traitement (Delta Lake, BigQuery, Snowflake…). Connaissance des bonnes pratiques de CI/CD, observabilité, sécurité et gouvernance data.

Dans le cadre de ses projets data et décisionnels, nous recherchons actuellement un.e Pilote de recette / Recetteur Data pour intervenir chez l’un de nos clients du secteur assurance / mutualité. Vous intégrerez la Direction Data, au cœur des projets de transformation et d’industrialisation des pratiques de recette et de qualité des données. L’objectif de la mission est double : fiabiliser les mises en production et renforcer la confiance des métiers dans les indicateurs et tableaux de bord produits. Vous évoluerez dans un environnement transverse, en interaction avec les équipes métiers, MOA, MOE, Data Engineers, Data Analysts et modélisateurs. 🎯 Votre rôle En tant que Pilote de recette / Recetteur Data, vous intervenez à la fois sur la structuration des pratiques de recette et sur leur mise en œuvre opérationnelle sur les projets data. Vous contribuez à sécuriser la qualité des données livrées et à mettre en place un cadre de recette robuste, industrialisé et partagé par l’ensemble des équipes. Votre rôle combine cadrage méthodologique, audit des pratiques existantes et exécution des campagnes de recette sur des projets à fort enjeu décisionnel. 🚀 Vos missions 📊 Audit, cadrage et structuration des pratiques de recette Vous intervenez en amont des projets afin de structurer et améliorer les pratiques existantes : Réaliser un état des lieux des pratiques de recette en place Analyser les stratégies, rôles, outils et livrables existants Identifier les écarts, risques et bonnes pratiques à capitaliser Évaluer la couverture des tests (fonctionnels, data, non-régression, performance) Proposer un cadre méthodologique cible et des standards de recette Définir une feuille de route d’amélioration avec priorisation des actions 🧪 Recette opérationnelle des projets data Vous prenez en charge l’ensemble des activités de recette sur les projets data et décisionnels : Définir les stratégies de recette adaptées aux projets Concevoir les cahiers de recette (cas de tests, jeux de données, critères d’acceptation) Organiser et piloter les campagnes de recette (UAT, non-régression, validation data) Exécuter les tests sur environnements data, notamment via requêtes SQL Contrôler la qualité, la cohérence et la réconciliation des données entre systèmes Identifier, qualifier et suivre les anomalies jusqu’à leur résolution Produire les bilans de recette et les PV de validation 📈 Pilotage, qualité et amélioration continue Vous contribuez également à la structuration du pilotage de la qualité : Mettre en place des indicateurs de suivi (couverture, qualité, charge, délais) Assurer le reporting des campagnes de recette Accompagner les équipes dans l’adoption des bonnes pratiques Participer à l’industrialisation des pratiques de recette Contribuer à la capitalisation des méthodes et outils 🧭 Environnement fonctionnel & technique 🏢 Domaine fonctionnel Data & décisionnel Reporting et indicateurs métiers Qualité de données Data Warehouse / Data Lake Systèmes d’information groupe Assurance / mutualité 🛠 Technologies & outils SQL (requêtes de contrôle et de validation) Data Warehouse / Data Lake Modélisation décisionnelle (étoile, flocon, datamarts) ETL / ELT Jira, HP ALM / Quality Center, ServiceNow (ou équivalents) Power BI, Qlik, Tableau (apprécié)

Secteur Luxe / Beauty Tech - Environnement International Un acteur international du secteur luxe/beauté recherche un Senior Cloud & DevOps Engineer avec un solide background backend C#/.NET pour intervenir sur des plateformes digitales critiques déployées à l'échelle mondiale. Le poste est principalement orienté cloud platform engineering, DevOps et infrastructure Azure, avec une forte capacité de développement backend sur des architectures cloud-native. Missions Développer et maintenir des services backend en C# / .NET Core et Azure Functions Concevoir et maintenir des architectures cloud-native sur Azure Gérer les infrastructures via Terraform (IaC) Industrialiser les déploiements CI/CD avec Azure DevOps YAML Déployer et maintenir des workloads containerisés sous Kubernetes / AKS Participer à la mise en place et à l'évolution des architectures microservices et event-driven Maintenir les flux Data / ETL et les intégrations vers le Data Lake Garantir la stabilité, la performance et la disponibilité des plateformes Collaborer avec les équipes sécurité afin d'appliquer les standards cloud et compliance Participer au troubleshooting et à l'amélioration continue des environnements de production Stack technique C# / .NET Core Azure Functions Microsoft Azure Terraform Azure DevOps Pipelines (YAML) Docker / Kubernetes / AKS Azure Event Hubs SQL Server Data Lake / ETL Azure AD / Entra ID Architecture microservices & event-driven Profil recherché Solide expérience sur Azure Cloud et environnements cloud-native Très bon niveau backend sur C# / .NET Core Expertise Terraform et Infrastructure-as-Code Expérience concrète sur Kubernetes / AKS et CI/CD Bonne compréhension des problématiques sécurité cloud et IAM Capacité à évoluer sur des environnements internationaux complexes Expérience production critique / haute disponibilité appréciée Connaissance Azure China ou environnements cloud réglementés = plus Positionnement du rôle Le poste correspond davantage à un profil Cloud / DevOps Engineer senior avec une forte capacité de développement backend C#, qu'à un Full-Stack Engineer orienté front-end. Montreal Associates is acting as an Employment Business in relation to this vacancy.

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

Nous recherchons un(e) Consultant(e) Data Platform / DataOps Senior pour intervenir au sein d’un groupe international engagé dans une transformation ambitieuse de son écosystème Data & Analytics. Au sein d’une équipe Data transverse, vous participerez à la conception, l’évolution et l’industrialisation d’une plateforme Data Cloud moderne, destinée à centraliser et valoriser les données provenant de multiples systèmes métiers. Vous contribuerez à la mise en place de solutions robustes, scalables et sécurisées permettant de répondre aux enjeux de gouvernance, d’intégration et d’exploitation de la donnée. Vos principales responsabilités seront les suivantes : Participer à l’architecture et à l’évolution de la plateforme Data ; Concevoir et industrialiser les pipelines de traitement et d’intégration de données ; Développer et optimiser les traitements de données à grande échelle sur Spark ; Mettre en œuvre les bonnes pratiques DataOps (CI/CD, automatisation, monitoring, qualité des données) ; Contribuer à l’intégration des applications et des flux de données au sein du SI ; Collaborer avec les équipes Data Engineering, Architecture, BI et Métiers ; Participer à l’amélioration continue de la performance, de la fiabilité et de la sécurité de la plateforme. Environnement technique : Azure, Databricks, Spark/PySpark, Azure Data Factory, Azure DevOps, Data Lake, CI/CD, API & intégration de données. Nous recherchons un profil disposant d’au moins 6 ans d’expérience sur des environnements Data Cloud, avec une solide expertise Azure et Spark. Une expérience des sujets d’intégration de données et des plateformes iPaaS constitue un véritable atout. Une connaissance de MuleSoft serait particulièrement appréciée. Le poste nécessite une forte capacité à évoluer dans des environnements internationaux, à dialoguer avec des interlocuteurs techniques et fonctionnels, ainsi qu’une bonne autonomie sur les problématiques de plateforme Data et d’industrialisation.

Notre client, acteur du secteur audiovisuel, est à la recherche de son futur DBA ElasticSearch / Data Platform (H/F) pour son site de Bry-sur-Marne, dans le cadre d’un projet stratégique de structuration et d’optimisation de son infrastructure data. Vos missions : Intégré à une équipe technique orientée data et infrastructure, vous devrez : Réaliser des POC autour de clusters ElasticSearch ou OpenSearch Déployer et intégrer ces solutions dans un environnement Kubernetes Mettre en œuvre des solutions de stockage objet (type S3) Participer à l’évaluation et à l’intégration d’Apache Iceberg Automatiser les déploiements via Ansible Contribuer à la mise en place d’une architecture data scalable et performante Apporter des recommandations techniques et bonnes pratiques Les compétences techniques ElasticSearch ou OpenSearch Kubernetes et Docker Apache Iceberg (idéalement) Ansible (automatisation) Stockage objet (S3 ou équivalent) Connaissances en Data Lake / architectures distribuées

Mission : Responsable de la coordination et de l'administration des données (Data Lake ou autre) de son Métier. Responsable de l’analyse et de la validation des données Préparer des présentations pour les clients. Responsable de l'organisation et de la gestion des données et méta données, etc.... Environnement technique : - Data Acquisition & Entrie - Data Gouvernance - Metadata Management - Data Quality - Maîtrise des données du Métier - Expertise des processus de gestion et d’administration du Data Lake - Compétences et expertises requises : - Connaissance approfondie du logiciel SAS - Capacité de développer des programmes SHELL d'ordonnancement de traitements SAS de chargement de base de données Teradata - L'environnement est très technique il faut une bonne capacité d'adaptation sur des technologies diverses (GIT, awk, SQL, DDL Teradata, Ansible, Agile SCRUM) Livrables : Mise en place des scripts de chargement des données en base et documentation des scripts - Automatisation des scripts de chargement développés (traitements batch)

Contexte de la mission Dans le cadre d’un programme structurant de modernisation du système d’information , nous recherchons un profil Data Engineer / DevOps senior pour renforcer une équipe existante. La mission s’inscrit au cœur du SI cible , au service de plusieurs applications critiques orientées data, intégration et services temps réel. Le poste vise à industrialiser les chaînes DevOps et à structurer les flux Data Lake dans un environnement cloud native, fortement automatisé et orienté open source . Démarrage souhaité : mai / juin Localisation : Rive gauche bordeaux, nécessite un véhicule Objectifs de la mission Le rôle est double : DevOps / Plateforme Industrialisation et sécurisation des chaînes d’intégration et de déploiement Standardisation des pratiques GitOps sur un socle Kubernetes multi‑environnements Renforcement de l’automatisation et de l’observabilité des plateformes applicatives et data Data / Streaming Accompagnement à la conception et à la standardisation des flux data temps réel Structuration d’un Data Lake orienté streaming et lakehouse Garantie de la performance, de la résilience et de la maintenabilité des flux Domaines d’intervention & compétences clés Socle Kubernetes & DevOps Orchestration : Kubernetes (Namespaces, Ingress, RBAC) GitOps : GitLab CI, Helm, ArgoCD Observabilité : Grafana, Prometheus, Loki, Tempo Sécurité CI/CD : SAST, DAST, Trivy Environnements : OpenStack Écosystème Data & Data Lake Streaming & CDC : Kafka, Debezium Processing : Spark SQL, Airflow Lakehouse : Apache Iceberg Query Engine : Trino (PrestoSQL) Stockage objet : Ceph (ou équivalent) Micro‑services & APIs Runtimes : Java / Quarkus, Python API Management : Kong Protocoles : MQTT (atout) Optimisation des performances applicatives et data Livrables attendus (exemples) Socle & automatisation Mise en place d’architectures ArgoCD (Application of Applications) Catalogue de Charts Helm industrialisés Bibliothèque de pipelines GitLab CI/CD standardisés et sécurisés Data & Streaming Provisionnement automatisé des clusters Kafka et connecteurs Debezium Configuration optimisée de Trino sur stockage objet Mise en place des DAGs Airflow pour l’orchestration des traitements Documentation & MCO Dashboards de supervision avancés Rédaction du Dossier d’Architecture Technique (DAT) Rédaction de Runbooks MCO / PRA Définition de standards techniques et bonnes pratiques cloud native Profil recherché Expérience confirmée (5 à 8 ans minimum) en DevOps, Data Engineer ou Platform Engineer Très bonne maîtrise de Kubernetes et des pratiques GitOps Expérience concrète sur des plateformes Kafka et Data Lake À l’aise dans des contextes SI complexes et structurants Capacité à travailler en collaboration étroite avec équipes de développement, architectes et chefs de projet Autonomie, rigueur, sens de l’industrialisation