Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Mission basée à Lyon avec une présence sur site requise trois jours par semaine, ce rôle de Data Engineer Principal s’inscrit dans un contexte exigeant mêlant data engineering et machine learning. Démarrage ASAP pour une mission courant jusqu’au 31 décembre 2026. Au sein des équipes produit, le consultant interviendra sur la conception, la construction et la maintenance du data layer ainsi que des plateformes de données. Il sera responsable de la mise en œuvre d’architectures robustes permettant le traitement et l’analyse de volumes de données importants, en garantissant performance, scalabilité et fiabilité. Le poste implique également la gestion des flux de données et des interfaces associées, avec la création et l’intégration de structures optimisées pour l’exploitation analytique. Une attention particulière sera portée à l’industrialisation et au déploiement d’algorithmes performants, dans une logique d’optimisation continue. Le profil recherché justifie d’au moins 7 ans d’expérience, avec une expertise confirmée en data engineering, architecture data, data management et environnements data lake, ainsi qu’une bonne maîtrise des problématiques machine learning.

Contexte Dans le cadre de la modernisation de sa plateforme data, un grand acteur du secteur de l’énergie renforce ses équipes data pour accompagner le déploiement de solutions basées sur Microsoft Fabric . L’objectif est de structurer une architecture data moderne, scalable et orientée métier, afin de répondre aux enjeux de valorisation des données (trading, consommation, production, performance énergétique). Missions Concevoir et développer des pipelines de données sur Microsoft Fabric Participer à la mise en place d’une architecture data (Lakehouse, Medallion Architecture) Intégrer et transformer des données issues de multiples sources (IoT, marché, SI internes) Optimiser les performances et la qualité des données (data quality, monitoring) Collaborer avec les équipes métiers (trading, risk, opérations) pour répondre aux besoins analytiques Contribuer à l’industrialisation des traitements (CI/CD, bonnes pratiques) Stack technique Microsoft Fabric (OneLake, Data Factory, Synapse, Power BI) Azure (Data Platform) Python / PySpark / SQL Data Lake / Lakehouse Git / CI-CD

Dans le cadre d’un projet au sein de la Digital Factory d’un grand groupe international du secteur de l’énergie , nous recherchons un Data Engineer expérimenté pour concevoir et mettre en place des pipelines de données dans un environnement Azure Cloud serverless . Contexte La Digital Factory du groupe (plusieurs centaines de collaborateurs, organisation en squads internationales) développe et déploie des solutions digitales afin de soutenir les activités du groupe à l’échelle mondiale. Missions Concevoir et développer des pipelines de données en Python Mettre en place des traitements batch et orchestrations via Azure Durable Functions Manipuler des volumes de données importants (Parquet) Mettre en place des contrôles qualité et validations de schémas Intégrer des API externes Participer à la modélisation et optimisation des bases Azure SQL Implémenter l’ observabilité (logs, métriques, traces) Industrialiser les déploiements via CI/CD Garantir la qualité et la sécurité du code (tests automatisés, scans) Stack technique Python Azure Cloud Azure Functions (Durable Functions v2) Data Lake / Blob Storage / Azure DB Pandas, Polars, PyArrow Profil recherché Minimum 6 ans d’expérience en Data Engineering Forte expertise Python & Azure Expérience sur architectures serverless Capacité à travailler en environnement agile / squad Anglais courant Informations mission Démarrage : mi / fin mars 2026 Durée : 12 mois Localisation : Paris Télétravail : 2 jours / semaine Processus de sélection Test technique (Codingame) à réaliser sous 72h Échange technique avec l’équipe projet

Contexte de la mission Cette équipe est responsable de la conception, du déploiement et de la maintenance d'une plateforme data cloud utilisée à l’échelle du groupe. Cette plateforme doit répondre à des enjeux majeurs tels que : la scalabilité la gouvernance la sécurité la performance Actuellement, l’environnement est principalement orienté vers Azure, avec une interopérabilité multi-cloud envisageable. Objectifs et livrables Infrastructure & Cloud (Azure) Développement et maintenance d’infrastructures en utilisant Terraform, Bicep et ARM Déploiement et gestion des ressources Azure : Azure Data Lake Storage (ADLS Gen2) Azure Storage (Blob) Azure Virtual Network, NSG, Private Endpoints Gestion des environnements cloud (DEV, TEST, PROD) Data Platform Administration et exploitation d’un Data Lake Azure Gestion des accès, de la gouvernance et de la sécurité des données : Azure AD / RBAC Politiques / Purview pour la gouvernance data Optimisation des performances et des coûts CI/CD & Automatisation Conception et maintenance de pipelines CI/CD avec Azure DevOps et GitHub Actions Automatisation des déploiements (infrastructure, données et services) Développement & APIs Création de microservices en Python Développement de REST APIs et architectures événementielles Intégration avec les services Azure tels que Functions et Event Hub Containers & Orchestration Déploiement de services containerisés via : Azure Kubernetes Service (AKS) Azure Container Apps / Azure Container Instances Monitoring & Fiabilité Mise en place de solutions de supervision telles que Azure Monitor, Log Analytics et Application Insights Suivi de la performance et de la disponibilité des services Collaboration Rédaction de documentation technique Interaction avec les équipes data, développement et métier Participation aux cérémonies Agile

Pour un client du domaine de l'énergie, vous intégrerez la squad Data & Analytics Platform . Dans un environnement technologique en mutation rapide, cette équipe est responsable de la conception, de la construction et du support de la plateforme de données utilisée à l'échelle mondiale par l'ensemble des entités du groupe. Le poste est basé à Paris (75002) avec un rythme de travail hybride (3 jours de présence sur site impératifs). Missions : En tant que membre clé de la squad, vos activités principales se concentrent sur l'automatisation, la sécurité et la fiabilité de l'écosystème Data : Infrastructure as Code (IaC) : Développement, mise à jour et maintenance du code Terraform (environnements AWS et Azure) en respectant les standards de sécurité et de conformité internes. Automatisation CI/CD : Conception et maintenance des chaînes de déploiement automatisées via GitHub Actions pour garantir des mises en production fluides et sécurisées. Administration de Data Lake : Exploitation et optimisation du stockage (Amazon S3), gestion des cycles de vie des données (Lifecycle policies) et pilotage de la performance/coûts (FinOps). Sécurité et Gouvernance : Mise en œuvre des politiques d'accès (IAM), gestion de la configuration réseau (VPC, NSG, ACLs) et respect des réglementations sur l'exploitation de la donnée. Développement de Services : Création et maintenance de micro-services et d'APIs (REST, Event-driven) en Python. Support et Documentation : Rédaction et enrichissement de la documentation technique à destination des utilisateurs finaux et monitoring de la plateforme (supervision).

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€

Nous recherchons un Senior Data Analysr Power BI . La mission implique la conception, le développement et la mise en œuvre de solutions analytiques avancées pour répondre aux besoins des métiers. 🎯 Missions principales Accompagner les utilisateurs dans la définition et la formalisation des besoins et des enjeux de restitution et de datavisualisation. Animer des ateliers de type “Design” pour clarifier les besoins et proposer des solutions adaptées. Participer aux travaux de cadrage SI , études d’opportunité et de faisabilité. Recueillir et rédiger les expressions de besoins et spécifications fonctionnelles de solutions analytiques, et valider les livrables. Concevoir et réaliser les restaurations Power BI : rapports, indicateurs et tableaux de bord. Participer à la documentation des règles de sécurité des données et des applications. Élaborer les manuels utilisateurs et les supports de formation aux applications de datavisualisation. Rédiger les spécifications techniques et cahiers des charges pour les POC ou déploiements. Préconiser les adaptations et améliorations des processus existants . 📊 Livrables Développement et déploiement des cas d’usage (cartographies, tableaux de bord, data quality, alimentation du DatalakeHouse…). Documentation des règles de calcul et d’agrégation pour les indicateurs. Rédaction de plans de tests, cahiers de recette et supports utilisateurs . Production et mise à disposition des tableaux de bord . 🛠️ Environnement technique Power BI (Desktop et Service) Databricks, Nifi, RedShift Power Automate, Power Platform Cloud AWS Smart Data, API REST

Contexte de la mission Dans le cadre du développement d’une plateforme data au sein d’un grand groupe du secteur de l’énergie, vous intervenez au sein d’une équipe transverse dédiée à l’accélération des usages Data et IA. L’équipe accompagne les différents métiers dans la conception, la mise en œuvre et l’industrialisation de solutions data à grande échelle, dans un environnement moderne (cloud, big data, data gouvernance). Missions Collecter et intégrer des données issues de sources multiples (structurées et non structurées) Concevoir et maintenir des pipelines de données fiables et performants Structurer et modéliser la donnée (logique sémantique, normalisation) Mettre en place des processus de data quality (nettoyage, déduplication, validation) Assurer la qualité et la cohérence des données intégrées dans le Data Lake Participer à la cartographie et à la gestion des référentiels de données Collaborer avec les Data Analysts et Data Scientists pour faciliter l’exploitation des données Contribuer à la gouvernance des données et à la définition du cycle de vie de la donnée Participer à l’amélioration continue des performances et des coûts des traitements Environnement technique SQL (niveau avancé) Spark Python APIs AWS Databricks Outils de data gouvernance (type Collibra – apprécié)

Mettre en oeuvre et maintenir la conception, l’industrialisation et l’évolution des solutions data et IA sur la plateforme Lakehouse. Garantir la robustesse, la performance, la sécurité et la qualité des données au service des usages métiers, analytiques et IA. Mission 􋰄 Expertise avancée Databricks & Lakehouse. Concevoir et optimiser des architectures data sur Databricks. Maîtriser Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks. Garantir performance, scalabilité et optimisation des coûts. Définir et appliquer les bonnes pratiques (partitionnement, optimisation, gouvernance, sécurité). 􋰄 Modélisation & conception de la donnée Concevoir des modèles analytiques et décisionnels robustes. Définir faits, dimensions, granularité et historisation (SCD). Assurer cohérence, unicité et maintenabilité des modèles. Traduire les besoins métiers en structures data pérennes. 􋰄 Industrialisation & Data Engineering Développer et fiabiliser des pipelines ELT/ETL. Superviser les tests, validations et mises en production. Contribuer à la démarche CI/CD. 􋰄 Développement augmenté par l’IA Exploiter les outils de développement assisté par l’intelligence artificielle pour accélérer la production tout en maintenant un haut niveau d’exigence (qualité, sécurité, maintenabilité). 􋰄 Qualité & gouvernance des données Implémenter et superviser les contrôles de Data Quality. Structurer la gestion des anomalies et rejets. Garantir la traçabilité et le data lineage. 􋰄 Leadership & contribution transverse Diffuser les standards et collaborer étroitement avec PO, Architectes et Data Stewards.

Contexte de la mission Dans le cadre d’un programme structurant de modernisation du système d’information , nous recherchons un profil Data Engineer / DevOps senior pour renforcer une équipe existante. La mission s’inscrit au cœur du SI cible , au service de plusieurs applications critiques orientées data, intégration et services temps réel. Le poste vise à industrialiser les chaînes DevOps et à structurer les flux Data Lake dans un environnement cloud native, fortement automatisé et orienté open source . Démarrage souhaité : mai / juin Localisation : Rive gauche bordeaux, nécessite un véhicule Objectifs de la mission Le rôle est double : DevOps / Plateforme Industrialisation et sécurisation des chaînes d’intégration et de déploiement Standardisation des pratiques GitOps sur un socle Kubernetes multi‑environnements Renforcement de l’automatisation et de l’observabilité des plateformes applicatives et data Data / Streaming Accompagnement à la conception et à la standardisation des flux data temps réel Structuration d’un Data Lake orienté streaming et lakehouse Garantie de la performance, de la résilience et de la maintenabilité des flux Domaines d’intervention & compétences clés Socle Kubernetes & DevOps Orchestration : Kubernetes (Namespaces, Ingress, RBAC) GitOps : GitLab CI, Helm, ArgoCD Observabilité : Grafana, Prometheus, Loki, Tempo Sécurité CI/CD : SAST, DAST, Trivy Environnements : OpenStack Écosystème Data & Data Lake Streaming & CDC : Kafka, Debezium Processing : Spark SQL, Airflow Lakehouse : Apache Iceberg Query Engine : Trino (PrestoSQL) Stockage objet : Ceph (ou équivalent) Micro‑services & APIs Runtimes : Java / Quarkus, Python API Management : Kong Protocoles : MQTT (atout) Optimisation des performances applicatives et data Livrables attendus (exemples) Socle & automatisation Mise en place d’architectures ArgoCD (Application of Applications) Catalogue de Charts Helm industrialisés Bibliothèque de pipelines GitLab CI/CD standardisés et sécurisés Data & Streaming Provisionnement automatisé des clusters Kafka et connecteurs Debezium Configuration optimisée de Trino sur stockage objet Mise en place des DAGs Airflow pour l’orchestration des traitements Documentation & MCO Dashboards de supervision avancés Rédaction du Dossier d’Architecture Technique (DAT) Rédaction de Runbooks MCO / PRA Définition de standards techniques et bonnes pratiques cloud native Profil recherché Expérience confirmée (5 à 8 ans minimum) en DevOps, Data Engineer ou Platform Engineer Très bonne maîtrise de Kubernetes et des pratiques GitOps Expérience concrète sur des plateformes Kafka et Data Lake À l’aise dans des contextes SI complexes et structurants Capacité à travailler en collaboration étroite avec équipes de développement, architectes et chefs de projet Autonomie, rigueur, sens de l’industrialisation

🎯 Contexte & Objectif du Poste Dans le cadre du renforcement de la gouvernance et de la structuration du paysage data, nous recherchons un Data Manager Senior intervenant de manière transversale sur le domaine Customer et les autres domaines data. Le Data Manager joue un rôle clé d’interface entre les équipes métier, produit et techniques. Il garantit la cohérence, la standardisation et la qualité long terme des données tout en accompagnant la conception des data products. 🧩 Responsabilités principales1️⃣ Cadrage & Conception des Data Products Accompagner les équipes Customer dans le cadrage et la conception des data products. Apporter une forte compréhension fonctionnelle des processus Customer. Conseiller sur les choix de modélisation, la complexité, la faisabilité et les impacts transverses. Garantir l’alignement avec les standards data et l’architecture cible. 2️⃣ Gouvernance & Standards Data Définir, maintenir et promouvoir les standards de data management (règles de modélisation, conventions de nommage, documentation). Co-construire des guidelines et patterns lors de nouveaux cas d’usage. Assurer l’adoption et la cohérence des standards au sein du domaine Customer. Être référent sur la qualité de la documentation et les bonnes pratiques de gouvernance. 3️⃣ Urbanisation & Cohérence Transversale Assurer l’interopérabilité entre les domaines data. Identifier et corriger les duplications, chevauchements et fragmentations (notamment autour des concepts Customer). Fournir des recommandations pour simplifier et rationaliser le paysage data. Promouvoir la réutilisation, l’harmonisation et la qualité long terme des données. 4️⃣ Data Management Opérationnel Support aux activités continues de gestion des données. Maintien de la documentation, des modèles et des définitions de données. Coordination des parties prenantes. Mise en place et suivi des règles de qualité, contrôles et réconciliations.

Nous recherchons un Ingénieur Data H/F pour une mission à Tours. Missions : Développer et maintenir des pipelines de données avec Airflow Concevoir et optimiser des traitements de données en Python Collecter, nettoyer et transformer des données issues de sources variées Alimenter des entrepôts de données (Data Warehouse / Data Lake) Assurer la qualité, la fiabilité et la traçabilité des données Collaborer avec les équipes métiers pour la mise à disposition de dashboards sous Power BI Participer à l’optimisation des performances et à l’automatisation des flux

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise. Missions principales Concevoir, développer et optimiser des pipelines de données à grande échelle. Mettre en œuvre des flux batch , streaming et ingestion via API . Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold). Développer et industrialiser les pipelines via DBT , Spark et Iceberg . Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise. Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent). Orchestrer les workflows ETL/ELT via Airflow . Mettre en œuvre l’ Infrastructure as Code ( Terraform ). Exécuter les traitements dans des environnements conteneurisés ( Docker , Kubernetes ). Garantir la disponibilité, la supervision et l’observabilité des traitements. Participer à la gestion des incidents et à l’amélioration continue. Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés). Documenter les architectures, pipelines et règles métier. Garantir la conformité des flux, notamment dans le cadre RGPD .

🎯 MISSIONS Concevoir et déployer des pipelines ETL/ELT performants (complets, incrémentaux, historiques) Construire et maintenir des Data Warehouses, Data Marts et cubes décisionnels Intégrer des données via API, transferts de fichiers, Data Lakes Optimiser les performances SQL et gérer les incidents en production Contribuer aux phases de cadrage / data discovery avec les parties prenantes Appliquer les bonnes pratiques dev, tests et déploiement en Agile Livrables attendus : Composants data développés et déployés (code source) Documentation technique et fonctionnelle Modèles de données documentés Rapports de tests/recette + transfert de connaissances 🛠️ ENVIRONNEMENT TECHNIQUE Obligatoire : SQL Server (Database Engine, SSIS, SSAS) Power BI / Reporting Services SQL avancé, DAX, MDX Talend et/ou SSIS (ADF apprécié) CI/CD : Azure DevOps, GitLab Architecture : Data Warehouse, Data Lake, Médaillon Apprécié : DBT, Trino, MinIO GCP (BigQuery, GCS, Dataproc) 👤 PROFIL RECHERCHÉ Senior Data Engineer avec expertise confirmée Microsoft SQL Server Expérience solide en ETL industrialisé (Talend / SSIS) Bonne maîtrise des architectures data modernes Anglais courant indispensable Méthode Agile maîtrisée

Si la Data est pour toi une passion plus qu'une compétence, rejoins notre univers technique qui t'attend de pied ferme avec ce poste de Business Analyst Data (Assurance Vie / Banque Patrimoniale) ! 🚀 Ton challenge si tu l’acceptes : • Recueillir, analyser et formaliser les besoins métiers (finance, risques, conformité…) • Animer des ateliers avec les équipes métier et cadrer les besoins • Concevoir et maintenir les modèles de données • Participer à la mise en place des flux data (ETL / DWH / Data Lake) • Assurer la recette fonctionnelle et garantir la qualité des données • Suivre les anomalies et assurer la cohérence des données • Travailler en méthodologie Agile/Scrum avec les équipes IT et Data

Description Pour le compte de notre client grand compte, Nous recherchons Data Engineer pour intervenir sur une plateforme Data stratégique, avec un rôle clé dans la gestion des flux de données et le maintien en condition opérationnelle. Tâches principales Assurer l’ingestion et l’orchestration des données (JIRA, CRM type Salesforce/Zoho, outils métiers) Centraliser et structurer les données au sein d’un Data Lake Développer et maintenir des pipelines de données (Python, API REST) Garantir la qualité, la sécurité et l’anonymisation des données Collaborer avec les équipes métiers pour faciliter le reporting Profil Recherché Expérience confirmée en Data Engineering Maîtrise de Python et des API REST Bonne connaissance de PostgreSQL Expérience sur Azure et Databricks Sensibilité à la data visualisation appréciée Rigueur, autonomie et esprit analytique Lieu : Paris