Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Dans le cadre d’un projet au sein de la Digital Factory d’un grand groupe international du secteur de l’énergie , nous recherchons un Data Engineer expérimenté pour concevoir et mettre en place des pipelines de données dans un environnement Azure Cloud serverless . Contexte La Digital Factory du groupe (plusieurs centaines de collaborateurs, organisation en squads internationales) développe et déploie des solutions digitales afin de soutenir les activités du groupe à l’échelle mondiale. Missions Concevoir et développer des pipelines de données en Python Mettre en place des traitements batch et orchestrations via Azure Durable Functions Manipuler des volumes de données importants (Parquet) Mettre en place des contrôles qualité et validations de schémas Intégrer des API externes Participer à la modélisation et optimisation des bases Azure SQL Implémenter l’ observabilité (logs, métriques, traces) Industrialiser les déploiements via CI/CD Garantir la qualité et la sécurité du code (tests automatisés, scans) Stack technique Python Azure Cloud Azure Functions (Durable Functions v2) Data Lake / Blob Storage / Azure DB Pandas, Polars, PyArrow Profil recherché Minimum 6 ans d’expérience en Data Engineering Forte expertise Python & Azure Expérience sur architectures serverless Capacité à travailler en environnement agile / squad Anglais courant Informations mission Démarrage : mi / fin mars 2026 Durée : 12 mois Localisation : Paris Télétravail : 2 jours / semaine Processus de sélection Test technique (Codingame) à réaliser sous 72h Échange technique avec l’équipe projet

Nous recherchons pour l’un de nos clients un Data Engineer pour intervenir sur un projet stratégique de référentiel de données financières . Le projet vise à centraliser, fiabiliser et gouverner l’ensemble des données liées aux instruments financiers , au sein d’un socle de Master Data Management (MDM) . Vous intégrerez une squad Data pluridisciplinaire composée de développeurs Data, d’un Architecte technique, d’un Business Analyst et d’un Product Owner. Mission : Conception & développement Data : Conception et développement de pipelines de données robustes et évolutifs Implémentation du modèle Bronze / Silver / Gold Intégration et transformation de données multi-sources Orchestration & ingestion : Développement et paramétrage de workflows Apache NiFi Collecte et normalisation de données issues de : fichiers CSV / XML API REST Industrialisation et sécurisation des flux Modélisation & qualité des données : Participation à la modélisation du socle de données Construction de vues consolidées MDM Mise en place de contrôles de qualité : complétude unicité cohérence traçabilité et versioning Performance, sécurité & bonnes pratiques : Suivi et optimisation des performances des pipelines Mise en œuvre des standards de sécurité des données (authentification, chiffrement, gestion des accès) Documentation technique et partage de connaissances au sein de la squad

Pour un client du domaine de l'énergie, vous intégrerez la squad Data & Analytics Platform . Dans un environnement technologique en mutation rapide, cette équipe est responsable de la conception, de la construction et du support de la plateforme de données utilisée à l'échelle mondiale par l'ensemble des entités du groupe. Le poste est basé à Paris (75002) avec un rythme de travail hybride (3 jours de présence sur site impératifs). Missions : En tant que membre clé de la squad, vos activités principales se concentrent sur l'automatisation, la sécurité et la fiabilité de l'écosystème Data : Infrastructure as Code (IaC) : Développement, mise à jour et maintenance du code Terraform (environnements AWS et Azure) en respectant les standards de sécurité et de conformité internes. Automatisation CI/CD : Conception et maintenance des chaînes de déploiement automatisées via GitHub Actions pour garantir des mises en production fluides et sécurisées. Administration de Data Lake : Exploitation et optimisation du stockage (Amazon S3), gestion des cycles de vie des données (Lifecycle policies) et pilotage de la performance/coûts (FinOps). Sécurité et Gouvernance : Mise en œuvre des politiques d'accès (IAM), gestion de la configuration réseau (VPC, NSG, ACLs) et respect des réglementations sur l'exploitation de la donnée. Développement de Services : Création et maintenance de micro-services et d'APIs (REST, Event-driven) en Python. Support et Documentation : Rédaction et enrichissement de la documentation technique à destination des utilisateurs finaux et monitoring de la plateforme (supervision).

Nous recherchons pour l'un de nos clients un(e) Data Engineer pour renforcer une squad Data dédiée à la mise en place d’un socle de Master Data Management (MDM) . L’objectif du projet est de centraliser, fiabiliser et gouverner les données liées aux instruments financiers , dans un environnement exigeant en matière de qualité, traçabilité et sécurité. Missions : Intégré(e) à une équipe pluridisciplinaire (Data Engineers, Architecte, BA, PO), vous interviendrez sur : La conception et le développement de pipelines de données (modèle Bronze / Silver / Gold) L’ingestion et l’orchestration des flux via Apache NiFi L’intégration de données multi-sources (CSV, XML, API REST) La modélisation des données et la construction de vues consolidées MDM La mise en place de contrôles de qualité et de traçabilité (logs, audit, complétude, cohérence, versioning) L’optimisation des performances des pipelines Le respect des standards de sécurité et conformité La documentation et le partage de bonnes pratiques au sein de la squad Environnement technique Apache NiFi SQL / NoSQL PostgreSQL Stockage objet : S3 / Blob Formats & protocoles : JSON, XML, CSV, API REST Scripting : Python , Bash CI/CD : GitLab, GitLab CI

Nous recherchons un Data Engineer AWS pour intervenir sur l’exploitation et l’évolution d’une plateforme Data & Analytics dans un contexte de projet structurant. La mission s’inscrit dans un programme de maintenance et d’industrialisation des solutions Cloud et Big Data. Missions principales : Assurer le support applicatif et technique de niveau 1 et 2 sur les solutions Data. Participer à la maintenance évolutive et à l’amélioration continue des plateformes existantes. Concevoir et développer des solutions Data & Analytics en respectant les standards de qualité et de performance. Rédiger la documentation technique et fonctionnelle liée aux livrables. Partager les bonnes pratiques et contribuer à la montée en compétences collective. Estimer les charges, participer à la conception technique et au déploiement des solutions.

Nous recherchons deux profils complémentaires : Expert Data Gouvernance : définition du cadre stratégique et de la gouvernance des données Data Custodian : mise en œuvre opérationnelle et supervision des données Ces deux rôles interviennent sur la visibilité, la qualité et la fiabilité des données tout au long de la chaîne de traitement. Expert Data Gouvernance Objectif Définir le cadre de gouvernance des données et apporter la vision stratégique permettant de structurer les pratiques autour de la plateforme data. Responsabilités Définir le cadre de gouvernance des données Structurer les rôles et responsabilités autour de la data Accompagner les équipes métiers et techniques Apporter une vision stratégique sur l’organisation et la gestion des données Informations mission Durée : 2 à 3 mois renouvelable Charge : 40 à 60 % Localisation : Paris ou Nantes Déplacements ponctuels à Nantes Data Custodian Rôle Le Data Custodian garantit la visibilité, la qualité et la disponibilité des données issues du RAW et agit comme point de contact privilégié avec les systèmes sources. Objectifs Garantir la disponibilité, la qualité et la traçabilité des données Assurer la complétude des sources Maintenir la visibilité sur les données brutes et leurs transformations Garantir la cohérence des données pour les équipes métiers et techniques Activités BUILD Cartographier les données RAW et identifier les sources Documenter les sources et les transformations Participer aux ateliers de conception Mettre en place des outils de catalogue / dictionnaire de données Définir les métriques et alertes pour la supervision Activités RUN Superviser la chaîne technique du RAW Suivre les flux et indicateurs Informer les équipes des évolutions des systèmes sources Analyser l’impact sur les socles data Sponsoriser les évolutions SI améliorant la qualité des données Durée : 1 an renouvelable Charge : temps plein Localisation : Nantes

Data Steward / Référent Qualité et Gouvernance des Données. Rattaché(e) au Responsable équipe Data, vos missions s'articuleront autour des volets suivants : Gouvernance et gestion de la donnée Définir et maintenir les règles de gouvernance de données (standards, nomenclatures, référentiels). Assurer la gestion du data catalog et la documentation des jeux de données. Identifier les propriétaires de données ( data owners ) et coordonner les processus de validation. Qualité des données Mettre en place et suivre les indicateurs de qualité (complétude, exactitude, unicité, fraîcheur…). Gérer et suivre les incidents et anomalies de qualité. Proposer des plans d’amélioration et suivre leur mise en œuvre avec les équipes techniques et métiers. Sécurité et conformité Veiller au respect des règles RGPD, sécurité et conformité interne liées aux données. Participer aux analyses d’impacts (DPIA) et aux audits de conformité. Support et coordination métier Comprendre les besoins métiers et garantir l’adéquation entre les données disponibles et leur usage. Former et accompagner les utilisateurs sur les bonnes pratiques de gestion des données. Servir de point de contact entre l’équipe Data et les équipes métier.

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Architect Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Contexte de la mission Grand groupe international du secteur de l’énergie, fortement orienté data-driven, souhaite renforcer l’exploitation de ses données de marché afin de : Réduire les risques opérationnels Améliorer l’efficacité des équipes métiers Développer de nouvelles offres basées sur la donnée Le projet stratégique vise la mise en place d’une architecture Big Data de type médaillon (Bronze / Silver / Gold) dédiée aux market datas issues de différentes plateformes de marché. Objectifs du projet Le programme consiste à : Mettre en place les layers : Silver : données structurées et normalisées Gold : données calculées (orders, trades, orderbooks, best bid/ask, OHLC, VWAP, TWAP, etc.) Implémenter le data management : Data quality Data catalog Monitoring Exposer les données Gold via SDK et interfaces métiers Définir et appliquer les politiques d’accès Reprendre l’historique pour permettre le décommissionnement de solutions legacy Rôle du Business Analyst Le consultant interviendra au cœur d’un environnement mêlant équipes métiers (Trading Surveillance, Quant, Market Analysts) et équipes Data Engineering. Analyse & Cadrage Recueil et structuration des besoins métiers liés aux market datas Animation d’ateliers avec les stakeholders Analyse approfondie des données sources Identification des incohérences et cas spécifiques Spécifications fonctionnelles & Data Rédaction des spécifications Silver / Gold Définition des règles de transformation et d’enrichissement Data mapping Gestion de la complexité temporelle des données de marché Définition des modèles orientés usages métiers Data Management & Gouvernance Définition des règles de qualité et indicateurs Contribution au monitoring Participation au data catalog Garantie de traçabilité des règles métier Coordination & Delivery Collaboration étroite avec les Data Engineers Suivi des développements Élaboration de la stratégie de tests Conception et exécution des plans de tests Participation aux comités projet

ATTENTION, 2 à 3 JOURS DE PRESENCE SUR SITE A BRUXELLES NON NEGOCIABLE, NE PAS POSTULER LE CAS ECHEANT. Dans un environnement data et BI complexe , Infrabel souhaite renforcer la coordination de ses initiatives de reporting et de pilotage par les KPI . La mission s’inscrit dans un contexte multi-équipes et transversal , impliquant des acteurs métiers, BI et data, avec un fort enjeu de cohérence, qualité et orientation décisionnelle du reporting. Le poste vise à structurer, prioriser et fiabiliser un portefeuille de projets data & reporting , tout en assurant une communication fluide entre les différentes parties prenantes. Assurer la coordination transversale des initiatives de reporting et de KPI afin de garantir : une vision consolidée et cohérente du reporting, des livrables de qualité, exploitables pour la prise de décision, une priorisation efficace des demandes data & BI. Périmètre & Responsabilités principales Coordination & pilotage Coordonner l’ensemble des initiatives reporting, KPI et data à l’échelle transversale. Gérer un portefeuille de projets data & reporting . Piloter la planification , les priorités et les dépendances entre projets. Assurer le suivi end-to-end des initiatives (de la demande à la livraison). Data, BI & reporting Intervenir dans un environnement data / BI incluant : ELT, data lakes, data warehouses. Veiller à la cohérence des solutions de reporting mises en place. Travailler avec différents écosystèmes data et plateformes BI . Qualité & livrables Définir et contrôler les critères de qualité des livrables. Garantir la complétude et la conformité de la documentation requise . S’assurer du respect des standards de livraison. Interface métier – IT Agir comme point de liaison entre : les équipes métiers, les équipes BI, les équipes data. Faciliter la communication et l’alignement entre les parties prenantes. S’assurer que le reporting est orienté décision et valeur métier .

Le client souhaite mettre en place un socle data sur Snowflake pour améliorer son back-end et fiabiliser son reporting Power BI. Ils ont choisi Snowflake pour sa popularité, mais rencontrent aujourd’hui des problématiques de performance et d’optimisation. L’objectif est de construire un socle data robuste et évolutif, tout en assurant la qualité des rapports destinés au métier. Missions principales : Challenger l’architecture et les développements existants sur Snowflake. Accompagner et superviser l’équipe de développement data (Data Engineers, Architectes). Contribuer directement au développement, à la recette applicative et à la recette détaillée. Optimiser les données pour garantir des reporting fiables et performants. Participer au service classique Snowflake : Data Lake, ingestion, transformation, optimisation. Assurer la montée en compétence de l’équipe sur Snowflake. Profil recherché : Certifié Snowflake (obligatoire). Expérience avérée et pratique sur Snowflake, capable de mettre les mains dans le code et de challenger les équipes. Capacité à travailler avec des profils expérimentés mais moins experts Snowflake. Connaissance et expérience sur la construction de data lakes, optimisation de données et reporting Power BI. Autonomie, rigueur et esprit d’équipe. Environnement : Collaboration avec des Data Engineers et des Architectes. Projets en phase de structuration des use cases : bonne data existante, optimisation et reporting. Mission hybride, flexible, avec interactions sur site et à distance.

Nous recherchons un Data Engineer Senior pour rejoindre une équipe spécialisée dans la gestion et l’exploitation des données au sein d’une grande organisation numérique. L’équipe intervient au cœur de la plateforme Data et collabore étroitement avec les différentes directions techniques pour transformer la data en levier stratégique et opérationnel. L’équipe actuelle est composée d’un Product Owner, d’un Data Steward et de deux autres Data Engineers. La mission s’inscrit dans un contexte de traitement de volumes de données importants et de projets transverses autour de la connaissance utilisateur et de la mise à disposition d’outils de pilotage internes. Missions de l’équipe Collecter et centraliser des sources de données hétérogènes. Assurer la conformité, la sécurité et la qualité des données. Participer aux initiatives de gouvernance des données. Missions du Data Engineer En interaction avec les membres de l’équipe, le Data Engineer aura pour responsabilités de : Participer aux phases de conception, planification et réalisation des projets data. Construire et maintenir des pipelines de données robustes et scalables. Accompagner l’équipe dans l’exploitation et le requêtage des données. Organiser et structurer le stockage des données pour en faciliter l’accès et l’usage. Mettre en place et maintenir des infrastructures scalables capables de gérer l’augmentation rapide du volume de données. Développer et maintenir les workflows de CI/CD pour les pipelines data. Partager les bonnes pratiques et contribuer à la montée en compétences des autres data engineers. Garantir l’évolutivité, la sécurité et la stabilité des environnements de données. Participer activement aux instances techniques de l’équipe. Contribuer à la mise à jour et à la qualité de la documentation technique. Effectuer une veille technologique proactive sur les outils et méthodes data. Stack technique Langages & traitements : Python, SQL, Spark Orchestration : Airflow Stockage : Cloud Storage, Delta Lake Cloud & services associés : Google Cloud Platform (BigQuery, Dataproc, Pub/Sub) Infrastructure & IaC : Terraform, Terragrunt CI/CD & versioning : GitLab, GitLab CI/CD Méthodologie : Agile (Scrum ou Kanban) Profil recherché Minimum 7 ans d’expérience en Data Engineering. Expertise solide en structuration et traitement de données, code et architecture data. Expérience significative dans la conception et la maintenance de pipelines data . Expérience dans un environnement Google Cloud Platform et utilisation de BigQuery et Dataplex Universal Catalog. Maîtrise des langages Python et SQL et du framework Spark . Expérience avec Delta Lake , Terraform, Terragrunt. Maîtrise des outils GitLab et GitLab CI/CD. Capacité à vulgariser et communiquer sur des sujets techniques complexes. Autonomie, rigueur et capacité à travailler en équipe dans un contexte Agile. Qualités personnelles Esprit d’équipe et collaboration. Proactivité et sens de l’initiative. Curiosité technologique et veille active. Capacité à documenter et partager les bonnes pratiques.

Mettre en oeuvre et maintenir la conception, l’industrialisation et l’évolution des solutions data et IA sur la plateforme Lakehouse. Garantir la robustesse, la performance, la sécurité et la qualité des données au service des usages métiers, analytiques et IA. Mission 􋰄 Expertise avancée Databricks & Lakehouse. Concevoir et optimiser des architectures data sur Databricks. Maîtriser Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks. Garantir performance, scalabilité et optimisation des coûts. Définir et appliquer les bonnes pratiques (partitionnement, optimisation, gouvernance, sécurité). 􋰄 Modélisation & conception de la donnée Concevoir des modèles analytiques et décisionnels robustes. Définir faits, dimensions, granularité et historisation (SCD). Assurer cohérence, unicité et maintenabilité des modèles. Traduire les besoins métiers en structures data pérennes. 􋰄 Industrialisation & Data Engineering Développer et fiabiliser des pipelines ELT/ETL. Superviser les tests, validations et mises en production. Contribuer à la démarche CI/CD. 􋰄 Développement augmenté par l’IA Exploiter les outils de développement assisté par l’intelligence artificielle pour accélérer la production tout en maintenant un haut niveau d’exigence (qualité, sécurité, maintenabilité). 􋰄 Qualité & gouvernance des données Implémenter et superviser les contrôles de Data Quality. Structurer la gestion des anomalies et rejets. Garantir la traçabilité et le data lineage. 􋰄 Leadership & contribution transverse Diffuser les standards et collaborer étroitement avec PO, Architectes et Data Stewards.

ATTENTION, 2 JOURS SUR SITE / SEMAINE A GOSSELIES OBLIGATOIRE (= NON NEGOCIABLE) , NE PAS POSTULER LE CAS ECHEANT. Dans le cadre de ses activités, CLIENT recherche un Data Engineer pour renforcer son équipe Data. Il s’agit d’une mission jusque fin d’année, renouvelable , au sein de la Factory Data , responsable de la gestion, de la maintenance et de l’évolution des solutions Data (Microsoft Fabric, Azure Data Factory, SAP BO/DS). Le Data Engineer rejoindra l’équipe en charge du développement, de la maintenance et du support des solutions BI Azure & Microsoft Fabric , tant sur les volets correctifs qu’évolutifs . Responsabilités principales Développement & Data Engineering Développer les flux d’ingestion via Fabric Data Factory (et compréhension d’Azure Data Factory) Développer les flux de transformation via Fabric Factory Notebooks (Spark / PySpark) Optimiser les requêtes et traitements , en tenant compte des coûts Azure Contribuer à la modélisation du Lakehouse Concevoir et implémenter l’ architecture médaillon (Silver & Gold) dans Microsoft Fabric Mettre en œuvre les formats open table (Delta, Iceberg) Qualité, tests et delivery Définir et documenter le plan de tests unitaires (automatisables) Exécuter et suivre les tests unitaires Participer à l’ estimation des charges lors des phases de cadrage Rédiger la documentation technique Contribuer à l’ amélioration continue (guidelines, bonnes pratiques) Maintenance & support Participer à la maintenance des solutions en production Contribuer à la résolution des incidents Atout complémentaire Participation aux analyses fonctionnelles : Traduction des besoins métier Élaboration des modèles logiques Réalisation de tableaux de bord Tests fonctionnels de la solution

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Dans le cadre de l’évolution et de l’industrialisation de sa plateforme Data multi-cloud, un acteur majeur du secteur de l’énergie recherche un Tech Lead Data senior . La mission s’inscrit au sein de la plateforme Data Groupe avec des enjeux forts de : Scalabilité Gouvernance et qualité des données Industrialisation des pipelines Fiabilité en production 🎯 Missions principales 🔹 Leadership technique Être le référent technique de la plateforme Data Définir et faire évoluer l’architecture Data Encadrer et accompagner les Data Engineers Participer aux choix technologiques et aux orientations stratégiques 🔹 Build – Industrialisation Concevoir et mettre en œuvre un Data Lake Définir, développer et automatiser les pipelines de données Mettre en place les bonnes pratiques CI/CD Garantir la performance, la robustesse et la scalabilité 🔹 Run – MCO Assurer la supervision des traitements Gérer les incidents et optimiser les processus Maintenir les environnements techniques Automatiser les tâches récurrentes 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP Contexte multi-cloud 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Airflow ⚙ Dev / DevOps Python APIs (FastAPI / Flask) Docker Terraform GitLab CI/CD Linux