Find your next tech and IT Job or contract Data Engineering

Lead Data Engineer pour prendre en charge et piloter le Consumer Data Hub (CDH), une plateforme unifiée de données consommateurs couvrant plus de 10 pays et des dizaines de millions de profils, permettant l'activation marketing, l'analyse avancée, les prévisions et les capacités d'IA agentique. Vous encadrerez une équipe de 4 data engineers tout en restant fortement technique — en concevant des systèmes, en planifiant les feuilles de route, et en collaborant avec des parties prenantes transverses pour traduire les besoins métier en solutions scalables. Ce poste exige de maîtriser l'équilibre entre le fait d'être un exécutant et celui d'être un leader. Vous rejoindrez une équipe autonome et exigeante, portée par une culture d'excellence technique et de respect mutuel. Si vous êtes animé par le sens de la responsabilité et que vous aimez construire des choses qui comptent à grande échelle — ce poste est fait pour vous. Responsabilités principalesLeadership technique Piloter l'architecture du projet, l'orientation technique et la vision à long terme Écrire du code de production en Python, SQL et dbt — en conservant des compétences techniques opérationnelles Garantir la cohérence technique entre les composants ; identifier et résoudre les problèmes de performance, de scalabilité et de dette technique Établir des standards de qualité des données, d'observabilité et de pratiques de monitoring Veiller à la conformité de la plateforme et au respect du RGPD Être à l'avant-garde du nouveau paradigme Data Engineering / Product Owner avec le Spec Driven Development assisté par l'IA Développer la stack d'IA agentique déjà mise en place (Cortex, Genie, LangGraph, Phoenix, etc.) Planification et livraison de projet Prendre en charge le plan de projet par trimestre : découper le travail en livrables, maximiser l'exécution en parallèle et ajuster en fonction des nouvelles informations Collecter et synthétiser les besoins auprès des partenaires techniques et non techniques ; les traduire en une feuille de route priorisée Identifier les inconnues en amont, évaluer les risques techniques et les communiquer de manière proactive Définir des métriques et des KPIs pour suivre la santé du projet et étayer les décisions par des données Leadership humain et gestion d'équipe Encadrer et accompagner 4 data engineers — développer leurs compétences, lever les blocages et déléguer efficacement Représenter l'équipe en externe : faire remonter les besoins et partager le contexte en retour Cultiver une culture de responsabilité, d'excellence et d'amélioration continue

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entités Informations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie

Contexte Le projet vise à mettre en place une solution permettant d'ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit. La solution est développée sur Google Cloud Platform (GCP) au sein d'une équipe expérimentée, sur un projet à forts enjeux et à forte visibilité. Une expérience dans le domaine du risque de crédit est appréciée. Missions principales Le consultant interviendra notamment sur : La conception et le développement de solutions Data sur Google Cloud Platform ; Le développement et l'intégration de traitements Python / Spark ; La mise en place et l'évolution des pipelines d'ingestion et de traitement de données ; L'ingestion, l'agrégation et l'exposition de données provenant de sources multiples ; Le développement de traitements à forte volumétrie ; La collecte, le stockage et l'exploitation des flux de données ; La supervision et l'intégration de données de différentes natures ; Le contrôle de la qualité et de la sécurité des données ; La maintenance et le suivi du RUN des applications développées ; La maintenance des infrastructures Data associées ; La documentation et la cartographie des différentes sources de données ; La contribution à l'industrialisation des traitements et modèles ; La proposition d'évolutions des infrastructures et solutions Data existantes. La mission rattache également au rôle de Data Engineer la structuration des bases, la gestion des métadonnées et référentiels, l'industrialisation des modèles ML ainsi que leur maintien en RUN.

Envie d'un nouveau challenge dans la Data ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir au sein de la DSI d'un grand groupe bancaire, sur l'évolution et le maintien d'une plateforme Data stratégique. Vous intégrerez un environnement dynamique et travaillerez en lien avec les équipes Production Applicative et DevOps afin de mettre en œuvre les évolutions techniques du Data Lake. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données et traitements de Data Preparation / Data Transformation. Développer, maintenir et faire évoluer les pipelines de données en Python / PySpark et Shell Scripting. Participer aux évolutions et à l'optimisation du Data Lake Hadoop. Collaborer avec les équipes Production et DevOps sur les évolutions de la plateforme. Rédiger les spécifications techniques associées aux évolutions. Participer à la résolution de problématiques techniques complexes. Contribuer à l'amélioration continue des outils et des processus Data. Travailler dans un environnement Agile / Scrum et avec des équipes internationales.

En quelques motsCherry Pick est à la recherche d'un Proxy Product Owner Data (H/F) pour l'un de ses clients qui opère dans le secteur bancaire. Description🎯 Contexte de missionAu sein d'une DSI de grande envergure, le domaine en charge de l'automatisation, de l'observabilité et de la Data de production poursuit sa transformation avec la création d'une nouvelle équipe dédiée aux enjeux Data. Cette organisation vise notamment à améliorer l'industrialisation des activités de production informatique, la qualité de service et l'efficacité opérationnelle, tout en renforçant la gouvernance et la valorisation des données. Dans ce contexte, nous recherchons un Consultant PPM Data capable d'accompagner le management Data dans le pilotage opérationnel, la gouvernance du portefeuille et la transformation de l'organisation. Le profil recherché devra être capable d'évoluer dans un environnement IT complexe, de structurer des problématiques stratégiques et de transformer les analyses en recommandations concrètes pour le management. 🛠️ Missions principales et rôlePilotage opérationnel & gouvernanceAccompagner le management Data dans le pilotage quotidien de la ligne produit. Consolider l'activité et assurer le suivi des différentes équipes. Suivre les roadmaps, plans de livraison et jalons. Consolider l'avancement des initiatives structurantes : releases, projets transverses et chantiers techniques. Préparer les supports de pilotage destinés aux différentes instances de management. Préparer, structurer et animer les instances de gouvernance : comités de suivi, comités de pilotage, revues de management, etc. Garantir la fiabilité et la cohérence des informations communiquées. Mettre en place et suivre des KPIs et indicateurs de performance. Pilotage stratégique & transformationContribuer à la définition et à l'actualisation de la stratégie Data. Décliner la stratégie en feuilles de route opérationnelles. Sécuriser la priorisation des sujets en prenant en compte les besoins, périmètres, jalons et dépendances. Garantir l'alignement des travaux opérationnels avec les enjeux stratégiques. Accompagner la transformation et la réorganisation des équipes autour des enjeux Data. Identifier les axes d'amélioration et de transformation du modèle de fonctionnement. Contribuer aux programmes stratégiques de transformation de l'organisation. Construire et maintenir les tableaux de bord de pilotage. Analyser les indicateurs et formuler des recommandations à destination du management. 🎯 ObjectifsStructurer et fiabiliser le pilotage du portefeuille Data. Donner au management une vision consolidée de l'activité, des roadmaps et des engagements. Sécuriser la priorisation et le suivi des initiatives stratégiques. Accompagner la transformation de l'organisation Data. Améliorer la visibilité sur la performance et la qualité de service. Faciliter la prise de décision grâce à des indicateurs fiables et pertinents. Assurer l'alignement entre les enjeux stratégiques et leur déclinaison opérationnelle.

Envie d'un nouveau challenge dans la Data ? CELAD vous attend ! 🚀 Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir au sein de la DSI d'un grand groupe bancaire, sur l'évolution et le maintien d'une plateforme Data stratégique. Vous intégrerez un environnement dynamique et travaillerez en lien avec les équipes Production Applicative et DevOps afin de mettre en œuvre les évolutions techniques du Data Lake. 🎯 Vos missions Mettre en œuvre de nouvelles ingestions de données et traitements de Data Preparation / Data Transformation. Développer, maintenir et faire évoluer les pipelines de données en Python / PySpark et Shell Scripting. Participer aux évolutions et à l'optimisation du Data Lake Hadoop. Collaborer avec les équipes Production et DevOps sur les évolutions de la plateforme. Rédiger les spécifications techniques associées aux évolutions. Participer à la résolution de problématiques techniques complexes. Contribuer à l'amélioration continue des outils et des processus Data. Travailler dans un environnement Agile / Scrum et avec des équipes internationales.

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Data Analyse sur Power BI un + - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

Rejoignez une grande maison du secteur du luxe en tant que Data Engineer GCP. Vous intégrerez une équipe moderne et ambitieuse travaillant sur l'infrastructure et l'orchestration de données critiques, dans un environnement cloud-natif structuré autour de Google Cloud Platform. Vous serez en charge de concevoir, développer et maintenir des pipelines de données robustes et performants. Votre expertise en BigQuery, Terraform et DBT sera centrale pour garantir la qualité, la scalabilité et l'efficacité des solutions d'ingestion et de transformation de données. Vous collaborerez étroitement avec les équipes data science et analytics pour fournir des données fiables et bien structurées, tout en contribuant à l'évolution de l'architecture technique et des bonnes pratiques au sein de l'équipe. Le projet s'inscrit dans une démarche d'optimisation et de modernisation de la plateforme de données, en suivant une méthodologie Agile. Vous participerez à des sprints réguliers, contribuerez à la documentation technique et serez impliqué dans les revues de code et les améliorations continues de la base de code. Responsabilités : - Concevoir et développer des pipelines ETL/ELT haute performance en DBT, optimisés pour BigQuery - Gérer l'infrastructure cloud (GCP) en tant que code via Terraform, en respectant les principes d'Infrastructure as Code - Optimiser les requêtes BigQuery et les modèles de données pour performance et coût - Assurer la qualité et la fiabilité des données ingérées et transformées - Documenter les architectures, les processus et les solutions mises en place - Collaborer avec les data analysts et data scientists pour comprendre les besoins métier - Participer aux revues de code et contribuer à l'amélioration continue des pratiques d'équipe - Maintenir et monitorer les pipelines en production, gérer les incidents et les améliorations Télétravail : 2 jours par semaine Localisation : Paris

Voici la présentation de la nouvelle fiche de poste pour la diffusion ou le sourcing : Appel d'Offres : Data Engineer Senior / Lead – Monitoring & IA Agentique (F/H)Description & Contexte de la missionAu sein de la squad Data Integration, la mission porte sur la construction et l'industrialisation de Data Connect Monitoring (DCM), un produit stratégique de supervision des services Data en environnement multi-cloud. Le produit collecte des logs et métriques (pipelines, compute, usage, coûts), alimente des pipelines d'ingestion/transformation et expose une vision exploitable via API et interface web. L'ambition est d'évoluer vers une observabilité proactive enrichie par des workflows d'IA agentique (détection, analyse et assistance à la remédiation). Missions principales : Ingestion & Industrialisation : Concevoir les pipelines de collecte et de traitement de logs/métriques multi-cloud sur Databricks (PySpark, Delta Lake). Modélisation Gold : Concevoir et faire évoluer le Golden Data Model dédié aux usages de monitoring, troubleshooting et pilotage. Spec-Driven Development : Appliquer des pratiques rigoureuses de développement logiciel (spécifications, contrats de données, tests, validation, CI/CD). Workflows IA Agentiques : Contribuer à la mise en place d'agents IA pour la détection automatisée d'anomalies et l'aide au diagnostic. Exposition & Collaboration : Interfacer les données avec les équipes backend/frontend via API REST et s'assurer du respect des standards d'architecture et sécurité AWS.

Nous recherchons pour un acteur international, un Senior Data Engineer pour accompagner le développement et l'industrialisation de sa plateforme Data. Au sein d'une équipe Data en pleine structuration, vous interviendrez sur des sujets à forts enjeux autour de la donnée, avec notamment pour responsabilités : • Concevoir et développer des pipelines de données robustes et scalables • Industrialiser et fiabiliser les pipelines existants • Participer à la mise en place d'une architecture Data moderne de type Lakehouse • Prendre en charge les pipelines de bout en bout, de la conception à la mise en production et au monitoring • Mettre en œuvre les bonnes pratiques Data Engineering / DataOps : CI/CD, tests, versioning, monitoring et gestion des incidents • Collaborer avec les Data Engineers, Data Architects, Product Managers et Engineering Managers • Documenter les flux, dépendances, transformations et procédures d'exploitation • Contribuer à l'autonomie et à la montée en compétences de l'équipe Data

Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.

RésuméLe projet a pour objectif la création et l'évolution d'un produit de données à destination des actuaires, qui utiliseront ces données pour l'entraînement de leurs modèles (tarifaires par exemple). Le candidat rejoindra une équipe de 4 data engineers (dont un lead) pour participer à la mise en place de ce produit de données. Responsabilités :Proposer et valider des solutions techniques Mettre en œuvre des solutions performantes dans un cadre Agile Participer aux activités opérationnelles courantes Must Haves :Expérience avec Cloud Azure (Data Factory, ADLS, Databricks) Compétences obligatoires en PySpark et Python Bonnes connaissances des architectures de données Compétences en SQL Nice to Haves :Connaissance de Scala Expérience sur les processus DevOps et CI/CD Autres Détails :Localisation : Hauts-de-Seine (92) Télétravail : 3 jours