Find your next tech and IT Job or contract Data Engineering

Rejoignez une mission stratégique au sein d'un environnement Big Data mature, où vous piloterez la conception et l'évolution de pipelines de données critiques pour un acteur majeur du secteur des télécommunications. Vous interviendrez sur l'ensemble du cycle de vie des données, de la collecte à la production, en traitant des volumes massifs (plusieurs téraoctets quotidiens) avec des fréquences variables et des exigences élevées de performance et de fiabilité. Vous évoluerez dans un contexte technique riche, basé sur une architecture Hadoop et Spark distribuée, où vous serez responsable du développement et de la maintenance de flux streaming et batch complexes. Votre expertise Java vous permettra de concevoir des solutions robustes et performantes, tandis que votre compréhension des enjeux d'optimisation et de scalabilité sera un atout majeur pour assurer le bon fonctionnement des traitements en production. La mission s'inscrit dans une démarche d'amélioration continue : vous travaillerez tant sur la stabilisation des architectures existantes que sur l'industrialisation des nouveaux indicateurs métier et la modernisation de la stack technique. Responsabilités : - Concevoir et développer des pipelines de données (streaming et batch) en Java et Spark, assurant la collecte, l'enrichissement et le stockage des données - Industrialiser les KPIs métier développés en Python par les équipes métiers : analyse fonctionnelle, refactoring, optimisation des performances et déploiement - Gérer et superviser le périmètre assigné, en assurant le bon fonctionnement et la fiabilité des flux en production - Effectuer le suivi et la maintenance des pipelines, en mettant en place des mécanismes de monitoring et d'alerte - Contribuer à la réduction de la dette technique : mises à jour de librairies, montées de version de Spark et frameworks associés, refactoring de code - Optimiser les configurations et les performances des traitements de données à haut volume - Collaborer avec les équipes métier et data science pour intégrer les évolutions fonctionnelles et technologiques Télétravail : 3 jours sur site Localisation : Nantes

Nous recherchons un Data Engineer senior disposant d'une forte expertise sur les environnements AWS, Scala et Spark, idéalement acquise dans des contextes de forte volumétrie de données. Au sein d'une direction Data centrale, l'équipe Data Platform conçoit, développe et maintient une plateforme data centralisée, sécurisée, scalable et performante, destinée à soutenir les usages data transverses des différentes directions métier. Elle opère notamment un data lake hébergé sur AWS, une infrastructure de traitement de données basée sur Scala Spark, ainsi qu'un écosystème d'orchestration et d'industrialisation des jobs via Airflow. L'équipe assure également la maintenance et l'évolution d'une plateforme Dataiku. La mission s'inscrit dans un environnement agile, en interaction avec des équipes produit, data, BI, analytics, data science et métiers. Le consultant interviendra sur deux volets principaux. Maintien en condition opérationnelle Contrôler la disponibilité des données et des services de la plateforme Analyser les incidents et anomalies de production Répondre aux demandes ad hoc liées aux données Développer les correctifs nécessaires Contribuer à la qualité, la fiabilité et l'exploitation industrielle de la plateforme Communiquer avec les utilisateurs et les parties prenantes Build & évolution des pipelines data Concevoir et développer des pipelines de données robustes et performants Mettre en place des flux d'acquisition, transformation et export de données Réaliser des traitements distribués en Scala Spark Participer à la modélisation des données Développer les tests unitaires et d'intégration Gérer l'ordonnancement et les dépendances entre traitements Participer aux revues de code et au respect des standards Réaliser les déploiements sur les différents environnements Maintenir la documentation technique et fonctionnelle

Hanson Regan recherche un GCP/Dataflow Data engineer pour un contrat renouvelable de 6 mois. Site anglophone : un excellent niveau d'anglais est indispensable. Nous recherchons un GCP/Dataflow Data engineer et polyvalent, possédant une expertise approfondie en DevOps, CI/CD, conteneurisation et ingénierie de données avancée sur Google Cloud Platform. Le candidat idéal allie de solides compétences techniques à d'excellentes aptitudes relationnelles. Il sera chargé de concevoir, construire et optimiser des pipelines de données et des frameworks d'ingestion à l'aide des services GCP tels que Dataflow, Pub/Sub, BigQuery, Cloud Storage, Cloudrun et NoSQL. - Concevoir et implémenter des pipelines CI/CD de bout en bout pour les charges de travail de données, en utilisant des modèles et GitLab CI, en garantissant l'automatisation et la conformité aux normes DevOps. - Développer et gérer des applications conteneurisées pour des services de données évolutifs et résilients. - Mettre en œuvre des frameworks de qualité, de surveillance et d'observabilité des données à travers les pipelines. - Traduire des exigences métier complexes en architecture technique, en assurant leur alignement avec la stratégie et la gouvernance des données de l'entreprise. - Assurer le respect des meilleures pratiques en matière de sécurité, de conformité et d'optimisation des coûts dans toutes les solutions GCP. Régime de travail hybride avec 2 jours par semaine à Bruxelles, le reste peut être effectué en France N'hésitez pas à me contacter si cette offre vous intéresse.

La mission est chez un client à Liège, en Belgique. Nous recherchons donc quelqu'un mobile pour pouvoir y résider. 1. Contexte du poste Dans le cadre du développement et de l'évolution de notre plateforme Data, nous recherchons un Data Engineer spécialisé dans les environnements AWS et Snowflake. Il interviendra sur la conception, le développement et l'industrialisation des flux de données, afin de garantir la disponibilité, la qualité et la performance des données. 2. Missions principales Concevoir, développer et maintenir des pipelines de données (ETL / ELT). Collecter, intégrer et transformer des données issues de différentes sources. Développer des traitements et transformations de données en SQL et Python. Concevoir et optimiser les modèles de données dans Snowflake. Mettre en œuvre les services AWS, notamment S3, Glue, Lambda, IAM et CloudWatch. Assurer l'orchestration, la supervision et la fiabilité des traitements. Optimiser les performances des requêtes et les coûts d'exploitation. Mettre en place les bonnes pratiques d'industrialisation et de CI/CD. Participer à l'évolution de l'architecture Data et à l'amélioration continue de la plateforme. 3. Compétences techniques requises Snowflake : ingestion, transformation, modélisation et optimisation des données. AWS : maîtrise des services S3, Glue, Lambda, IAM et CloudWatch. Langages : SQL avancé et Python. Data Engineering : ETL / ELT, Data Warehouse, Data Lake et modélisation de données. Industrialisation : Git, CI/CD et automatisation des déploiements. Outils complémentaires appréciés : dbt, Airflow, Terraform, AWS Step Functions. 4. Profil recherché Formation supérieure Bac+5 en informatique ou Data Engineering. Expérience de 3 à 5 ans minimum sur un poste de Data Engineer. Expérience significative sur les environnements AWS et Snowflake. Bonne maîtrise de SQL et Python. Capacité à concevoir et industrialiser des pipelines de données. Bonne compréhension des enjeux de qualité, sécurité et performance des données. Autonomie, rigueur, esprit d'analyse et capacité à travailler en équipe. 5. Environnement technique Cloud : AWS Data Warehouse : Snowflake Développement : SQL, Python Stockage : Amazon S3 ETL / ELT : AWS Glue, dbt Orchestration : Airflow / Step Functions DevOps : Git, CI/CD, Terraform

Au sein de l'équipe Marketing Data du pôle Data Fabric, vous intervenez comme consultant Data Engineer senior ou expert. Vous prenez en charge, de manière autonome, la conception, le développement, l'industrialisation et l'exploitation de produits et de pipelines de données dans un environnement Lakehouse sur AWS. Votre objectif est de garantir des traitements fiables, performants et maintenables, tout en contribuant à la maîtrise de leur exploitation quotidienne. Vous développez des transformations avec Spark et PySpark, Python, SQL et dbt, exploitez des données Apache Iceberg et orchestrez les traitements avec Airflow. Vous contribuez au déploiement sur AWS et à l'infrastructure en tant que code avec Terraform. Vous mettez en place des tests, des contrôles de qualité, du suivi et des alertes, et participez à l'analyse des incidents ainsi qu'à la recherche de leurs causes profondes. En lien avec les responsables produit et les interlocuteurs métier, vous traduisez les besoins marketing en solutions robustes. Vous contribuez également à la documentation, au lignage des données, aux contrats de données, au catalogue et aux pratiques d'ingénierie de l'équipe.

Nous recherchons un Data Engineer H/F pour une mission à Nantes. Missions : Concevoir et développer les pipelines de données : collecter, ingérer, transformer et structurer des données provenant de sources multiples. Construire et maintenir les architectures Data : participer à la conception et à l'évolution des plateformes de données (Data Warehouse, Data Lake, Lakehouse). Développer les traitements ETL/ELT : automatiser les flux de données et garantir leur fiabilité et leur performance. Assurer la qualité des données : mettre en place des contrôles, des tests et des mécanismes de surveillance. Optimiser les performances : améliorer les traitements, les requêtes SQL et les processus d'intégration. Assurer la documentation : documenter les architectures, les flux et les processus de traitement. Collaborer avec les équipes métiers et techniques : comprendre les besoins et proposer des solutions adaptées. Contribuer à la gouvernance des données : veiller à la sécurité, à la traçabilité et au respect des bonnes pratiques

CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana

Pour un acteur majeur du retail spécialisé, vous accompagnez la transformation du modèle Data ainsi que le développement et l'industrialisation d'une plateforme Data sur Google Cloud Platform (GCP). Le projet vise à accélérer la valorisation de la donnée, à moderniser les pratiques de Data Engineering et à préparer les nouveaux usages liés à l'intelligence artificielle et à l'IA générative. Intégré à une équipe Data, vous travaillez en étroite collaboration avec les Product Owners, les architectes, les équipes techniques et les interlocuteurs métiers. Vous intervenez sur l'ensemble du cycle de vie des solutions Data, de la conception à la mise en production, dans un environnement agile et exigeant. Vos responsabilités : - Concevoir, développer et maintenir les pipelines et les flux d'alimentation de données sur Google Cloud Platform. - Réaliser les transformations et les modélisations de données avec BigQuery et dbt. - Participer à la conception et à l'industrialisation des architectures et des traitements Data. - Contribuer aux ateliers de cadrage, à l'analyse des besoins et à la rédaction des spécifications techniques. - Garantir la qualité, la fiabilité et la performance des traitements développés. - Réaliser les tests unitaires, participer aux phases de recette et accompagner les mises en production. - Optimiser les traitements et les coûts d'exploitation dans une démarche FinOps. - Participer aux revues de code et à l'amélioration continue des pratiques de développement et d'industrialisation. - Contribuer au partage de connaissances et accompagner la montée en compétences des équipes. Livrables attendus : - Pipelines et flux de données développés, testés et industrialisés sur GCP. - Modèles de données et transformations développés avec dbt et BigQuery. - Documentation technique, spécifications et dossiers de conception des solutions mises en œuvre. Environnement technique : Google Cloud Platform, BigQuery, Cloud Storage, Composer, dbt, SQL, Git, Airflow, Python, Stambia / Semarchy XDI et CI/CD.

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks. Le consultant sera notamment chargé de : Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions

Contexte de la mission : Viveris pilote les chantiers de transformation métier et IT qui contribuent à la performance des entreprises bancaires. Dans ce cadre, nous recherchons notre Data Engineer qui contribuera à un programme important d'évolution de la plateforme Data. Vos missions et responsabilités : - Analyser les besoins métiers et les traduire en solutions BI pertinentes et durables ; - Modéliser les données en cohérence avec les objectifs fonctionnels et les bonnes pratiques décisionnelles ; - Créer et maintenir les flux de données via des outils ETL, en assurant leur qualité, robustesse et performance ; - Participer à la recette et au suivi de production des chaînes décisionnelles, en lien étroit avec les utilisateurs ; - Assurer un rôle transverse sur les projets décisionnels : échange avec les MOA, rédaction de spécifications fonctionnelles, accompagnement des utilisateurs.

Almatek recherche pour l'un de ses clients Un Data Engineer sur Lille. Dans le cadre de la transformation de son modèle Data, un acteur majeur du retail spécialisé souhaite renforcer ses équipes avec un Data Engineer confirmé / maîtrisant afin d'accompagner le développement et l'industrialisation de sa plateforme Data sur Google Cloud Platform (GCP). La mission s'inscrit dans un contexte d'accélération de la valorisation de la donnée, de modernisation des pratiques Data Engineering et de préparation aux nouveaux usages liés à l'intelligence artificielle et à l'IA générative. Intégré au sein d'une équipe Data, en interaction étroite avec les Product Owners, les architectes, les équipes techniques et les interlocuteurs métiers, le consultant interviendra sur l'ensemble du cycle de vie des solutions Data, de la conception à la mise en production. Les principales activités confiées seront les suivantes : Concevoir, développer et maintenir des pipelines et flux d'alimentation de données sur Google Cloud Platform. Réaliser les transformations et modélisations de données, notamment avec BigQuery et dbt. Participer à la conception et à l'industrialisation des architectures et traitements Data. Contribuer aux ateliers de cadrage, à l'analyse des besoins et à la rédaction des spécifications techniques. Garantir la qualité, la fiabilité et la performance des traitements développés. Réaliser les tests unitaires, participer aux phases de recette et accompagner les mises en production. Optimiser les traitements et les coûts d'exploitation dans une démarche FinOps. Participer aux revues de code et à l'amélioration continue des pratiques de développement et d'industrialisation. Contribuer au partage de connaissances et accompagner la montée en compétences des équipes. Environnement technique : Google Cloud Platform (BigQuery, Cloud Storage, Composer), dbt, SQL, Git, Airflow, Python, Stambia / Semarchy XDI, CI/CD. Une connaissance des outils de restitution et de visualisation (Looker, Looker Studio, Power BI), ainsi qu'une sensibilité aux enjeux FinOps et aux usages de l'intelligence artificielle, seront appréciées. Le consultant devra faire preuve d'autonomie, de rigueur et de proactivité, avec une réelle capacité à collaborer avec des interlocuteurs techniques et métiers dans un environnement agile et exigeant.

Informations mission : Localisation / Site : Ladoux – Clermont-Ferrand Organisation : Présence sur site et flexibilité avec possibilité de télétravail (jusqu'à 2 jours par semaine) TJM : 430 € HT/jour Date de démarrage : ASAP Durée de la mission : Longue durée (3 ans minimum), incluant une période d'essai initiale de 3 mois Langue de travail : Français Synthèse de la mission : Nous recherchons un Data Engineer Senior expérimenté pour intervenir au sein d'un environnement industriel de premier plan. Le profil retenu aura pour principales responsabilités la conception, le développement, l'industrialisation et l'optimisation des flux de données, garantissant ainsi la fiabilité et la performance des architectures data en place. Missions et responsabilités : Concevoir et développer des pipelines de données robustes et scalables. Mettre en œuvre et administrer des solutions d'intégration de données complexes. Assurer le traitement et le streaming des données en temps réel. Garantir la qualité, la cohérence et la sécurité des données tout au long de leur cycle de vie. Collaborer activement avec les équipes techniques et métiers pour répondre aux besoins d'exploitation et d'analyse.

Dans le cadre de l'amélioration et de la structuration de son environnement Data nous recherchons un(e) Data Engineer spécialisé(e) en Data Quality. Vous interviendrez sur des données opérationnelles issues d'une plateforme de supervision industrielle, avec pour objectif d'améliorer durablement leur qualité, leur fiabilité et leur exploitabilité. Vous évoluerez au sein d'une architecture Data en médaillon sous Microsoft Fabric et contribuerez à l'industrialisation des flux et traitements nécessaires aux activités de supervision, de suivi de performance et de reporting. Vos missions En tant que Data Engineer / Data Quality, vous serez notamment amené(e) à : Définir et maintenir des règles de qualité sur les données de production, de disponibilité, de pertes et d'états opérationnels. Mettre en place des contrôles automatisés, des indicateurs de qualité et des mécanismes d'alerte. Concevoir, développer et maintenir des pipelines d'ingestion et de transformation de données. Développer des traitements en SQL et Python/PySpark dans un environnement Microsoft Fabric. Garantir la robustesse, la traçabilité et la réexécution des pipelines. Mettre à disposition des jeux de données fiables et documentés pour les équipes BI et les usages analytiques. Appliquer les bonnes pratiques de développement : versionnement, tests, journalisation, revue de code et déploiement. Assurer la documentation technique et le transfert de connaissances. Collaborer avec les équipes Data, IT, Exploitation et Performance ainsi qu'avec les différents interlocuteurs techniques. Livrables attendus Référentiel de règles et de contrôles qualité. Pipelines et traitements industrialisés, testés et documentés. Tableau de bord de suivi de la qualité des données. Documentation technique et procédures d'exploitation. Supports et sessions de transfert de compétences.

Drive measurable change by shaping and delivering large-scale data products and platforms using Palantir Foundry and cloud-native tooling. In this role you'll engineer scalable pipelines, transform complex datasets into operational decision-making assets, and partner with clients to unlock efficiency and insight across critical programmes. You'll join multi-disciplinary teams where pragmatic ownership, creative solutioning and strong technical craft translate directly into business outcomes—building reusable patterns, improving observability and accelerating client roadmaps for modern data adoption. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position.

Job title: DataStage Data Engineer Location: London (Hybrid) Day Rate: £514.00 per day Contract Length: 12 Months IR35 Status: Inside IR35 Public Sector Overview An exciting opportunity is available for an experienced DataStage Data Engineer to join a high-profile programme delivering complex data integration and migration solutions within a large-scale enterprise environment. The successful candidate will play a key role in designing, developing, and supporting robust data pipelines, ETL processes, and data warehouse solutions using a range of AWS and enterprise data technologies. This role requires a strong technical background in data engineering, ETL development, cloud-based data platforms, and DevSecOps practices. You will work closely with architects, developers, business stakeholders, and delivery teams to ensure the successful movement, transformation, and management of critical business data. Key Responsibilities * Design, develop, and maintain scalable ETL and data migration solutions using IBM DataStage. * Build and optimise batch and real-time data integration pipelines to support business and operational requirements. * Develop and enhance data warehouse solutions, ensuring high performance, resilience, and scalability. * Design and implement data solutions using AWS services, including Amazon Redshift, Amazon S3, and Amazon QuickSight. * Collaborate with cross-functional teams to analyse data requirements and translate them into technical solutions. * Support the adoption of DevSecOps principles, ensuring secure and automated deployment practices. * Develop and maintain high-quality code using Java and SQL. * Design, query, and optimise relational database structures and data models. * Implement source control, version management, and CI/CD processes using GitHub and/or GitLab. * Troubleshoot and resolve data-related issues, ensuring data integrity and platform stability. * Contribute to technical design reviews, code reviews, and best practice initiatives across the engineering team. Essential Skills & Experience * Strong commercial experience with IBM DataStage. * Proven expertise in data migration and ETL development, including both batch and real-time processing. * Experience designing and supporting enterprise data warehouse solutions. * Hands-on experience with: o Amazon Redshift o Amazon S3 o Amazon QuickSight * Strong understanding of DevSecOps methodologies and modern software delivery practices. * Proficiency in Java development. * Advanced SQL skills. * Experience working with relational databases. * Hands-on experience with GitHub and/or GitLab. * Strong analytical, problem-solving, and stakeholder engagement skills. * Ability to work effectively within Agile delivery environments. Desirable Skills * Experience implementing and monitoring data quality frameworks. * Knowledge of XML technologies and data formats. * AWS Certified Data Analytics or AWS Data Specialty Certification. * Experience working within large-scale cloud migration or transformation programmes. Candidate Profile The ideal candidate will be a proactive and technically strong Data Engineer with a proven track record of delivering enterprise-scale data solutions. They will possess excellent communication skills, a collaborative approach to problem solving, and the ability to operate effectively within fast-paced, complex environments. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.