Missions principales : -Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données. -Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold). -Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production. -Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.
Contexte de la mission Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les traitements de Data Preparation / transformation. Développer, maintenir et faire évoluer les pipelines de données en PySpark. Réaliser du Shell Scripting sous Unix/Linux. Collaborer avec l'équipe DevOps pour les demandes d'évolution de la plateforme. Participer au maintien en conditions opérationnelles et à l'évolution des traitements Data. Rédiger les spécifications techniques et documenter les solutions mises en œuvre. Compétences indispensables Très bonne maîtrise attendue : Hadoop Python / PySpark Hive SQL Shell Scripting Unix/Linux Environnement/outils : Git Jenkins Jira Méthodologie Agile / Scrum Anglais professionnel indispensable, à l'écrit comme à l'oral, Compétences appréciées / différenciantes Une expérience sur les technologies suivantes constituera un plus : Indexima – Alteryx – Altair – GCP – BigQuery – bibliothèques Python orientées API.
Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.
Nous recherchons un Data Engineer pour contribuer à la modernisation d'une plateforme data dans le secteur financier. Vous participerez à la conception et au développement de pipelines de données, à l'intégration de données dans Snowflake via DBT, à la modélisation des données et aux contrôles de qualité. Vous travaillerez également sur les flux batch/streaming, le SQL, les tests, la CI/CD, l'optimisation des performances ainsi que la gouvernance et la sécurité des données dans un environnement international.
Senior Data Engineer Manchester (3 Days per Week in the Office) £80,000 - £90,000 + Private Healthcare + Life Insurance Are you a Senior Data Engineer who prefers building the foundations that make reporting possible, rather than inheriting someone else's platform and maintaining it? This role sits within a growing digital transformation and project controls consultancy delivering reporting and data solutions across major capital programmes. You'll work across two established client accounts from day one, building the data capability behind board-level reporting rather than simply producing dashboards. The work starts with understanding what stakeholders need to know, tracing that back to where the data lives, then building the pipelines, models, controls and reporting layers needed to make those numbers trustworthy. The reality isn't tidy. You'll deal with APIs, spreadsheets, schedule exports, PDFs and manual submissions, designing solutions that identify bad data instead of quietly publishing it. You'll take ownership of the full reporting stack, from data acquisition and modelling through to Azure platform development, semantic models and reporting outputs. You'll also work directly with planners, quantity surveyors and project managers to understand requirements and translate them into reliable reporting solutions. Sector experience within construction, infrastructure or project controls would be beneficial, but it is not essential. The priority is strong technical depth, experience building data platforms from scratch, and exposure to large, complex environments where reporting accuracy matters. The Role: *Build Azure-based data platforms from the ground up *Develop scalable data models and reporting architectures *Create trusted reporting solutions with validation, lineage and reconciliation built in *Work directly with programme stakeholders and client teams *Own data pipelines, semantic models and Power BI reporting outputs *Based 3 days per week in the Manchester office, with occasional travel The Person: *Strong background in Data Engineering or Data Platform development *Advanced SQL and Python skills *Experience with Azure Data Factory, Fabric, Synapse or Azure SQL *Strong Power BI modelling and DAX knowledge *Experience building solutions from scratch within complex environments *Construction, infrastructure or project controls experience beneficial but not required Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.
Rejoignez une entreprise reconnue dans le secteur de l'événementiel et des services B2B, implantée en région parisienne et présente à l'international. Dans le cadre de la transformation de son système d'information et de la modernisation de son environnement Data, l'entreprise poursuit notamment la migration progressive de son écosystème vers Microsoft Fabric. Afin de renforcer l'équipe IT & Data, nous recherchons un Data Engineer / Consultant Data SQL & Microsoft Fabric capable d'intervenir à la fois sur le maintien en conditions opérationnelles de l'entrepôt de données existant, le traitement des demandes quotidiennes et l'accompagnement de cette transformation technologique. La mission comporte donc une dimension importante de RUN et de support, mais également des sujets d'évolution, d'intégration de données et de migration vers les nouveaux outils Microsoft. Missions Gestion et support de l'entrepôt de données : Assurer le suivi et le maintien en conditions opérationnelles du Data Warehouse. Analyser et corriger les anomalies rencontrées sur les traitements et flux de données. Optimiser les requêtes, traitements et performances des bases de données. Participer à la fiabilisation et à la qualité des données. Support et traitement des demandes Data : Prendre en charge les différents tickets liés à la Data. Investiguer et résoudre les incidents techniques. Traiter les demandes métiers et réaliser les évolutions mineures nécessaires. Accompagner les utilisateurs et les équipes internes dans la résolution des problématiques rencontrées. Migration vers Microsoft Fabric : Participer à la migration progressive de l'écosystème Data vers Microsoft Fabric. Accompagner l'équipe dans l'adaptation des traitements et flux existants. Contribuer à la fiabilisation de la nouvelle architecture et à la transition entre les environnements historiques et Fabric. Intégration et évolution des flux : Développer et maintenir des traitements ETL sous SSIS. Participer à différents projets d'intégration de données avec des solutions tierces. Contribuer notamment à des sujets d'intégration de données avec Brevo et d'autres applications métiers. Intervenir sur différents besoins d'interfaçage et d'alimentation des systèmes Data. Documentation et amélioration continue : Documenter les traitements, flux et procédures existantes. Capitaliser sur les incidents rencontrés et les solutions apportées. Participer au partage des bonnes pratiques avec l'équipe interne. Contribuer à l'amélioration continue de l'environnement Data.
CosmosDB Data Engineer We are looking for a CosmosDB Data Engineer who can start a contract in the next 3 to 4 weeks. You will have strong experience of data modelling and CosmosDB. * Design and maintain conceptual, logical, and physical data models for both relational (SQL) and non-relational (Cosmos DB / NoSQL) systems. * Design, develop, and manage NoSQL data models using Azure Cosmos DB, ensuring performance, scalability, and cost efficiency (partitioning strategy, indexing, RU optimization). * Define and implement data contracts to ensure consistency, quality, and governance across upstream and downstream systems. * Lead and support data migration projects, including planning, execution, validation, and reconciliation between source and target systems. * Build and orchestrate ETL/ELT pipelines using Azure Data Factory (ADF). * Write and optimize SQL queries, stored procedures, and views for relational data processing and reporting. The role is for 3-6 months initially outside IR35 and requires two days in Central London each week. To be considered for the role please send over your latest CV. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.
Contexte La mission vient dans le contexte d'un projet de gestion (Build + Run) d'une plateforme data sur GCP pour les données de l'entreprise. Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier. Missions Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE). Transformation des données via dbt selon les modèles métiers définis. Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform. Orchestration et automatisation des workflows de données sur GKE via Argo Workflows. Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask). Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy). Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD). Mise en place de la supervision et du monitoring des pipelines de données. Rédaction de la documentation technique liée aux développements réalisés.
La mission consiste à : - Interface entre les métiers et les équipes data - Accompagner le métier dans la structuration de son besoin décisionnel - Rédiger les besoins en user stories et maintenir la backlog en lien avec l'équipe produit - Coordination du delivery jusqu'à la mise en production (build et run) - Faciliter les développements avec l'équipe data - Réaliser des analyses et études métier Compétences demandées : - Expériences significatives comme Product Owner et dans des contextes DATA - Compétences en data engineering - Expertise Agile - Animation d'équipe - Gestion de la Backlog et Delivery - Anglais un +
🏭 Secteurs stratégiques : Banque d'investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l'entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Responsabilités principales : Mise en œuvre son expertise sur Kafka Support, automatisation et maintien en conditions opérationnelles des plateformes Kafka Participation aux développement de l'équipe data Analytics et projet Topic As a Service Support plateforme WWW 💡Compétences communication Environnement anglophone
Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced
Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données
At CGI, we're helping to transform the future of healthcare through the power of data. As a Senior Data Engineer, you'll play a pivotal role in designing, building, and optimising data platforms that underpin critical national services. Working at the heart of our Healthcare team, you'll use your expertise in AWS, Databricks, and Python to deliver high-impact solutions that improve outcomes, enhance decision-making, and drive innovation across the sector. You'll collaborate with experts who share your passion for problem-solving, ownership, and technical excellence—empowered to shape the data foundations of tomorrow. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position based in Leeds.
En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake · Développer les traitements de préparation et de transformation des données · Développer les traitements associés en Python, PySpark et Hive Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les traitements en PySpark et les scripts Shell associés · Analyser et résoudre les problématiques techniques sur le périmètre Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre
