Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

La mission consiste à contribuer à la conception, l'industrialisation, l'exploitation et l'évolution des plateformes et services Data. Le consultant interviendra aussi bien sur les projets DATA que sur les activités de RUN. Il devra être capable de travailler dans un environnement technique large, sans nécessairement être expert sur chaque technologie, mais avec une bonne culture Data / Big Data / DevOps / Cloud. Une forte capacité d'autonomie, de curiosité et de proposition est attendue afin d'accompagner les équipes dans leurs choix techniques et leur évolution. MISSIONS PRINCIPALESParticiper aux projets Data et aux activités de RUN. Concevoir et faire évoluer les solutions Data Engineering. Participer à l'industrialisation et à l'automatisation des traitements et infrastructures. Développer et maintenir les pipelines CI/CD. Participer à la gestion et à l'exploitation des environnements Docker / Kubernetes. Automatiser les opérations à l'aide d'Ansible et/ou Terraform. Intervenir sur les bases de données SQL Server, PostgreSQL et MongoDB. Participer à l'exploitation et à l'évolution des environnements Big Data. Contribuer aux sujets Cloud public AWS / GCP. Participer à la supervision et à l'observabilité des plateformes. Analyser les problématiques de production et contribuer à leur résolution. Proposer des améliorations techniques et opérationnelles. Challenger l'existant et orienter les choix techniques lorsque nécessaire. Collaborer avec les équipes Data, DevOps, infrastructure et projets.

Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne. Vos missions Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous serez chargé de : Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement technique Technologies et outils Python SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile

Contexte du poste Dans le cadre de la transformation de son système d'information, notre client fait évoluer sa plateforme BI traditionnelle vers une plateforme Data Big Data et souhaite accompagner cette transformation par la mise en place de nouveaux usages autour de la donnée. Au sein de la DSI, vous rejoignez une équipe dédiée aux projets BI / Data et intervenez à la fois sur le pilotage des projets, l'AMOA, la conception fonctionnelle et le suivi des solutions en production. Vous travaillez en étroite collaboration avec les équipes métiers, les équipes Data et les prestataires externes, dans un environnement Agile. Missions principales Pilotage des projets BI / Data Réaliser les études d'opportunité et cadrer les projets avant décision Go / No Go. Piloter les projets de bout en bout : planning, budget, risques, qualité et coordination des contributeurs. Animer les comités projet et assurer le reporting auprès des parties prenantes. Coordonner les équipes métiers, techniques et les prestataires externes. Élaborer et suivre les charges projet en jours/homme. Analyse fonctionnelle et conception Data Recueillir et analyser les besoins métiers lors d'ateliers de cadrage. Traduire les besoins métiers en exigences fonctionnelles et techniques. Rédiger les expressions de besoins, spécifications fonctionnelles et User Stories. Construire et suivre le backlog produit ainsi que les sprints et releases. Participer à la définition des règles de gestion. Concevoir les Data Products : ingestion, modélisation et intégration au sein de la plateforme Data. Garantir la cohérence, la performance, l'exploitabilité et la continuité des solutions. Tests et déploiement Concevoir les scénarios et cas de tests. Réaliser les tests unitaires et d'intégration. Accompagner les métiers lors des phases de recette. Piloter les mises en production et accompagner les déploiements. Organiser la conduite du changement et, si nécessaire, former les utilisateurs. RUN et amélioration continue Assurer le maintien en condition opérationnelle des applications. Analyser les incidents et dysfonctionnements et proposer des actions correctives et préventives. Suivre et prioriser le backlog des évolutions. Assurer l'interface avec les équipes d'exploitation. Capitaliser la connaissance fonctionnelle et contribuer à l'amélioration continue des solutions. Gestion des partenaires et reporting Superviser les interventions des prestataires externes. Participer à la sélection et au pilotage des intervenants. Mettre en place des indicateurs de suivi : délais, coûts, qualité et satisfaction. Assurer un reporting régulier auprès du management. Environnement technique Data & Big Data : Kafka, Confluent Cloud, NiFi, Spark, Scala, Iceberg, Starburst, Kudu, Hadoop Data Platform : Cloudera, Databricks, Dataiku Orchestration : Airflow / Astronomer BI & Reporting : Power BI, SAP BI, Business Objects Bases de données : SQL Server, T-SQL Data Engineering : Data Warehouse, Data Mart, modélisation de données, ETL

Senior Data Engineer Manchester (3 Days per Week in the Office) £80,000 - £90,000 + Private Healthcare + Life Insurance Are you a Senior Data Engineer who prefers building the foundations that make reporting possible, rather than inheriting someone else's platform and maintaining it? This role sits within a growing digital transformation and project controls consultancy delivering reporting and data solutions across major capital programmes. You'll work across two established client accounts from day one, building the data capability behind board-level reporting rather than simply producing dashboards. The work starts with understanding what stakeholders need to know, tracing that back to where the data lives, then building the pipelines, models, controls and reporting layers needed to make those numbers trustworthy. The reality isn't tidy. You'll deal with APIs, spreadsheets, schedule exports, PDFs and manual submissions, designing solutions that identify bad data instead of quietly publishing it. You'll take ownership of the full reporting stack, from data acquisition and modelling through to Azure platform development, semantic models and reporting outputs. You'll also work directly with planners, quantity surveyors and project managers to understand requirements and translate them into reliable reporting solutions. Sector experience within construction, infrastructure or project controls would be beneficial, but it is not essential. The priority is strong technical depth, experience building data platforms from scratch, and exposure to large, complex environments where reporting accuracy matters. The Role: *Build Azure-based data platforms from the ground up *Develop scalable data models and reporting architectures *Create trusted reporting solutions with validation, lineage and reconciliation built in *Work directly with programme stakeholders and client teams *Own data pipelines, semantic models and Power BI reporting outputs *Based 3 days per week in the Manchester office, with occasional travel The Person: *Strong background in Data Engineering or Data Platform development *Advanced SQL and Python skills *Experience with Azure Data Factory, Fabric, Synapse or Azure SQL *Strong Power BI modelling and DAX knowledge *Experience building solutions from scratch within complex environments *Construction, infrastructure or project controls experience beneficial but not required Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

Voici une version anonymisée de la mission, avec les éléments potentiellement identifiants remplacés par des mentions génériques : Contexte : Dans un contexte de transformation du patrimoine data et d'optimisation de la connaissance clients, nous cherchons un renfort sur un poste de Data Engineer Senior au sein du service Marketing Clients d'une direction Marketing/Communication Digitale et Data. Il rejoindra l'équipe Data Engineering et travaillera en proximité avec les équipes Design Authority (respect des standards d'architecture), Data Management, Informatique, Data Science et Animation. La mission principale sera de concevoir des modèles de données métiers, sur la base de nouvelles données mises à disposition par le service IT (ex : solution de centre de contact cloud, données de satisfaction client, etc.), et de les rendre accessibles via des datamarts pour servir des usages d'études, de reportings, ainsi que des besoins opérationnels tels que le ciblage. Profil : Data Engineer Senior (> 5 ans d'expérience) Missions : Conception de modèles de données Développement des datamarts (couche Gold d'un environnement Snowflake) et pipelines associés dans les différents environnements Réalisation des tests techniques Rédaction des livrables (data model, data mapping, spécification technique) Documentation

ContexteDans le cadre du renforcement de notre équipe en France ou au Portugal, nous recherchons plusieurs Développeurs IA Générative & Automatisation Intelligente en prestation afin de participer à des projets innovants visant à automatiser les processus métier grâce à l'intelligence artificielle et aux technologies d'automatisation. Vous interviendrez au sein d'équipes pluridisciplinaires sur la conception, le développement et le déploiement de solutions intégrant des agents IA, des workflows automatisés et des plateformes de traitement de données. Vos missionsConcevoir et développer des solutions d'automatisation de processus métier basées sur l'IA générative et l'IA agentique. Développer des applications et des services en Python. Participer à la conception et à l'implémentation de la logique métier. Développer des interfaces utilisateurs en React. Concevoir et maintenir des pipelines de traitement et d'intégration de données. Développer des workflows d'automatisation avec Dataiku. Participer à l'intégration des modèles d'IA générative dans les applications métiers. Mettre en œuvre les bonnes pratiques de développement, de tests et d'intégration continue (CI/CD). Collaborer avec les équipes Data, Produit et Métiers afin de proposer des solutions adaptées aux besoins fonctionnels. Contribuer à l'amélioration continue des applications et des processus de développement. Compétences techniquesIndispensablesPython Dataiku React Ingénierie des données (Data Engineering) Implémentation de logique métier IA Générative (LLM) IA Agentique (Agents IA) CI/CD AppréciéesDéveloppement d'API Git Docker Kubernetes Cloud (AWS, Azure ou GCP) Architecture Microservices Qualités recherchéesAutonomie Esprit d'initiative Capacité d'analyse Bon relationnel Rigueur Force de proposition Esprit d'équipe LocalisationFrance ou Portugal

Contexte : Dans le cadre du renforcement de son domaine Customer Relationship, notre client recherche un Senior Data Analyst afin d'accompagner l'équipe Digital Analytics dans l'optimisation du cycle de vie client et des stratégies CRM. Le consultant interviendra sur l'analyse des comportements clients, la définition des KPIs, l'évaluation des campagnes marketing et la production d'insights permettant d'améliorer la fidélisation, la rétention et la valeur client (LTV). En collaboration avec les équipes Produit, CRM, Data Engineering et Business, il contribuera à la mise en place de frameworks analytiques, au pilotage d'expérimentations et à la valorisation des données pour orienter les décisions stratégiques. Missions principales : · Concevoir et maintenir des frameworks analytiques pour exploiter les données clients et marketing. · Réaliser des analyses avancées afin d'identifier des leviers d'optimisation du cycle de vie client. · Construire, piloter et analyser des expérimentations (tests A/B, inférence causale). · Étudier les comportements clients (churn, CLTV, segmentation, affinité, pertinence, fidélisation). · Définir et suivre les indicateurs de performance (KPIs) liés au cycle de vie client. · Produire des recommandations business basées sur les analyses réalisées. · Collaborer avec les Product Managers, Business Managers, Data Engineers et Data Managers afin de transformer les besoins métiers en problématiques analytiques. · Garantir la qualité, la fiabilité et l'intégrité des données utilisées. · Préparer les datasets nécessaires aux analyses. · Documenter les sources de données, les hypothèses, les méthodes d'analyse et les résultats. · Contribuer à l'amélioration des stratégies CRM, de fidélisation et de marketing digital. Livrables attendus : · Études analytiques sur les comportements clients. · Recommandations business. · Rapports d'expérimentation et d'A/B Testing. · Analyses d'inférence causale. · Datasets préparés et fiabilisés. · Documentation des sources de données et des méthodes d'analyse. · Définition et suivi des KPIs. · Restitutions auprès des équipes métiers.

Définir la vision, la stratégie et la feuille de route de la plateforme IA. Piloter le développement et l'évolution d'une plateforme IA d'entreprise basée sur des technologies cloud et des modèles d'IA générative. Garantir la disponibilité, la performance, la sécurité et la montée en charge de la plateforme. Travailler en étroite collaboration avec les équipes Data, Architecture, Engineering et les métiers. Mettre en place les bonnes pratiques de gouvernance, de sécurité et de conformité autour des usages de l'IA. Développer et industrialiser les processus LLMOps / MLOps afin d'accélérer le déploiement des cas d'usage. Favoriser l'adoption des solutions IA grâce à une approche produit et self-service. Piloter les équipes techniques ainsi que les partenaires externes intervenant sur la plateforme. Assurer le suivi des indicateurs de performance, des coûts et de la création de valeur.

ContexteDans le cadre de l'évolution et de l'optimisation de sa plateforme décisionnelle, notre client recherche un Data Engineer SQL & GCP expérimenté afin de renforcer l'équipe en charge du Datawarehouse. Vous interviendrez sur des projets liés à la gestion, à la transformation et à l'optimisation des données, avec un fort enjeu de performance et de qualité des traitements dans un environnement Cloud Google. Vos missionsConcevoir, développer et maintenir les traitements d'alimentation du Datawarehouse. Développer et optimiser des requêtes SQL complexes sur Teradata et Google BigQuery. Concevoir et maintenir les flux ETL sous PowerCenter et/ou IDMC (Informatica Intelligent Data Management Cloud). Participer à la migration et à l'industrialisation des traitements vers Google Cloud Platform. Garantir la qualité, la performance et la fiabilité des traitements de données. Participer aux phases d'analyse, de conception technique et de recette. Assurer le suivi des traitements batch et résoudre les incidents. Collaborer avec les équipes Data, BI, Architecture et Métiers dans un environnement Agile. Environnement techniqueBases de données & SQL (60%)SQL avancé Teradata Google BigQuery ETL (20%)Informatica PowerCenter Informatica IDMC Outils & Cloud (20%)Google Cloud Platform (GCP) Control-M Jira Git (apprécié) Profil recherchéMinimum 5 ans d'expérience en Data Engineering. Excellente maîtrise de SQL, notamment sur de gros volumes de données. Expérience significative sur Teradata et/ou Google BigQuery. Bonne maîtrise des outils Informatica PowerCenter ou IDMC. Expérience dans un environnement Google Cloud Platform (GCP). Connaissance des ordonnanceurs (Control-M) appréciée. Expérience en environnement Agile. Autonomie, rigueur et esprit d'équipe. Compétences indispensablesSQL avancé Teradata Google BigQuery Informatica PowerCenter ou IDMC Google Cloud Platform (GCP) Datawarehouse Optimisation de requêtes SQL Les plusExpérience dans un contexte industriel ou aéronautique. Connaissance des problématiques de migration vers le Cloud. Maîtrise des outils de suivi de projet (Jira). Sensibilité aux bonnes pratiques Data et à la qualité des données.

Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.

Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD

Job Title: Data Engineer Location: Liverpool, UK Salary: £65,000 - £70,000 per annum, depending on experience Job Type: Permanent, Full Time Working Hours: 37.5 hours per week, Monday to Friday, 9am to 5:30pm We are seeking a talented and experienced Data Engineer to join our innovative and collaborative Database and AI Team. In this role, you will play a key part in shaping our data strategy and driving business success. Your skills will contribute directly to our forward-thinking initiatives. At Acorn we value and prioritise innovation, teamwork, and continuous development. Key part of this role is to support our strategic data goals, ensuring system resilience and performance, and building secure, scalable database architectures. What you will be doing: Design and implement robust data ingestion pipelines for unstructured data using modern data engineering tools and frameworks. Develop and maintain scalable storage solutions (e.g., data lakes, NoSQL databases) optimized for unstructured data. Collaborate with data scientists, analysts, and software engineers to ensure data availability, quality, and usability. Apply data parsing, extraction, and transformation techniques (e.g., NLP, OCR, image/audio processing). Implement data governance, metadata management, and data cataloging for unstructured data assets. Monitor and optimize data workflows for performance, reliability, and cost-efficiency. Ensure compliance with data privacy and security standards. Share knowledge and mentor team members Stay ahead of the curve with the latest database technologies Experience of real time cloud streaming solutions What we are looking for: Essential Skills: Experience dealing with unstructured data including voice, chat, image Proven ability to manage secure, high-performance database environments Excellent communication and cross-functional collaboration skills A passion for continuous learning and innovation Desirable skill: Databricks Azure Fabric Confluent/Apache Flink Knowledge Grow with Acorn At Acorn Insurance, we're proud of our Liverpool roots - and even prouder of how far we've come. As part of the Acorn Group, we bring over 40 years of specialist insurance expertise to the table. From humble beginnings, we've grown into a national leader, now employing 1,700+ people across the UK and reached a milestone £750 million in total value of insurance policies written in 2024. We're growing fast, with new opportunities emerging every week. That growth is largely due to the values we share: We run through walls for our customers and each other We challenge the status quo We succeed when we help those around us succeed We decide quickly when the smart thing to do is use our judgement Benefits: A maximum of 35 days' holiday (including bank holidays) with additional buy/sell options 24/7 mental health support & free counselling available Grow with us: Through career fairs, leadership programs, and learning on the go! Flexible benefits, including early access to salary via our internal platform Hybrid working options to support work-life balance and individual needs Recognition awards, social events & more Our Commitment to our colleague's: These aren't just words - they're the principles we live by. And we're proud to back them up with real action, earning recognition and accreditation from leading organisations that share our commitment to people and growth: Mindful Employer - championing mental health and wellbeing Disability Confident Level 1 & 2 - creating accessible, inclusive opportunities Menopause Friendly accredited - supporting every stage of life Armed Forces Covenant signatory - honouring those who serve Great Places to Work 2024/25 - fostering an engaging and positive workplace culture Best Place to Work for Development - proud to be investing in people's future Best Place to Work for Women - breaking down barriers to women's career progression A Few Things to Know Before You Apply: If your application is successful, we will commence relevant employment checks prior to you commencing employment with us. These will include a standard criminal record check and an insolvency register check. Visa Requirements: Because our training is quite comprehensive, we can only consider applicants who have at least one year remaining on their Graduate or Post-Study Work visa. At the moment, we're not able to offer visa sponsorship. We're Here to Support You: We're committed to creating an inclusive, supportive workplace where everyone can flourish. If you need any adjustments during the recruitment process-or once you're part of the team-just let us know. Whether it's flexible hours, adapted equipment, or a bit of extra support, we'll work with you to make sure you can do your best work. Please click the APPLY button to submit your CV for this role. Candidates with experience or relevant job titles of; Cloud Data Engineer, Data Platform Engineer, Data Analytics Engineer, Data Solution Architect, Database Architect, Infrastructure Engineer may also be considered for this role.