Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne. Vos missions Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous serez chargé de : Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement technique Technologies et outils Python SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile

Notre client dans le secteur Banque et finance recherche un/une Data Engineer expérimenté Snowflake / Cloud H/F Description de la mission : Contexte Dans le cadre du développement de l'IA générative au sein de ses applications, l'organisation souhaite renforcer son chapitre Data / entrepôt de données afin de porter les évolutions de patterns liés à la plateforme Data Snowflake et de traiter les ingestions de données sur cette plateforme, qu'elles soient structurées ou non structurées. La mission s'inscrit dans la construction et l'industrialisation des fondations data des cas d'usage IA liés à la relation client, ainsi que dans la mise en place d'une plateforme de pilotage de la relation client. L'équipe couvre l'ensemble de la chaîne de valeur : collecte des données produites par la plateforme de centre de contacts et par les cas d'usage IA, structuration dans Snowflake, croisement avec les données du SI, et mise à disposition pour le pilotage du programme, le suivi de la qualité opérationnelle et l'amélioration des produits IA. Mission La mission consiste à concevoir, mettre en œuvre et industrialiser les modèles de données, pipelines d'ingestion et dispositifs de gouvernance nécessaires à l'exploitation des données d'interactions relation client dans Snowflake, en environnement Cloud, avec une forte composante qualité, pilotage et réutilisabilité. Le consultant interviendra également sur la conception de nouveaux patterns techniques liés à l'ingestion, la manipulation et la restitution de données, ainsi que sur l'accompagnement des équipes IT et métier dans le déploiement et la prise en main de la plateforme Data. Principales responsabilités Définir le modèle de données cible « relation client IA » dans Snowflake : schémas, bases, conventions et dictionnaire de données, en cohérence avec le modèle de reporting existant de la plateforme de centre de contacts Construire les déversements Amazon Connect vers Snowflake et les pipelines d'ingestion associés Compléter le modèle CTR natif avec les attributs des cas d'usage IA absents du modèle standard : résumé d'appel généré et modifié, motif retenu, latence, retours utilisateurs, puis indicateurs voicebot et chatbot selon la trajectoire produit Mettre en place les contrôles qualité, la supervision et les mécanismes de reprise des pipelines Croiser les données d'interactions avec les données des plateformes d'IA et des applications du SI afin de construire une vision consolidée relation client multi-produits Mettre en place la plateforme de pilotage de la relation client avec indicateurs de qualité et de quantité des interactions, en pilotage à chaud et à froid Intégrer les données issues des transcriptions et alimenter mensuellement les instances de pilotage du programme Définir les contrats d'interface avec les producteurs de données et les règles de gouvernance et de conformité, notamment sur les durées de conservation et les finalités analytiques Intégrer au modèle les futurs cas d'usage dès leur conception, notamment assistants conseillers, voicebot et chatbot Contribuer au cadrage des nouveaux besoins techniques liés à la plateforme Snowflake Participer à l'évolution de la plateforme Data sur les volets gouvernance, contrôles et automatisation Participer aux choix technologiques de l'offre à mettre en place Analyser les documents d'architecture des assets à faire évoluer et définir les nouveaux patterns d'architecture fonctionnelle, applicative et technique Documenter les patterns retenus à un niveau de détail suffisant pour leur réutilisation Accompagner les équipes dans la prise en main de la plateforme Data Environnement technique Data platform : Snowflake, DBT Langages : SQL, Python, Shell Cloud : AWS, Terraform Contact center : Amazon Connect Orchestration / notebooks / MLOps : Airflow, MLflow, Jupyter Conteneurs / plateforme : Kubernetes, EKS CI/CD et outillage : GitLab, Artifactory, SonarQube Architecture : architectures Data, architectures de flux, ingestion de données structurées et non structurées Sécurité et conformité : sensibilité aux problématiques de sécurité et normes associées Livrables attendus Modèle de données cible documenté avec dictionnaire Pipelines en production, supervisés et documentés, avec jeux de contrôle qualité Vision consolidée des données d'interactions exploitable dans Snowflake Plateforme de pilotage de la relation client alimentée avec indicateurs de qualité et de quantité, vues à chaud et à froid, et socle de KPIs mensuel pour les instances de pilotage Contrats d'interface et règles de gouvernance des données IA Profil recherché Expérience Profil expérimenté en Data Engineering sur plateforme Snowflake / Cloud Expérience avérée sur une plateforme Snowflake Capacité à travailler dans un contexte multi-site, multi-entité et international Compétences techniques Expertise Snowflake Maîtrise de SQL, Python et Shell Maîtrise de DBT Bonne connaissance des architectures Data et de leur écosystème Bonne maîtrise des architectures et services Cloud, avec AWS en priorité Connaissance de Terraform Maîtrise des architectures de flux Connaissance de Kubernetes / EKS Connaissance d'Airflow, MLflow et Jupyter Connaissance des chaînes CI/CD : GitLab, Artifactory, SonarQube Sensibilité aux problématiques de qualité de données, de gouvernance, de sécurité et de conformité Compétences personnelles Capacité à mobiliser, fédérer et créer une vision commune Bonne communication écrite et orale Langues Anglais lu et parlé de manière professionnelle Compétences / Qualités indispensables : Snowflake, SQL et Python, AWS / Cloud, Modélisation de données, Pipelines d'ingestion data, Qualité et gouvernance des données Informations concernant le télétravail : Oui — 2 jours/semaine

Senior Data Engineer Manchester (3 Days per Week in the Office) £80,000 - £90,000 + Private Healthcare + Life Insurance Are you a Senior Data Engineer who prefers building the foundations that make reporting possible, rather than inheriting someone else's platform and maintaining it? This role sits within a growing digital transformation and project controls consultancy delivering reporting and data solutions across major capital programmes. You'll work across two established client accounts from day one, building the data capability behind board-level reporting rather than simply producing dashboards. The work starts with understanding what stakeholders need to know, tracing that back to where the data lives, then building the pipelines, models, controls and reporting layers needed to make those numbers trustworthy. The reality isn't tidy. You'll deal with APIs, spreadsheets, schedule exports, PDFs and manual submissions, designing solutions that identify bad data instead of quietly publishing it. You'll take ownership of the full reporting stack, from data acquisition and modelling through to Azure platform development, semantic models and reporting outputs. You'll also work directly with planners, quantity surveyors and project managers to understand requirements and translate them into reliable reporting solutions. Sector experience within construction, infrastructure or project controls would be beneficial, but it is not essential. The priority is strong technical depth, experience building data platforms from scratch, and exposure to large, complex environments where reporting accuracy matters. The Role: *Build Azure-based data platforms from the ground up *Develop scalable data models and reporting architectures *Create trusted reporting solutions with validation, lineage and reconciliation built in *Work directly with programme stakeholders and client teams *Own data pipelines, semantic models and Power BI reporting outputs *Based 3 days per week in the Manchester office, with occasional travel The Person: *Strong background in Data Engineering or Data Platform development *Advanced SQL and Python skills *Experience with Azure Data Factory, Fabric, Synapse or Azure SQL *Strong Power BI modelling and DAX knowledge *Experience building solutions from scratch within complex environments *Construction, infrastructure or project controls experience beneficial but not required Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.

Voici une version anonymisée de la mission, avec les éléments potentiellement identifiants remplacés par des mentions génériques : Contexte : Dans un contexte de transformation du patrimoine data et d'optimisation de la connaissance clients, nous cherchons un renfort sur un poste de Data Engineer Senior au sein du service Marketing Clients d'une direction Marketing/Communication Digitale et Data. Il rejoindra l'équipe Data Engineering et travaillera en proximité avec les équipes Design Authority (respect des standards d'architecture), Data Management, Informatique, Data Science et Animation. La mission principale sera de concevoir des modèles de données métiers, sur la base de nouvelles données mises à disposition par le service IT (ex : solution de centre de contact cloud, données de satisfaction client, etc.), et de les rendre accessibles via des datamarts pour servir des usages d'études, de reportings, ainsi que des besoins opérationnels tels que le ciblage. Profil : Data Engineer Senior (> 5 ans d'expérience) Missions : Conception de modèles de données Développement des datamarts (couche Gold d'un environnement Snowflake) et pipelines associés dans les différents environnements Réalisation des tests techniques Rédaction des livrables (data model, data mapping, spécification technique) Documentation

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

ContexteDans le cadre du renforcement de notre équipe en France ou au Portugal, nous recherchons plusieurs Développeurs IA Générative & Automatisation Intelligente en prestation afin de participer à des projets innovants visant à automatiser les processus métier grâce à l'intelligence artificielle et aux technologies d'automatisation. Vous interviendrez au sein d'équipes pluridisciplinaires sur la conception, le développement et le déploiement de solutions intégrant des agents IA, des workflows automatisés et des plateformes de traitement de données. Vos missionsConcevoir et développer des solutions d'automatisation de processus métier basées sur l'IA générative et l'IA agentique. Développer des applications et des services en Python. Participer à la conception et à l'implémentation de la logique métier. Développer des interfaces utilisateurs en React. Concevoir et maintenir des pipelines de traitement et d'intégration de données. Développer des workflows d'automatisation avec Dataiku. Participer à l'intégration des modèles d'IA générative dans les applications métiers. Mettre en œuvre les bonnes pratiques de développement, de tests et d'intégration continue (CI/CD). Collaborer avec les équipes Data, Produit et Métiers afin de proposer des solutions adaptées aux besoins fonctionnels. Contribuer à l'amélioration continue des applications et des processus de développement. Compétences techniquesIndispensablesPython Dataiku React Ingénierie des données (Data Engineering) Implémentation de logique métier IA Générative (LLM) IA Agentique (Agents IA) CI/CD AppréciéesDéveloppement d'API Git Docker Kubernetes Cloud (AWS, Azure ou GCP) Architecture Microservices Qualités recherchéesAutonomie Esprit d'initiative Capacité d'analyse Bon relationnel Rigueur Force de proposition Esprit d'équipe LocalisationFrance ou Portugal

Contexte : Dans le cadre du renforcement de son domaine Customer Relationship, notre client recherche un Senior Data Analyst afin d'accompagner l'équipe Digital Analytics dans l'optimisation du cycle de vie client et des stratégies CRM. Le consultant interviendra sur l'analyse des comportements clients, la définition des KPIs, l'évaluation des campagnes marketing et la production d'insights permettant d'améliorer la fidélisation, la rétention et la valeur client (LTV). En collaboration avec les équipes Produit, CRM, Data Engineering et Business, il contribuera à la mise en place de frameworks analytiques, au pilotage d'expérimentations et à la valorisation des données pour orienter les décisions stratégiques. Missions principales : · Concevoir et maintenir des frameworks analytiques pour exploiter les données clients et marketing. · Réaliser des analyses avancées afin d'identifier des leviers d'optimisation du cycle de vie client. · Construire, piloter et analyser des expérimentations (tests A/B, inférence causale). · Étudier les comportements clients (churn, CLTV, segmentation, affinité, pertinence, fidélisation). · Définir et suivre les indicateurs de performance (KPIs) liés au cycle de vie client. · Produire des recommandations business basées sur les analyses réalisées. · Collaborer avec les Product Managers, Business Managers, Data Engineers et Data Managers afin de transformer les besoins métiers en problématiques analytiques. · Garantir la qualité, la fiabilité et l'intégrité des données utilisées. · Préparer les datasets nécessaires aux analyses. · Documenter les sources de données, les hypothèses, les méthodes d'analyse et les résultats. · Contribuer à l'amélioration des stratégies CRM, de fidélisation et de marketing digital. Livrables attendus : · Études analytiques sur les comportements clients. · Recommandations business. · Rapports d'expérimentation et d'A/B Testing. · Analyses d'inférence causale. · Datasets préparés et fiabilisés. · Documentation des sources de données et des méthodes d'analyse. · Définition et suivi des KPIs. · Restitutions auprès des équipes métiers.

Définir la vision, la stratégie et la feuille de route de la plateforme IA. Piloter le développement et l'évolution d'une plateforme IA d'entreprise basée sur des technologies cloud et des modèles d'IA générative. Garantir la disponibilité, la performance, la sécurité et la montée en charge de la plateforme. Travailler en étroite collaboration avec les équipes Data, Architecture, Engineering et les métiers. Mettre en place les bonnes pratiques de gouvernance, de sécurité et de conformité autour des usages de l'IA. Développer et industrialiser les processus LLMOps / MLOps afin d'accélérer le déploiement des cas d'usage. Favoriser l'adoption des solutions IA grâce à une approche produit et self-service. Piloter les équipes techniques ainsi que les partenaires externes intervenant sur la plateforme. Assurer le suivi des indicateurs de performance, des coûts et de la création de valeur.

ContexteDans le cadre de l'évolution et de l'optimisation de sa plateforme décisionnelle, notre client recherche un Data Engineer SQL & GCP expérimenté afin de renforcer l'équipe en charge du Datawarehouse. Vous interviendrez sur des projets liés à la gestion, à la transformation et à l'optimisation des données, avec un fort enjeu de performance et de qualité des traitements dans un environnement Cloud Google. Vos missionsConcevoir, développer et maintenir les traitements d'alimentation du Datawarehouse. Développer et optimiser des requêtes SQL complexes sur Teradata et Google BigQuery. Concevoir et maintenir les flux ETL sous PowerCenter et/ou IDMC (Informatica Intelligent Data Management Cloud). Participer à la migration et à l'industrialisation des traitements vers Google Cloud Platform. Garantir la qualité, la performance et la fiabilité des traitements de données. Participer aux phases d'analyse, de conception technique et de recette. Assurer le suivi des traitements batch et résoudre les incidents. Collaborer avec les équipes Data, BI, Architecture et Métiers dans un environnement Agile. Environnement techniqueBases de données & SQL (60%)SQL avancé Teradata Google BigQuery ETL (20%)Informatica PowerCenter Informatica IDMC Outils & Cloud (20%)Google Cloud Platform (GCP) Control-M Jira Git (apprécié) Profil recherchéMinimum 5 ans d'expérience en Data Engineering. Excellente maîtrise de SQL, notamment sur de gros volumes de données. Expérience significative sur Teradata et/ou Google BigQuery. Bonne maîtrise des outils Informatica PowerCenter ou IDMC. Expérience dans un environnement Google Cloud Platform (GCP). Connaissance des ordonnanceurs (Control-M) appréciée. Expérience en environnement Agile. Autonomie, rigueur et esprit d'équipe. Compétences indispensablesSQL avancé Teradata Google BigQuery Informatica PowerCenter ou IDMC Google Cloud Platform (GCP) Datawarehouse Optimisation de requêtes SQL Les plusExpérience dans un contexte industriel ou aéronautique. Connaissance des problématiques de migration vers le Cloud. Maîtrise des outils de suivi de projet (Jira). Sensibilité aux bonnes pratiques Data et à la qualité des données.

Job Title: Data Engineer Location: Liverpool, UK Salary: £65,000 - £70,000 per annum, depending on experience Job Type: Permanent, Full Time Working Hours: 37.5 hours per week, Monday to Friday, 9am to 5:30pm We are seeking a talented and experienced Data Engineer to join our innovative and collaborative Database and AI Team. In this role, you will play a key part in shaping our data strategy and driving business success. Your skills will contribute directly to our forward-thinking initiatives. At Acorn we value and prioritise innovation, teamwork, and continuous development. Key part of this role is to support our strategic data goals, ensuring system resilience and performance, and building secure, scalable database architectures. What you will be doing: Design and implement robust data ingestion pipelines for unstructured data using modern data engineering tools and frameworks. Develop and maintain scalable storage solutions (e.g., data lakes, NoSQL databases) optimized for unstructured data. Collaborate with data scientists, analysts, and software engineers to ensure data availability, quality, and usability. Apply data parsing, extraction, and transformation techniques (e.g., NLP, OCR, image/audio processing). Implement data governance, metadata management, and data cataloging for unstructured data assets. Monitor and optimize data workflows for performance, reliability, and cost-efficiency. Ensure compliance with data privacy and security standards. Share knowledge and mentor team members Stay ahead of the curve with the latest database technologies Experience of real time cloud streaming solutions What we are looking for: Essential Skills: Experience dealing with unstructured data including voice, chat, image Proven ability to manage secure, high-performance database environments Excellent communication and cross-functional collaboration skills A passion for continuous learning and innovation Desirable skill: Databricks Azure Fabric Confluent/Apache Flink Knowledge Grow with Acorn At Acorn Insurance, we're proud of our Liverpool roots - and even prouder of how far we've come. As part of the Acorn Group, we bring over 40 years of specialist insurance expertise to the table. From humble beginnings, we've grown into a national leader, now employing 1,700+ people across the UK and reached a milestone £750 million in total value of insurance policies written in 2024. We're growing fast, with new opportunities emerging every week. That growth is largely due to the values we share: We run through walls for our customers and each other We challenge the status quo We succeed when we help those around us succeed We decide quickly when the smart thing to do is use our judgement Benefits: A maximum of 35 days' holiday (including bank holidays) with additional buy/sell options 24/7 mental health support & free counselling available Grow with us: Through career fairs, leadership programs, and learning on the go! Flexible benefits, including early access to salary via our internal platform Hybrid working options to support work-life balance and individual needs Recognition awards, social events & more Our Commitment to our colleague's: These aren't just words - they're the principles we live by. And we're proud to back them up with real action, earning recognition and accreditation from leading organisations that share our commitment to people and growth: Mindful Employer - championing mental health and wellbeing Disability Confident Level 1 & 2 - creating accessible, inclusive opportunities Menopause Friendly accredited - supporting every stage of life Armed Forces Covenant signatory - honouring those who serve Great Places to Work 2024/25 - fostering an engaging and positive workplace culture Best Place to Work for Development - proud to be investing in people's future Best Place to Work for Women - breaking down barriers to women's career progression A Few Things to Know Before You Apply: If your application is successful, we will commence relevant employment checks prior to you commencing employment with us. These will include a standard criminal record check and an insolvency register check. Visa Requirements: Because our training is quite comprehensive, we can only consider applicants who have at least one year remaining on their Graduate or Post-Study Work visa. At the moment, we're not able to offer visa sponsorship. We're Here to Support You: We're committed to creating an inclusive, supportive workplace where everyone can flourish. If you need any adjustments during the recruitment process-or once you're part of the team-just let us know. Whether it's flexible hours, adapted equipment, or a bit of extra support, we'll work with you to make sure you can do your best work. Please click the APPLY button to submit your CV for this role. Candidates with experience or relevant job titles of; Cloud Data Engineer, Data Platform Engineer, Data Analytics Engineer, Data Solution Architect, Database Architect, Infrastructure Engineer may also be considered for this role.