🏭 Secteurs stratégiques : Banque d'investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l'entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Responsabilités principales : Mise en œuvre son expertise sur Kafka Support, automatisation et maintien en conditions opérationnelles des plateformes Kafka Participation aux développement de l'équipe data Analytics et projet Topic As a Service Support plateforme WWW 💡Compétences communication Environnement anglophone
Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : dedbg6qwsh
Concevoir, développer et maintenir des pipelines de données robustes et performants. Développer et industrialiser les transformations de données avec DBT. Concevoir et optimiser les modèles de données dans BigQuery. Intégrer différentes sources de données au sein de l'écosystème Google Cloud Platform. Garantir la qualité, la fiabilité et la disponibilité des données. Optimiser les performances des traitements et des requêtes SQL. Mettre en place des tests et contrôles de qualité des données. Participer à l'automatisation des déploiements et aux pratiques CI/CD / DataOps. Contribuer à la documentation technique et au respect des standards Data. Collaborer avec les Data Analysts, Data Scientists, équipes métiers et équipes Cloud/DevOps. Participer aux problématiques de gouvernance, sécurité et traçabilité des données propres au secteur bancaire.
Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une solide expérience sur Google Cloud Platform (GCP), pour rejoindre une nouvelle équipe dédiée aux données clients et marketing. L'équipe intervient sur différents systèmes sources, sur une plateforme Data centralisant et valorisant les données, ainsi que sur un service dédié à la personnalisation des parcours et expériences clients. L'objectif du projet est de construire une plateforme permettant de fournir aux modèles de Machine Learning des données de personnalisation fiables, pertinentes et facilement exploitables. Dans un premier temps, vous interviendrez sur l'amélioration et la fiabilisation des données provenant de différentes sources de tracking et de données commerciales. Vous participerez ensuite au développement de la plateforme Data centrale du projet. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et intégrer des données provenant de différentes sources. Participer à la conception et à l'évolution de la Data Platform. Contribuer au développement d'un service de contexte et personnalisation client. Préparer et enrichir les données destinées aux modèles de Machine Learning. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la conception des architectures et flux Data. Mettre en place des contrôles et bonnes pratiques de Data Quality. Collaborer avec les équipes Data, ML, Marketing et les équipes techniques. Participer aux tests, à la documentation et au déploiement des solutions. Contribuer à l'amélioration continue de l'architecture et des processus Data.
Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer pour intervenir sur une plateforme Cloud et accompagner les équipes Data dans la mise à disposition et l'exploitation des données. Missions principales : - Concevoir et développer des flux d'alimentation et d'exposition de données - Participer à la conception et à la mise à disposition de solutions Data - Assurer la maintenance corrective et évolutive des flux - Participer au suivi de production et au support des utilisateurs - Accompagner les Data Analysts et Data Scientists dans l'exploitation des données - Contribuer à l'amélioration des performances et de la qualité des données - Participer à l'analyse et à la préparation des données
Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer pour intervenir sur une plateforme Cloud et accompagner les équipes Data dans la mise à disposition et l'exploitation des données. Missions principales : - Concevoir et développer des flux d'alimentation et d'exposition de données - Participer à la conception et à la mise à disposition de solutions Data - Assurer la maintenance corrective et évolutive des flux - Participer au suivi de production et au support des utilisateurs - Accompagner les Data Analysts et Data Scientists dans l'exploitation des données - Contribuer à l'amélioration des performances et de la qualité des données - Participer à l'analyse et à la préparation des données
Contexte de la mission : Dans le cadre d'une mission longue chez un acteur du secteur Retail, nous recherchons un Data Engineer disposant d'une solide expérience sur Google Cloud Platform (GCP) et ayant déjà travaillé sur des problématiques d'intégration de données avec Salesforce. Vous rejoindrez un environnement Data avec des enjeux autour de la construction, de la maintenance et de la fiabilisation des pipelines de données, notamment entre Salesforce et l'écosystème GCP. Les avantages de la mission : Une mission longue avec de la visibilité Un projet au cœur des enjeux Data d'un acteur du Retail Un environnement technique associant GCP et Salesforce Des problématiques concrètes de Data Engineering et d'intégration de données Jusqu'à 3 jours de télétravail par semaine Une mission permettant de travailler sur des flux de données à fort enjeu métier
Senior Azure Data Engineer Thatcham (Hybrid, Minimum 2 Days Per Week Onsite) Commutable from Reading, Basingstoke, Newbury, Andover and surrounding areas. Up to £67,000 + 10% Non-Contributory Pension + 29 Days Holiday + Bank Holidays + Hybrid Working + Excellent Benefits Are you an experienced Azure Developer with strong Python skills who wants full ownership of greenfield cloud projects, the opportunity to shape technical direction, and the chance to help upskill a growing team within an ambitious and rapidly expanding data division? This is an excellent opportunity to join a collaborative and fast-growing data team within an established research organisation that is investing heavily in cloud technologies, analytics, and modern data platforms. Having expanded significantly in recent years, the division offers genuine opportunities for progression, continuous learning, and exposure to the latest technologies. As the organisation continues its transition towards a more data-driven future, you'll play a key role in delivering Azure-based solutions from concept through to deployment. You'll have the autonomy to take ownership of projects, influence technical decisions, and determine the best approach to delivering high-quality solutions. Alongside hands-on development, you'll act as a senior Azure specialist within the team, helping to raise technical capability and sharing knowledge with colleagues. This role would suit a self-starter who enjoys solving complex problems, communicating with stakeholders, and taking responsibility for the full project lifecycle. The Role: *End-to-end ownership of Azure cloud and data projects *Design and development of scalable Azure-based solutions *Building integrations, APIs, ETL processes and data pipelines *Working closely with stakeholders to deliver business-critical products *Supporting and mentoring colleagues on Azure best practice *Delivering greenfield projects using modern cloud technologies The Person: *Strong commercial Azure development experience *Excellent Python development skills *Experience delivering projects from design through to deployment *Strong communication and stakeholder management abilities *Self-motivated and comfortable working with a high degree of autonomy *Background in cloud, data engineering, or analytics environments Reference Number: BBBH279045 Rise Technical Recruitment Ltd acts an employment agency for permanent roles and an employment business for temporary roles. The salary advertised is the bracket available for this position. The actual salary paid will be dependent on your level of experience, qualifications and skill set and will be decided by our client, the employer. Rise are not responsible or liable for any hiring decisions made by the end client. We are an equal opportunities company and welcome applications from all suitable candidates.
Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : efielz010x
En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.
Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD
Nous recherchons pour l'un de nos clients du secteur du transport un Data Engineer Snowflake pour accompagner l'évolution de son architecture Data vers un modèle Data Lakehouse. Participer à la migration des flux Talend vers Snowflake. Contribuer à la mise en place et à l'évolution de l'architecture Data Lakehouse. Développer et industrialiser les pipelines de données. Participer au décommissionnement progressif de Talend. Intervenir sur les évolutions, incidents et sujets de support Data. Documenter les flux, modèles et solutions développées.
Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.
Contexte : Rattaché(e) à la direction R&D / Innovation, vous prenez la responsabilité du pôle Data et pilotez l'ensemble de la chaîne de valeur de la donnée, de l'architecture à l'indexation. Missions : Architecture & Data Engineering Concevoir et mettre en place une architecture data scalable et performante Organiser des entrepôts de données massifs (data Lake / datawarehouse), avec gestion de volumes importants et redondants Définir les modèles de données et leur structuration (données structurées, texte, vectorisation) Garantir la disponibilité rapide des données pour les équipes de développement Collaboration & Infrastructure Travailler avec les équipes DevOps (externes) pour la gestion des infrastructures Superviser la structuration des serveurs, la répartition de charge et la performance globale Garantir la sécurité et la mise à jour des environnements
