Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.
Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)
Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.
Intégration / Modélisation / Restitution de données – Sustainability Contexte de la mission Dans le cadre de l'optimisation et de l'unification de ses capacités analytiques transversales, une grande entreprise internationale recherche un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution de données Sustainability stratégiques. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources externes, essentielles à la prise de décision stratégique et opérationnelle. Contrainte forte du projet Couvrir des cas d'usage analytiques à destination du département Sustainability avec une forte contrainte de qualité et de traçabilité de la donnée. Livrables Dashboard de suivi des consommations d'eau Dashboard de suivi des consommations d'énergie Dashboard de suivi du gaspillage alimentaire Objectifs de la mission Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources identifiés (Ressource Advisor, référentiels internes). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés, fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un Data Warehouse Snowflake de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse pour les départements Sustainability et leurs collaborateurs en région. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise afin d'assurer la maintenabilité et la transférabilité. Environnement technique Sources : multiples systèmes (Ressource Advisor, référentiels internes – via APIs, exports ou connecteurs natifs) Destination : Snowflake – Data Warehouse Cloud Orchestration : Airflow Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent Modélisation : DrawIO, Lucidchart ou autre outil libre Visualisation / Restitution : Tableau CI/CD / Versioning : GitLab, GitHub Documentation : Confluence, Jira, SharePoint Compétences techniques Snowflake : Confirmé – Impératif DBT : Confirmé – Important Airflow : Confirmé – Important Tableau : Confirmé – Souhaitable Data modeling analytique : modèles dimensionnels, Data Vault, architecture médaillon ou autres architectures d'entrepôt de données Ingestion et transformation de données dans un environnement cloud Orchestration de pipelines de données Versioning et pratiques CI/CD Documentation technique et fonctionnelle Profil recherché Maîtrise des techniques d'ingestion et de transformation de données dans un environnement cloud, notamment Snowflake. Solides compétences en data modeling analytique. Excellentes pratiques en matière d'orchestration de pipelines de données, de versioning de code et de documentation technique et fonctionnelle. Capacité à travailler efficacement au sein d'une équipe Agile suivant la méthodologie Scrum. Forte capacité à travailler en autonomie, à prendre des initiatives et à interagir efficacement avec les équipes techniques et les interlocuteurs métiers. Capacité à comprendre et traduire des besoins métiers complexes en solutions techniques de données. Anglais professionnel – Impératif Bonus importants Connaissance des structures de données et des processus métier typiques d'un grand groupe international dans l'hôtellerie ou un secteur similaire. Expérience dans l'utilisation de l'IA et des Agent LLM dans le delivery, que ce soit pour la conception, la documentation, le développement ou les tests.
Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une solide expérience sur Google Cloud Platform (GCP), pour rejoindre une nouvelle équipe dédiée aux données clients et marketing. L'équipe intervient sur différents systèmes sources, sur une plateforme Data centralisant et valorisant les données, ainsi que sur un service dédié à la personnalisation des parcours et expériences clients. L'objectif du projet est de construire une plateforme permettant de fournir aux modèles de Machine Learning des données de personnalisation fiables, pertinentes et facilement exploitables. Dans un premier temps, vous interviendrez sur l'amélioration et la fiabilisation des données provenant de différentes sources de tracking et de données commerciales. Vous participerez ensuite au développement de la plateforme Data centrale du projet. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et intégrer des données provenant de différentes sources. Participer à la conception et à l'évolution de la Data Platform. Contribuer au développement d'un service de contexte et personnalisation client. Préparer et enrichir les données destinées aux modèles de Machine Learning. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la conception des architectures et flux Data. Mettre en place des contrôles et bonnes pratiques de Data Quality. Collaborer avec les équipes Data, ML, Marketing et les équipes techniques. Participer aux tests, à la documentation et au déploiement des solutions. Contribuer à l'amélioration continue de l'architecture et des processus Data.
Nous recherchons pour un acteur international, un Senior Data Engineer pour accompagner le développement et l'industrialisation de sa plateforme Data. Au sein d'une équipe Data en pleine structuration, vous interviendrez sur des sujets à forts enjeux autour de la donnée, avec notamment pour responsabilités : • Concevoir et développer des pipelines de données robustes et scalables • Industrialiser et fiabiliser les pipelines existants • Participer à la mise en place d'une architecture Data moderne de type Lakehouse • Prendre en charge les pipelines de bout en bout, de la conception à la mise en production et au monitoring • Mettre en œuvre les bonnes pratiques Data Engineering / DataOps : CI/CD, tests, versioning, monitoring et gestion des incidents • Collaborer avec les Data Engineers, Data Architects, Product Managers et Engineering Managers • Documenter les flux, dépendances, transformations et procédures d'exploitation • Contribuer à l'autonomie et à la montée en compétences de l'équipe Data