Trouvez votre prochaine offre d’emploi ou de mission freelance Data Mesh à Lille

⚠️ Compétences obligatoires (indispensables pour ce poste) Les candidats doivent impérativement maîtriser les compétences suivantes : BigQuery (Google Cloud Platform) – niveau confirmé Orchestration de pipelines de données (ex : Airflow) – niveau confirmé Transformation de données (ex : dbt) – niveau confirmé Architecture Data Mesh / Data Product – niveau confirmé SQL et modélisation de données Environnement Google Cloud Platform (GCP) Gestion de pipelines de données et pratiques DevOps (CI/CD) Anglais professionnel Intitulé du poste Data Engineer Objectif global du poste Accompagner les équipes produits digitaux dans le déploiement d’un Framework Data Management , en assurant la diffusion des standards, bonnes pratiques et méthodes de Data Engineering au sein des plateformes digitales. Le poste s’inscrit dans une équipe Data transverse avec pour mission de faciliter l’exploitation et la valorisation des données par les équipes métiers et digitales . Principaux livrables Déploiement opérationnel du framework Data Management dans les produits digitaux Élaboration de guides pratiques à destination des équipes produits Mise en place et documentation de standards, patterns et bonnes pratiques Data Engineering Missions principales Le Data Engineer aura notamment pour responsabilités : Collecter, structurer et transformer les données afin de les rendre exploitables pour les utilisateurs métiers et digitaux Concevoir et organiser un modèle physique de données répondant aux enjeux d’architecture Data Mesh Mettre en œuvre des méthodes permettant d’améliorer : la fiabilité la qualité la performance des données l’optimisation des coûts ( FinOps ) Garantir la mise en production des flux de données dans le respect de la gouvernance et des règles de conformité Assurer le respect des réglementations liées à la protection des données Maintenir et faire évoluer la stack technique Data Mettre en place un cadre de bonnes pratiques pour améliorer la qualité des développements de flux de données et leur suivi en production Participer aux rituels agiles de l’équipe et contribuer à la veille technologique Environnement technique Cloud : Google Cloud Platform (GCP) Data Warehouse : BigQuery Orchestration : Airflow Transformation : dbt Streaming : Kafka Stockage : GCS Langages : SQL, Shell Bases de données : SQL / NoSQL DevOps : CI/CD, Git, data pipelines Méthodologie Travail en méthodologie Agile Gestion de version avec Git Participation active aux rituels d’équipe Langues Français : courant Anglais : professionnel (impératif)

Au sein de la Global Tech & Data Platform (GTDP), le Data Engineer intégrera l’équipe Data transverse et sera responsable de partager les normes et bonnes pratiques Data Engineering au sein de sa plateforme d’appartenance, et ainsi de faire le lien avec nos équipes produits et les métiers. Vous êtes notamment responsable de : - Collecter, gérer et convertir les données en informations exploitables pour tous les utilisateurs de données (digitaux ou métier), - L’organisation d’un modèle physique de données, répondant aux enjeux de Data Mesh, - Mettre en œuvre des méthodes pour améliorer la fiabilité, la qualité, la performance des données ainsi que les aspects Finops, - Garantir la mise en production des données conformément à la gouvernance et à la conformité des données, - Respecter les réglementations du DPO, - Assurer la maintenance et le respect de la stack technique de l’entreprise, - La mise en place d’un cadre de bonnes pratiques visant à améliorer la qualité des développements des flux de données, de leur indicateurs et de leurs suivis en production, - La bonne tenue des rituels agiles de l’équipe et à la veille technologique. CARACTERISTIQUES DU PROFIL DEMANDE : Une expérience significative en Data Engineering (minimum 3 ans d'expériences), idéalement dans le secteur du retail. Bonne maîtrise des streaming platform et traitements des flux (Kafka). De solides compétences sur la stack Google Cloud Platform, notamment BigQuery. De solides connaissances des bases de données et systèmes distribués. Maîtrise de la chaîne DevOps et des outils associés : CI / CD, data-pipelines. Vous ne ressentez aucune difficulté à vous exprimer en anglais. COMPETENCES REQUISES Technique : SQL, NoSQL, Shell, GCP (Big Query, GCS, ...), Pipeline (dbt...), Modélisation de données Transverses : Collaboration, communication, documentation et pédagogie. Méthodologique : Agilité, Git Langues : Français, Anglais

Au sein d'un acteur majeur du retail européen, l'équipe Data & IA Marketplace traite des volumes massifs de données issues de vendeurs tiers. L'objectif est d'automatiser la qualification, la classification et l'enrichissement des catalogues produits pour garantir une expérience utilisateur optimale. Le défi réside dans l'industrialisation de modèles complexes au sein d'une architecture Data Mesh en forte croissance. La Stack Technique Langages : Python, Bash. Cloud : GCP (Google Cloud Platform). Orchestration & MLOps : Airflow, Kubeflow, ZenML, MLflow, Vertex AI. Infrastructure & DevOps : Docker, Kubernetes, Terraform, Ansible, Gitlab CI. Data Quality & Feature Store : Great Expectations, Feast. Ta Mission & Ton Impact : Concevoir et maintenir des pipelines MLOps automatisés (CI/CD) pour l'entraînement et le déploiement des modèles en production. Gérer l'infrastructure cloud via Terraform et assurer le versioning complet des modèles et des données. Implémenter le monitoring de performance (détection de drift, latence) et configurer l'alerting pour garantir la fiabilité des solutions. Accompagner les Data Scientists dans l'adoption des meilleures pratiques de développement (code quality, tests, industrialisation). Intégrer des validations de schémas et des filtres de qualité de données au sein des pipelines de production.