Trouvez votre prochaine offre d’emploi ou de mission freelance Data Mesh à Lille

Au sein d'un acteur majeur du retail européen, l'équipe Data & IA Marketplace traite des volumes massifs de données issues de vendeurs tiers. L'objectif est d'automatiser la qualification, la classification et l'enrichissement des catalogues produits pour garantir une expérience utilisateur optimale. Le défi réside dans l'industrialisation de modèles complexes au sein d'une architecture Data Mesh en forte croissance. La Stack Technique Langages : Python, Bash. Cloud : GCP (Google Cloud Platform). Orchestration & MLOps : Airflow, Kubeflow, ZenML, MLflow, Vertex AI. Infrastructure & DevOps : Docker, Kubernetes, Terraform, Ansible, Gitlab CI. Data Quality & Feature Store : Great Expectations, Feast. Ta Mission & Ton Impact : Concevoir et maintenir des pipelines MLOps automatisés (CI/CD) pour l'entraînement et le déploiement des modèles en production. Gérer l'infrastructure cloud via Terraform et assurer le versioning complet des modèles et des données. Implémenter le monitoring de performance (détection de drift, latence) et configurer l'alerting pour garantir la fiabilité des solutions. Accompagner les Data Scientists dans l'adoption des meilleures pratiques de développement (code quality, tests, industrialisation). Intégrer des validations de schémas et des filtres de qualité de données au sein des pipelines de production.

⚠️ Compétences obligatoires (indispensables pour ce poste) Les candidats doivent impérativement maîtriser les compétences suivantes : BigQuery (Google Cloud Platform) – niveau confirmé Orchestration de pipelines de données (ex : Airflow) – niveau confirmé Transformation de données (ex : dbt) – niveau confirmé Architecture Data Mesh / Data Product – niveau confirmé SQL et modélisation de données Environnement Google Cloud Platform (GCP) Gestion de pipelines de données et pratiques DevOps (CI/CD) Anglais professionnel Intitulé du poste Data Engineer Objectif global du poste Accompagner les équipes produits digitaux dans le déploiement d’un Framework Data Management , en assurant la diffusion des standards, bonnes pratiques et méthodes de Data Engineering au sein des plateformes digitales. Le poste s’inscrit dans une équipe Data transverse avec pour mission de faciliter l’exploitation et la valorisation des données par les équipes métiers et digitales . Principaux livrables Déploiement opérationnel du framework Data Management dans les produits digitaux Élaboration de guides pratiques à destination des équipes produits Mise en place et documentation de standards, patterns et bonnes pratiques Data Engineering Missions principales Le Data Engineer aura notamment pour responsabilités : Collecter, structurer et transformer les données afin de les rendre exploitables pour les utilisateurs métiers et digitaux Concevoir et organiser un modèle physique de données répondant aux enjeux d’architecture Data Mesh Mettre en œuvre des méthodes permettant d’améliorer : la fiabilité la qualité la performance des données l’optimisation des coûts ( FinOps ) Garantir la mise en production des flux de données dans le respect de la gouvernance et des règles de conformité Assurer le respect des réglementations liées à la protection des données Maintenir et faire évoluer la stack technique Data Mettre en place un cadre de bonnes pratiques pour améliorer la qualité des développements de flux de données et leur suivi en production Participer aux rituels agiles de l’équipe et contribuer à la veille technologique Environnement technique Cloud : Google Cloud Platform (GCP) Data Warehouse : BigQuery Orchestration : Airflow Transformation : dbt Streaming : Kafka Stockage : GCS Langages : SQL, Shell Bases de données : SQL / NoSQL DevOps : CI/CD, Git, data pipelines Méthodologie Travail en méthodologie Agile Gestion de version avec Git Participation active aux rituels d’équipe Langues Français : courant Anglais : professionnel (impératif)