Find your next tech and IT Job or contract Data Mesh
What you need to know about Data Mesh
Data Mesh is a modern data management approach that enables organizations to democratize data access and analysis. It empowers teams to independently manage and govern their data, while ensuring security, scalability, and reusability. This paradigm shift promotes a decentralized data infrastructure, fostering collaboration, and accelerating data-driven insights and decision-making.
Au sein d'un acteur majeur du retail européen, l'équipe Data & IA Marketplace traite des volumes massifs de données issues de vendeurs tiers. L'objectif est d'automatiser la qualification, la classification et l'enrichissement des catalogues produits pour garantir une expérience utilisateur optimale. Le défi réside dans l'industrialisation de modèles complexes au sein d'une architecture Data Mesh en forte croissance. La Stack Technique Langages : Python, Bash. Cloud : GCP (Google Cloud Platform). Orchestration & MLOps : Airflow, Kubeflow, ZenML, MLflow, Vertex AI. Infrastructure & DevOps : Docker, Kubernetes, Terraform, Ansible, Gitlab CI. Data Quality & Feature Store : Great Expectations, Feast. Ta Mission & Ton Impact : Concevoir et maintenir des pipelines MLOps automatisés (CI/CD) pour l'entraînement et le déploiement des modèles en production. Gérer l'infrastructure cloud via Terraform et assurer le versioning complet des modèles et des données. Implémenter le monitoring de performance (détection de drift, latence) et configurer l'alerting pour garantir la fiabilité des solutions. Accompagner les Data Scientists dans l'adoption des meilleures pratiques de développement (code quality, tests, industrialisation). Intégrer des validations de schémas et des filtres de qualité de données au sein des pipelines de production.
Dans le cadre d'une transformation Data et de la modernisation de l'offre BI, vous intégrerez Looker et LookML dans un environnement GCP organisé en Data Mesh. Votre mission consistera à structurer les bonnes pratiques autour de la plateforme, à industrialiser son déploiement (DataOps, CI/CD, versioning, automatisation) et à garantir son interopérabilité avec le Data Hub. Vous serez également responsable de la supervision (incidents, performances, sécurité, FinOps), de la définition des règles de gouvernance, et de l'optimisation des performances (BigQuery, cache, vues matérialisées).
Data Engineer Snowflake. TJM Max Confirmé (4ans+) = 430€ TJM Max Senior(7ans+) = 480€ Client : Transport Localisation : Issy les Moulineaux (3j sur site, 2j en TT) Démarrage : ASAP Durée : 3 mois renouvelable Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Compétences obligatoires : Snowflake : connaissance solide de l'environnement, langages et outils associés : SQL, Snowpipe, Snowpark, RBAC, supervision, Python, SQL avancé … etc Terraform : expérience confirmée Talend : connaissance de l'outil ou à défaut un ETL équivalent dans le cadre de la bascule de l'ETL vers l'ELT ou la gestion de la maintenance évolutive et corrective en parallèle Compétences appréciées : Power BI Expérience Data Lakehouse / Data Mesh AWS (Lambda, services serverless) Livrables attendus Inventaire et documentation des jobs Talend repris Pipelines Snowflake industrialisés issus de la migration Talend Modèles Lakehouse documentés Contribution à la stratégie de migration et de décommissionnement Talend Développements réalisés sur les projets et demandes évolutives traités Suivi et documentation des incidents traités (analyse de cause racine, correctifs)