Trouvez votre prochaine offre d’emploi ou de mission freelance Data Mesh

Le Client est un groupe industriel international de haute technologie. Son identité et les informations détaillées le concernant seront communiquées aux prestataires consultés, sous couvert d'un accord de confidentialité. Contexte général L'équipe Data Platform du Client assure la mise à disposition, l'exploitation et l'évolution des plateformes de données permettant de collecter, stocker, transformer et distribuer les données de l'entreprise. Dans le cadre de la modernisation de son écosystème Data et de la mise en œuvre d'une architecture orientée Data Mesh, le Client souhaite déployer la solution Starburst afin de simplifier l'accès aux données, renforcer l'interopérabilité entre les plateformes et accélérer les usages analytiques. Le projet implique plusieurs acteurs (Architecture, Infrastructure, Cybersécurité, Data Platform, équipes Data Engineering, BI et Métiers). Afin de piloter le déploiement de cette nouvelle capacité stratégique, le Client souhaite s'appuyer sur un chef de projet expérimenté capable de coordonner l'ensemble des parties prenantes et d'assurer le pilotage du programme jusqu'à sa mise en production. Dans ce contexte, le Client a besoin d'un Chef de projet Data Platform disposant de la maîtrise des composants et technologies suivants : • Starburst Enterprise • Trino • Data Mesh • Data Virtualization • Data Lake • Cloud public (AWS - apprécié, Azure, GCP) • API et services de données • Gouvernance Data • Sécurité des données • Gestion des accès • Gestion de projet Agile et Cycle en V • Pilotage de fournisseurs • Gestion des risques Il est entendu que les responsabilités suivantes seront attendues : • Pilotage du projet Starburst o Cadrage du projet et des objectifs. o Construction et suivi du planning directeur. o Identification et suivi des risques. o Coordination des équipes techniques. o Pilotage des fournisseurs et intégrateurs. o Animation des comités projet. o Préparation des arbitrages. o Suivi budgétaire et capacitaire. • Coordination technique o Coordination des travaux d'architecture. o Coordination des équipes Infrastructure. o Coordination des équipes Cybersécurité. o Coordination des équipes Data Engineering. o Coordination des équipes BI et Analytics. o Coordination avec les équipes Groupe lorsque nécessaire. o Gestion des dépendances techniques inter-projets. • Gouvernance du programme o Mise en place de la gouvernance projet o Définition des indicateurs de pilotage o Construction de la feuille de route o Suivi des engagements fournisseur o Préparation et animation des comités de pilotage o Escalade et gestion des points bloquants • Accompagnement du déploiement o Organisation des ateliers de conception. o Coordination des phases d'installation. o Coordination des tests d'intégration. o Coordination des tests de performance. o Coordination des recettes métier. o Préparation des mises en production. o Accompagnement des phases de transition vers le Run. • Conduite du changement o Identification des impacts organisationnels. o Élaboration du plan de communication. o Suivi des actions d'accompagnement. o Coordination des formations. o Accompagnement des équipes utilisatrices. o Préparation des supports de présentation à destination du management. • Livrables attendus o Le prestataire devra produire :  Planning directeur du projet.  Roadmap du déploiement.  Cartographie des parties prenantes.  Registre des risques et actions.  Comptes-rendus des comités.  Dashboard de suivi du projet.  Plans d'action associés.  Dossiers de mise en production.  Dossiers de passage en RUN.  Supports de comité de pilotage.  Reporting mensuel.  Documentation projet.

Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.

Dans le cadre de la mise en production d'une nouvelle Data Factory, reposant sur un Data Warehouse transverse et un ensemble de services data mutualisés, nous recherchons un(e) Architecte Data / Data Platform pour accompagner l'évolution et l'industrialisation de la plateforme. Vos missionsÊtre le référent sur les choix technologiques et architecturaux de la plateforme Data. Analyser les besoins et définir les solutions techniques et fonctionnelles adaptées. Valider l'intégration de nouveaux cas d'usage sur la plateforme. Identifier les écarts entre les besoins métier et les fonctionnalités existantes (gap analysis). Challenger et faire évoluer les choix d'architecture. Accompagner les équipes de développement dans le cycle de développement. Coordonner les différents interlocuteurs IT, projets, production et métiers. Définir les priorités et les trajectoires d'évolution de la plateforme. Contribuer à la documentation technique : cartographies, dossiers d'architecture, principes d'utilisation et d'éligibilité de la plateforme. Garantir les bonnes pratiques en matière de modélisation, Data Lineage et Data Quality. Environnement techniqueData Platform / Data Warehouse : Oracle Exadata Virtualisation Data : Starburst Transformation Data : DBT Orchestration : Airflow Conteneurisation : Kubernetes CI/CD : Ansible, Jenkins Monitoring : Dynatrace Développement : Java, Angular Architecture de type Data Mesh / multi-instances Profil recherchéDe formation supérieure en informatique, vous justifiez d'une expérience significative en architecture Data / Data Platform. Vous disposez idéalement d'une expertise sur DBT et Starburst, ainsi que d'une bonne compréhension des enjeux de Data Architecture, Data Quality et Data Lineage. Vous êtes capable de prendre de la hauteur, de challenger les choix d'architecture et de faire le lien entre les besoins métier et les solutions techniques. Vous êtes à la fois référent technique, force de proposition et facilitateur auprès des équipes de développement.

Au sein d'un acteur majeur du retail européen, l'équipe Data & IA Marketplace traite des volumes massifs de données issues de vendeurs tiers. L'objectif est d'automatiser la qualification, la classification et l'enrichissement des catalogues produits pour garantir une expérience utilisateur optimale. Le défi réside dans l'industrialisation de modèles complexes au sein d'une architecture Data Mesh en forte croissance. La Stack Technique Langages : Python, Bash. Cloud : GCP (Google Cloud Platform). Orchestration & MLOps : Airflow, Kubeflow, ZenML, MLflow, Vertex AI. Infrastructure & DevOps : Docker, Kubernetes, Terraform, Ansible, Gitlab CI. Data Quality & Feature Store : Great Expectations, Feast. Ta Mission & Ton Impact : Concevoir et maintenir des pipelines MLOps automatisés (CI/CD) pour l'entraînement et le déploiement des modèles en production. Gérer l'infrastructure cloud via Terraform et assurer le versioning complet des modèles et des données. Implémenter le monitoring de performance (détection de drift, latence) et configurer l'alerting pour garantir la fiabilité des solutions. Accompagner les Data Scientists dans l'adoption des meilleures pratiques de développement (code quality, tests, industrialisation). Intégrer des validations de schémas et des filtres de qualité de données au sein des pipelines de production.

Data Engineer Snowflake. TJM Max Confirmé (4ans+) = 430€ TJM Max Senior(7ans+) = 480€ Client : Transport Localisation : Issy les Moulineaux (3j sur site, 2j en TT) Démarrage : ASAP Durée : 3 mois renouvelable Dans le cadre de l'évolution du DataHub vers une architecture Data Lakehouse, le client engage une bascule progressive depuis une architecture BI classique (ETL Talend, DWH centralisé) vers un modèle cible de type Lakehouse. Cette trajectoire inclut la migration des flux existants, la mise en place de nouvelles zones data (Landing Zone, Data Lake, Datamarts, Data Products) et le décommissionnement de Talend. Le/la Data Engineer intervient sous la responsabilité du Responsable de l'équipe technique et en appui du Techlead sur le projet de bascule Lakehouse. Son périmètre couvre à la fois la contribution au projet de décommissionnement Talend et de nouvelle architecture Snowflake, la réalisation de projets et demandes évolutives sur le périmètre data existant, ainsi que le traitement des incidents et le support au Run. Compétences obligatoires : Snowflake : connaissance solide de l'environnement, langages et outils associés : SQL, Snowpipe, Snowpark, RBAC, supervision, Python, SQL avancé … etc Terraform : expérience confirmée Talend : connaissance de l'outil ou à défaut un ETL équivalent dans le cadre de la bascule de l'ETL vers l'ELT ou la gestion de la maintenance évolutive et corrective en parallèle Compétences appréciées : Power BI Expérience Data Lakehouse / Data Mesh AWS (Lambda, services serverless) Livrables attendus Inventaire et documentation des jobs Talend repris Pipelines Snowflake industrialisés issus de la migration Talend Modèles Lakehouse documentés Contribution à la stratégie de migration et de décommissionnement Talend Développements réalisés sur les projets et demandes évolutives traités Suivi et documentation des incidents traités (analyse de cause racine, correctifs)