Trouvez votre prochaine offre d’emploi ou de mission freelance DBT

Concevoir, développer et maintenir des pipelines de données robustes et performants. Développer et industrialiser les transformations de données avec DBT. Concevoir et optimiser les modèles de données dans BigQuery. Intégrer différentes sources de données au sein de l'écosystème Google Cloud Platform. Garantir la qualité, la fiabilité et la disponibilité des données. Optimiser les performances des traitements et des requêtes SQL. Mettre en place des tests et contrôles de qualité des données. Participer à l'automatisation des déploiements et aux pratiques CI/CD / DataOps. Contribuer à la documentation technique et au respect des standards Data. Collaborer avec les Data Analysts, Data Scientists, équipes métiers et équipes Cloud/DevOps. Participer aux problématiques de gouvernance, sécurité et traçabilité des données propres au secteur bancaire.

Nous recherchons un(e) data Engineer DBT Snowflake capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : x3qjzedtly

Contexte de la mission Dans le cadre du développement et de l'industrialisation de produits Data, nous recherchons un(e) Tech Lead Data & Viz spécialisé(e) sur les technologies Snowflake et dbt. Vous serez responsable de la delivery technique des produits Data, depuis la modélisation et le développement jusqu'à l'industrialisation, la mise en production et le run. Vous interviendrez également sur la définition des standards techniques, les revues de code, la qualité, la performance, la CI/CD ainsi que les sujets de gouvernance Data. Une partie importante de la mission portera sur le cadrage technique de sujets Data Quality. Vos missionsTech Lead Data Piloter techniquement la delivery des produits Data. Définir et faire appliquer les standards de développement et d'architecture. Encadrer les développements sur Snowflake / dbt. Réaliser les revues de code et garantir la qualité des développements. Accompagner l'équipe sur les bonnes pratiques Data et les choix techniques. Assurer la performance et la fiabilité des traitements. Participer à la mise en place et à l'amélioration des processus CI/CD. Contribuer à l'industrialisation des pipelines et des produits Data. Participer au maintien en conditions opérationnelles et au traitement des incidents. Organiser et contribuer aux post-mortems afin d'améliorer la fiabilité des solutions. Data Quality Participer au cadrage technique des sujets liés à la Data Quality. Identifier les enjeux de qualité, de fiabilité et de gouvernance des données. Contribuer à la définition des contrôles et mécanismes permettant d'améliorer la qualité des données. Participer à la mise en œuvre de solutions de Data Quality dans l'écosystème Data. Accompagner les équipes dans l'industrialisation des pratiques de qualité des données. Data & BI Concevoir et maintenir les modèles de données et modèles sémantiques. Intervenir sur la chaîne Snowflake → dbt → modèle sémantique → BI. Contribuer à la conception de modèles adaptés aux besoins analytiques. Participer aux problématiques de gouvernance et de sécurité des données, notamment RLS (Row-Level Security). Collaborer avec les équipes BI sur les besoins de visualisation et de reporting.

Projet Développement et industrialisation d'une plateforme Data sur GCP permettant l'ingestion, la transformation et la mise à disposition de données pour des outils de recherche et d'analyse métier,. Activités - Concevoir et maintenir les pipelines d'ingestion de données publiques et internes. - Développer et industrialiser les traitements et transformations de données avec SQL, Python et dbt. - Mettre en place et maintenir les workflows d'orchestration avec Argo Workflows / Airflow. - Stocker, structurer et exposer les données via BigQuery et GCS, puis assurer leur connexion aux outils d'analyse métier. - Déployer et maintenir les composants Data sur GCP, notamment via Cloud Run, et gérer les droits d'accès avec IAM. - Industrialiser l'infrastructure avec Terraform et contribuer aux chaînes CI/CD GitLab. - Participer au monitoring, à la gouvernance et à la qualité des données ainsi qu'à l'amélioration de l'expérience utilisateur des outils internes.

Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.

Fiche de poste – Senior Data Engineer / Expert Dataplatform (GCP) Contexte & Organisation Le Pôle Data est structuré autour du modèle Spotify : Une Dataplatform en pleine transformation, composée de 4 experts Architectes / Développeurs GCP & BigQuery Maintenance de l'existant + évolution de la plateforme Début d'un chantier majeur de construction début 2025 (v1 en cours, forte ambition d'évolution) Outils & écosystème : GCP (Cloud Run, Cloud Function, Pub/Sub, Vertex AI, BigQuery) Airflow (orchestration) Dataform (concurrent DBT – SQL) Terraform pour le provisioning Modèle Data type médaillon Pratique Data Engineer moderne + enjeux d'observabilité / finops / sécurité Objectifs du poste Renforcer l'équipe Dataplatform avec un profil senior ayant déjà participé à la construction d'une Dataplatform et capable d'accélérer l'industrialisation des pipelines et des outils d'ingestion. Le rôle vise à : Faciliter et accélérer le travail des Data Engineers Améliorer l'expérience de construction de pipelines de données Structurer et fiabiliser l'ingestion et le transfert de données, encore peu industrialisés Apporter une expertise de haut niveau sur GCP & Data Engineering Missions principales 1. Gouvernance & Contrôle de la plateforme Assurer un contrôle global de la Dataplatform et accompagner les Data Engineers dans les bonnes pratiques d'industrialisation. Identifier les axes d'amélioration techniques et proposer des solutions robustes. Participer aux choix d'architecture technique et Data (modèle médaillon). 2. FinOps, Observabilité & Sécurité Définir et mettre en œuvre les standards d'observabilité. Garantir la performance, la robustesse et la sécurité de la plateforme. Suivre les coûts et proposer des optimisations FinOps. Automatiser le provisioning via Terraform. 3. Développement & Industrialisation Concevoir et industrialiser les pipelines : Cloud Run, Cloud Functions, Pub/Sub, Airflow, Vertex AI. Contribuer à résorber la dette technique. Développer et industrialiser les briques d'ingestion et de transformation. 4. Animation & Documentation Participer à la mise à disposition de nouveaux outils et à la documentation associée. Assurer une démarche d'amélioration continue du run. Animer une équipe de Data Engineer chaque vendredi: partage de bonnes pratiques suivi des évolutions de la Dataplatform retours d'expérience et recommandations 5. Innovation & IA Apporter une vision sur l'usage de l'IA (générative et traditionnelle) pour : réduire les coûts améliorer la productivité faciliter le travail des collaborateurs Contribuer à des projets Vertex AI / ML (ambition forte vers l'IA)

Bonjour à tous, Date de démarrage : ASAP / mi-octobre Présentiel : 3 jours par semaine Entretiens : en visio Lieu : Paris Je recherche un Product Owner Data qui a un vrai fil rouge data dans sa carrière. Vous êtes très à l'aise avec les équipes techniques data. Vous êtes aussi à l'aise pour échanger avec des équipes data d'un très bon niveau qu'avec la direction. Missions : Gérer les releases côté data. Coordonner l'ensemble des intervenants. Je vous en dirai plus lors de notre échange. N'hésitez pas à postuler.

Tech Lead Data – Snowflake / dbt – Data Quality / Observability Vorstone recherche un Tech Lead Data expérimenté pour rejoindre une équipe Data as a Service (DaaS) et piloter la delivery technique de produits Data dans le cadre d'un projet Data stratégique. 🎯 Vos missions En tant que Tech Lead Data, vous serez notamment en charge de : Piloter la delivery technique des produits Data et accompagner l'équipe dans leur industrialisation. Concevoir et faire évoluer la chaîne Snowflake → dbt → modèle sémantique / BI. Définir et faire appliquer les standards de développement et bonnes pratiques Data. Réaliser les revues de code et accompagner techniquement les membres de l'équipe. Mettre en place et améliorer les processus CI/CD, tests et déploiements. Garantir la qualité, la performance et la fiabilité des traitements et modèles Data. Participer au cadrage technique des sujets Data Quality. Contribuer aux problématiques de gouvernance et de sécurité des données, notamment RLS. Participer au run, à la gestion des incidents et aux post-mortems. Assurer un rôle de référent technique et de mentor auprès de l'équipe.

CAPEST-Conseils recrute pour l'un de ses clients, acteur reconnu du secteur de la logistique, un Data Engineer Cloud pour rejoindre son Pôle Data. Le contexte Notre client construit et industrialise sa data platform sur Google Cloud Platform. Au sein de la DSI, vous concevez et faites vivre les pipelines qui l'alimentent, au service des équipes BI et des métiers opérationnels. Vos missions Concevoir les flux ETL / ELT et développer les pipelines data sur GCP Orchestrer les workflows sous Apache Airflow Transformer et modéliser les données avec dbt pour les usages BI et analytiques Mettre en place et maintenir la CI/CD data, versionner le code via Git Garantir la qualité, la performance et la fiabilité des données, superviser les pipelines et traiter les incidents Documenter les pipelines et collaborer avec l'Expert Power BI, le Pôle Data et les métiers

ContexteMission consistant à développer une solution permettant aux chercheurs de transformer leurs analyses exploratoires en traitements fiables et réutilisables. MissionsDévelopper une solution logicielle pour la transformation d'analyses exploratoires en traitements fiables et réutilisables Collaborer avec des chercheurs et un Data Scientist dans un contexte de recherche Monter en compétence rapidement sur les outils spécifiques du projet Assurer la communication claire avec des profils non techniques Outils & Environnement & Compétences obligatoiresMaîtrise de GCP : GKE, IAM, GCS, BigQuery Python en production : conception modulaire (principes SOLID, architecture hexagonale ou équivalent), typage statique, tests unitaires/d'intégration Docker, Git et CI/CD avec expérience concrète de déploiement et de diagnostic (debugging pipelines) SQL, modélisation de données et définition de contrats de données (data contracts) Expérience cloud avec adaptation de modules Terraform existants (pas nécessairement de conception from scratch, mais capacité à faire évoluer un IaC existant) Réalisation agentique concrète : appels d'outils/API, gestion des erreurs, dans le cadre d'un projet réel ou d'un démonstrateur Compétences appréciées (Nice-to-have)Agents IA déjà déployés en production MCP, Claude Code GitLab CI Vertex AI / KFP et MLOps avancé Analyse statique de code Python (AST/LSP) Connaissances en imagerie médicale et histopathologie Soft skillsAutonomie et rigueur Communication claire, notamment avec des profils non techniques (chercheurs) et le Data Scientist Capacité à monter en compétence rapidement sur les outils spécifiques du projet Esprit de collaboration dans un contexte de recherche

Nous recherchons un Tech Lead Data (Snowflake/dbt) pour piloter la delivery technique de produits data : développement, définition des standards, revue de code, CI/CD, qualité, performance et gouvernance, notamment sur les aspects liés au Row-Level Security (RLS). Vous serez responsable de la chaîne Snowflake → dbt → modèle sémantique, de son industrialisation et du run (gestion des incidents, post-mortems), tout en assurant le mentorat et l'accompagnement technique de l'équipe. Tech Lead Data au sein d'une équipe Data Expertise technique sur Snowflake / dbt Aide au cadrage technique des initiatives et projets du périmètre Contribution à la définition et à la mise en œuvre des standards techniques Data Accompagnement de l'équipe sur les bonnes pratiques de développement et d'industrialisation

Informations Générales TJM max : 450 € Localisation : Île-de-France — Rythme : 2 jours sur site / 3 jours en télétravail Date de démarrage : 21/09/2026 Date de fin : 17/09/2027 Description de la Mission Au sein de la Digital Factory (pôle Marchandise & Commercial), la mission vise à concevoir des services digitaux pour automatiser les processus commerciaux (assortiments, promotions, prix) et valoriser les données. Dans le cadre du projet de gestion de l'agencement des produits en rayon par magasin, vous interviendrez pour collecter, transformer, enrichir et exposer les données clés auprès d'un partenaire stratégique. Missions principales : Développer et optimiser les pipelines de transformation de données complexes. Garantir la collecte, la qualité et la structuration des flux de données. Automatiser l'orchestration et les déploiements continus des workflows data. Mettre à disposition des modèles de données performants et consommables pour les partenaires.

Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l'industrialisation et l'évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d'architecture, de modélisation et d'optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d'ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l'évolution de l'architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en œuvre l'Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l'observabilité des traitements. Participer à la résolution des incidents et à l'amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD.

Pour accompagner la transformation de sa DSI, le client souhaite accélérer l'adoption de l'IA générative au sein de son domaine Data. Les équipes travaillent sur une plateforme analytics comprenant notamment Snowflake, dbt, Power BI et Azure DevOps. Plusieurs initiatives sont déjà lancées autour de Claude, Claude Code et des serveurs MCP. La mission consiste à structurer ces initiatives, à déployer des usages fiables et réutilisables, et surtout à rendre les équipes autonomes dans leur utilisation quotidienne. Vos missions : - Réaliser un état des lieux des initiatives IA existantes, prioriser les cas d'usage et piloter une feuille de route. - Construire et animer un plan d'adoption adapté aux data engineers, équipes DataOps, PMO, architectes et interlocuteurs métiers. - Accompagner les équipes sur Claude Code : bonnes pratiques, prompt et context engineering, gestion du contexte et consommation de tokens. - Animer des ateliers, permanences et séances de travail sur les cas d'usage réels ; former des référents internes. - Concevoir et industrialiser un catalogue de skills et d'agents pour les pipelines, les vues sémantiques, l'observabilité, la recette et la documentation. - Standardiser les configurations MCP et travailler avec la cybersécurité à la validation des connecteurs Data. - Définir des garde-fous, des indicateurs de qualité et des KPI d'usage, d'efficacité et d'adoption. - Documenter les standards et transmettre les pratiques aux équipes, en lien avec le centre d'excellence IA.

Contexte :Équipe AI for PDP (Product Data Platform) produit des outils pour le pricing, l'optimisation de l'assortiment des produits. Une grande entreprise de distribution pilote ses prix sur des dizaines de milliers de références, par pays. L'enjeu : fournir aux équipes pricing un coefficient d'élasticité-prix par produit, exploitable pour l'ajustement quotidien, la promotion et la hausse stratégique. Missions :Data Collection et Preprocessing (dbt) : reconstruction de la vue produit hebdomadaire au niveau Business Unit à partir des transactions caisse et de l'historique de prix multi-magasins. Agrégation par prix médian (robuste aux prix extrêmes d'un magasin), filtre sur les produits, construction de baselines de demandes saisonnières, de tendances de demandes, de variations cumulées de prix (pour intégrer l'impact des changements de prix passés). Migration terraform + dbt + DataHub, source Teradata. Modélisation : le modèle ne mesure pas l'élasticité, il prédit la demande hebdomadaire (LightGBM, Tweedie loss) à partir du prix, puis l'élasticité est dérivée en simulant 10 scénarios de variation de prix (-25% à +25%). Passage à l'échelle & performance : industrialisation sur 5 Business Units (France, Espagne, Portugal, Italie, Pologne), jusqu'à ~18M lignes et ~58k produits par Business Unit. Optimisation RAM : prune colonnes SQL-side, downcast des types, batchs de CV en générateur, chaînes en catégoriel. Contrôle qualité : quality gates bloquant la publication par BU (comptage nombre de produits uniques, MAPE, WAPE, turnover-weighted WAPE), performance drift check sur un test set fait du dernier mois, typage des alertes (échec infra vs échec qualité données). Métriques calculées à la granularité de consommation (hebdo pour le tuning, mensuelle pour le gate). Orchestration ZenML : portabilité local et remote via stacks, exécution Vertex conteneurisée. Système de configurations à 3 couches (commun / env / BU), date d'exécution résolue une seule fois (backfills reproductibles). Packaging uv, CI qualité (ruff, mypy, pytest, sonarqube), step de tuning Optuna (TPE) optionnel. Documentation fonctionnelle : ouverture de la boîte noire pour le métier : d'où viennent les données, comment la demande est transformée, ce que le coefficient signifie vraiment, et où il peut induire en erreur (ne pas moyenniser à plat des scénarios à l'interprétation différente, absence de stock, cannibalisation, améliorations potentielles de la solution). Objectif : un utilisateur métier peut se servir du coefficient avec le bon niveau de confiance.