Trouvez votre prochaine offre d’emploi ou de mission freelance DBT

Missions principales Piloter la conception et la mise en œuvre de l’architecture Data sur Google Cloud Platform (GCP) . Concevoir, développer et maintenir des pipelines d’ingestion et de transformation de données internes et publiques. Garantir la fiabilité, la performance et la scalabilité des flux de données au sein de la plateforme. Mettre en place et industrialiser les environnements d’exécution via GKE , Terraform , et les outils d’orchestration ( Argo Workflow , Airflow , etc.). Développer et documenter des modèles de données avec DBT (ou SQLMesh ). Intégrer des solutions d’ingestion automatisée de données à l’aide de Python et d’outils tels que Fivetran ou Rclone . Gérer le cycle de vie du code et des déploiements via GitLab CI/CD . Collaborer avec les équipes Data Science et R&D pour comprendre leurs besoins et traduire ces besoins en solutions data robustes. Promouvoir les bonnes pratiques en ingénierie de données, sécurité et gouvernance. Compétences techniques requises GCP (BigQuery, GCS) et SQL : maîtrise indispensable. Kubernetes (GKE) et Terraform : expérience solide en déploiement et automatisation. DBT ou SQLMesh : conception et maintenance de modèles de données. Python : développement de scripts et pipelines d’ingestion. Outils d’ingestion : Fivetran, Rclone ou équivalents. Orchestration de workflows : Argo Workflow, Airflow ou outils similaires. CI/CD : GitLab CI ou pipelines équivalents. Compétences appréciées : Connaissance d’ Azure et de Databricks . Expérience avec des mécanismes de Change Data Capture (DataStream, Debezium, etc.). Profil recherché Formation : Bac +5 ou équivalent (ingénierie, informatique, data). Expérience : minimum 5 ans en Data Engineering, dont une expérience significative sur GCP. Langues : maîtrise de l’ anglais indispensable (environnement international).

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Cherchons un profil expert Snowflake pour participer activement à la structuration de l'offre de notre client, à l'élaboration des architectures avant-vente et à la montée en compétence de leurs équipes. Lead Data Engineer passionné par Snowflake et DBT vous travaillerez chez des clients leaders dans leurs secteurs afin de moderniser leur infrastructure de données. Vous travaillerez sur des projets stimulants, de l'implémentation initiale de Snowflake à l'optimisation de pipelines complexes avec dbt, en passant par l'intégration d'écosystèmes data avancés. Votre rôle sera crucial pour le succès de ces transformations. Missions principales : * Développer nos assets technologiques et nos accélérateurs pour des déploiements plus rapides et efficaces. * Participer activement aux phases d'avant-vente, en concevant des architectures innovantes et en présentant nos solutions aux clients. * Accompagner nos clients dans la conception, le développement et le déploiement d'architectures data modernes basées sur Snowflake et dbt. * Mettre en place et optimiser des pipelines de données robustes et performants avec dbt. * Conseiller nos clients sur les meilleures pratiques de la Modern Data Stack et les accompagner dans la migration et l'intégration de leurs données. * Encadrer et faire monter en compétences une équipe de data engineers sur les technologies Snowflake et dbt. Compétences attendues : - Une expérience significative en tant que Lead Data Engineer ou Architecte Data, avec une expertise approfondie de Snowflake et dbt (certifications bienvenues). - Une excellente compréhension des concepts de la Modern Data Stack et de ses meilleures pratiques (Snowflake Openflow, Fivetran, dbt, Airbyte…). - Une expérience dans un projet de migration de plateforme Data vers une Modern Data Stack est un vrai plus Maîtrise des langages SQL et Python. - Une expérience réussie en Streamlit et/ou Generative AI est un atout sérieux. - Capacité à travailler en équipe, à communiquer efficacement et à vous adapter aux environnements clients avec une forte orientation conseil.

3. Compétences requises - Expérience : o 7 à 12 ans en ingénierie/architecture data avec DWH (Kimball/Inmon), BI, Lakehouse (Iceberg/Delta/Hudi), Trino/Presto, Spark/Flink, Kafka/PubSub. o Modélisation sémantique, data contracts, performance engineering, dbt/metrics layer, GCP + on-premise, IaC/CI-CD pour la data. - Livrables clés : o Architecture one-pager, data contracts, ADRs/HLD, modèle sémantique & arbre de KPIs, runbook/SLOs, modèle de coûts. 4. Gestion des parties prenantes - Collaboration étroite avec les parties prenantes métiers, delivery leads et product owners pour recueillir les besoins, prioriser les fonctionnalités à forte valeur ajoutée, et présenter régulièrement les avancées à la direction. Résumé : Ce SOW définit une mission de Solution Data Architect axée sur la conception, la gouvernance et l'optimisation de solutions data avancées, avec une forte exigence de qualité, de documentation, de collaboration transverse et d'innovation technologique. Lieu : Velizy Lieu d'exécution : Vélizy avec possibilité de télétravail (max 2 jours/semaine).

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/GCP Le data ingénieur avec la stack Python, Spark, SQL, dbt, BigQuery, Airflow, Terraform, Terragrunt, GCP . Ses missions : Déployer des datasets normés Accompagner les utilisateurs dans leurs usages. Mettre en place du contrôle qualité sur les datasets. En détail : Participer aux phases de conception, planification et réalisation. Construire et maintenir des pipelines data robustes et scalables. Organiser et structurer le stockage des données. Mettre en place et maintenir des infrastructures scalables et sécurisées. Contribuer à la gouvernance des données (qualité, fiabilité, intégrité). Construire et maintenir les workflows de CI/CD. Partager et appliquer les bonnes pratiques data engineering. Assurer évolutivité, sécurité et stabilité des environnements. Participer aux instances data engineers et à la mise à jour de la documentation. Assurer une veille technologique active .

🎯 Votre mission Vous serez responsable de la conception et de l’architecture de bout en bout des solutions Data et analytiques au sein d’un ou plusieurs value streams . Votre rôle est de traduire les besoins métier en solutions de données sécurisées, scalables et optimisées , basées sur notre plateforme d’entreprise (DWH, Iceberg/Trino Lakehouse, streaming, ML, GCP / on-premise). Architecture & Design Concevoir des architectures de données complètes : ingestion batch et streaming, entrepôt de données (Kimball/Star), Lakehouse (Iceberg/Trino), exposition via SQL, APIs et couche sémantique. Intégrer des flux ML et des features stores lorsque nécessaire. Modélisation Traduire les concepts métiers en modèles conceptuels, logiques et physiques (partitionnement, Z-order, clustering, indexation). BI & Analytics Gérer la couche sémantique et les métriques, gouverner les KPIs, optimiser la performance des tableaux de bord et requêtes (caching, agrégats). Favoriser l’autonomie des utilisateurs via dbt, une couche de métriques et un catalogue de données. Ops & FinOps Définir et suivre les SLOs (fraîcheur, latence, coût). Mettre en place l’observabilité, les runbooks et les stratégies de backfill. Optimiser le stockage et les requêtes pour maîtriser les coûts. Gouvernance & Data Mesh Gérer la documentation, la découvrabilité et les métadonnées produits. Publier des blueprints et Architecture Decision Records (ADR) pour normaliser les pratiques. 🛠️ Compétences techniques indispensables 7 à 12 ans d’expérience en data engineering / data architecture avec une maîtrise des DWH (Kimball/Inmon) et du BI, ainsi que des architectures Lakehouse (Iceberg / Delta / Hudi). Solide expérience avec Trino / Presto , Spark / Flink , Kafka / PubSub . Expertise en modélisation sémantique , data contracts , performance engineering , dbt et metrics layers . Maîtrise des environnements GCP et hybrides on-prem , IaC , et CI/CD pour la donnée . 🧭 Livrables clés Architecture one-pager et data contracts. ADRs et HLD (High Level Design). Modèle sémantique et arbre de KPI. Runbooks / SLOs et modèle de coût. 🤝 Gestion des parties prenantes Travailler en étroite collaboration avec les équipes métier, les Product Owners et les Delivery Leads pour identifier les besoins et définir les priorités. Présenter les avancements, jalons et défis techniques auprès du management. 🎓 Profil recherché Minimum 7 ans d’expérience en développement logiciel, dont 3 ans en leadership technique . Expérience confirmée dans la conception et la mise en œuvre de plateformes data ou analytiques à grande échelle . Bonne compréhension des architectures cloud et API-driven . Connaissances souhaitées : frameworks front-end (React, Angular, Vue.js), back-end (Node.js, Java Spring), intégration (ESB, API Gateway, microservices). Maîtrise des pratiques DevOps (CI/CD, tests automatisés, conteneurisation, orchestration) . La connaissance de Snowflake, BigQuery ou d’infrastructures AI/ML est un atout majeur

Nous recherchons un Data Engineer confirmé pour rejoindre une équipe data en pleine expansion au sein d’un grand groupe français reconnu pour son rôle clé dans la transformation numérique de ses services. Vous interviendrez dans la mise en place et l’industrialisation de pipelines de données sur une infrastructure AWS à grande échelle. Missions principales Concevoir, développer et maintenir des pipelines de données robustes et scalables sur AWS (Glue, Lambda, EMR, S3, Step Functions, etc.) Participer à la modélisation et à la structuration des données pour les besoins analytiques et opérationnels Intégrer et transformer les données issues de différentes sources (internes, API, fichiers, bases de données, etc.) Contribuer à la mise en place de bonnes pratiques de DataOps (CI/CD, monitoring, tests automatisés) Collaborer avec les équipes Data Science, BI et les architectes pour assurer la qualité et la cohérence des données Participer à l’optimisation des coûts et des performances de la plateforme data AWS Stack technique Cloud : AWS (S3, Glue, Lambda, Step Functions, Athena, EMR, Redshift, IAM, CloudWatch) Langages : Python, SQL, PySpark CI/CD : GitLab CI, Terraform / CloudFormation DataOps : Airflow, dbt, Docker Data Visualization (bonus) : QuickSight, Power BI

La mission consiste à assurer la responsabilité de l’architecture de bout en bout des solutions data et analytiques. L’architecte devra concevoir et piloter des solutions sécurisées, évolutives et optimisées en coûts, en s’appuyant sur la plateforme de données de l’entreprise (entrepôt de données, lakehouse, streaming, ML, environnements cloud et on-premise). L’objectif est de garantir la cohérence de l’architecture, la gouvernance des données et la performance des usages analytiques et métiers. Activités principales • Définir et maintenir l’architecture data couvrant ingestion batch/stream, entrepôt de données (modèles Kimball/Star), lakehouse (Iceberg/Trino) et exposition via SQL, API ou couche sémantique. • Concevoir les modèles conceptuels, logiques et physiques (partitionnement, clustering, indexation). • Encadrer la mise en place de la couche sémantique et des métriques, assurer la gouvernance des KPI, optimiser les performances des requêtes et tableaux de bord, favoriser l’auto-consommation via dbt/metrics layer et catalogues. • Mettre en place les pratiques d’observabilité, runbooks, SLOs, backfills, ainsi que l’optimisation coûts/performance (FinOps). • Définir les standards de gouvernance : métadonnées, documentation, data contracts, blueprints, architecture decision records (ADR). • Contribuer à la définition et à la priorisation des besoins métiers en lien avec les Product Owners, Delivery Leads et parties prenantes. • Fournir des rapports réguliers sur l’avancement, les jalons atteints et les difficultés rencontrées. Livrables attendus • Architecture one-pager, modèles sémantiques et KPI tree. • Data contracts, ADRs/HLD. • Runbooks, SLOs, modèles de coûts. • Documentation technique et fonctionnelle.

Almatek recherche pour l'un de ses clients, un Data scientiste sur Grenoble. Missions: Concevoir, entrainer, déployer des modèles de ML, En environnement: Python, scikit Pytorch, SQL Databricks Expérience en feature engineering et ML Ops 3 ans d'expé en Data science Vont aller sur du DBT Cloud (hébergé sur leur cloud azure), pas le DBT core Aujourd’hui en Databricks Almatek recherche pour l'un de ses clients, un Data scientiste sur Grenoble. Missions: Concevoir, entrainer, déployer des modèles de ML, En environnement: Python, scikit Pytorch, SQL Databricks Expérience en feature engineering et ML Ops 3 ans d'expé en Data science Vont aller sur du DBT Cloud (hébergé sur leur cloud azure), pas le DBT core Aujourd’hui en Databricks

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📑 Freelance OU portage (450-550€/j) – 🏠 3 jours de télétravail par semaine – 📍 Montpellier (34) – 🛠 Expérience de 4/5 ans min. Envie de rejoindre une équipe où la tech et les projets stimulants sont au rendez-vous ? Cette opportunité est faite pour vous ! 🚀 Nous recherchons pour notre client un Data Engineer . 💻💼 🎯 Voici un aperçu détaillé de vos missions : - Participer à la modernisation de la plateforme data en migrant les systèmes existants vers une architecture moderne basée sur les technologies cloud et les bonnes pratiques Data Engineering, - Construire et maintenir des pipelines de données robustes, scalables et automatisés pour alimenter la nouvelle Data Platform (Snowflake, DBT, Python, AWS, Kubernetes), - Travailler en étroite collaboration avec les équipes produit, data science et développement pour garantir la qualité, la cohérence et la disponibilité des données, - Mettre en place les bonnes pratiques de développement et d’exploitation des flux de données, notamment en assurant la qualité, la traçabilité et la sécurité des données, - Contribuer à l’implémentation de briques d’intelligence artificielle, en collaboration avec les data scientists, en garantissant la disponibilité des données nécessaires et la performance des traitements, - Participer à la migration des données depuis les systèmes legacy () vers des environnements modernes, en respectant les contraintes de qualité et de continuité de service, - Assurer une veille technologique sur les outils et pratiques en data engineering, sans pour autant viser un rôle de leadership technique (Tech Lead non souhaité pour ce poste).