Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

ContexteDans le cadre de l'évolution et de la modernisation d'une Data Platform, nous recherchons un(e) Staff Data Platform Engineer pour contribuer à l'excellence engineering de l'écosystème data. Au sein d'une organisation Data Mesh mature, vous aurez un rôle transverse de facilitateur, d'accélérateur et de référent technique auprès des différentes équipes Data Engineering. Votre mission sera de faire le lien entre les capacités de la plateforme centrale et les besoins opérationnels des équipes produit, avec un fort enjeu autour de la Developer Experience (DevEx), de la standardisation des pratiques et de l'accélération de la mise en production des produits data. Vos missionsDeveloper Experience & Data EngineeringOptimiser le cycle de vie des pipelines Data, du développement local jusqu'à la production. Concevoir et standardiser des paved paths permettant aux équipes Data de développer et déployer plus efficacement. Développer et partager des composants, templates et outils facilitant le travail des Data Engineers. Contribuer à la mise en place de standards autour du CI/CD, des tests, de l'observabilité et de la qualité. Promouvoir les bonnes pratiques d'ingénierie logicielle au sein de la communauté Data. Innovation & IAIntégrer les outils d'IA générative et de développement assisté dans les pratiques quotidiennes des Data Engineers. Identifier et développer des cas d'usage permettant d'améliorer la productivité des équipes. Participer à la construction d'un AI Toolkit dédié aux besoins du Data Engineering. Accompagner l'évolution des pratiques vers une ingénierie Data augmentée par l'IA. Architecture & Excellence techniqueConcevoir des frameworks et patterns favorisant la qualité, la maintenabilité et la fiabilité des pipelines. Mettre en place des mécanismes de feedback loop, observabilité, data quality et data contracts. Contribuer à l'évolution de l'architecture Data et à sa modernisation progressive. Challenger les pratiques et architectures existantes afin d'identifier les axes d'amélioration. Accompagner la transition progressive vers des architectures Open Lakehouse et des modèles Data modernes. Prendre en compte les enjeux de FinOps, sécurité et RGPD by design. Gouvernance & accompagnementÊtre le représentant des besoins de la communauté Data Engineering auprès de l'équipe Platform. Faciliter l'alignement entre les pratiques locales et les standards d'ingénierie globaux. Conseiller les équipes responsables du socle technique de la plateforme. Favoriser le partage de connaissances et la mutualisation des initiatives au sein de la communauté Data. Travailler avec des équipes internationales dans un environnement matriciel. Environnement techniqueData Engineering / Data Platform Data Mesh GCP / BigQuery Data Vault / Star Schema CI/CD DataOps Data Quality Data Contracts Observabilité API / CLI tooling YAML Automatisation GenAI / Copilots / AI Engineering Open Lakehouse FinOps GDPR / Privacy by Design

Dans le cadre de sa transformation Data et du déploiement de nouveaux services d'intelligence artificielle générative, une équipe Data Science recherche un consultant confirmé pour concevoir et piloter les produits data permettant de suivre l'usage, la performance et la valeur ajoutée de ces services. Missions : - Recueillir et formaliser les besoins métiers - Définir et maintenir un catalogue d'indicateurs et de KPI - Concevoir, fiabiliser et suivre les indicateurs d'usage, de performance, de qualité et de ROI - Structurer, modéliser et documenter les données, sources et flux associés - Concevoir et maintenir des tableaux de bord de pilotage sous Streamlit - Industrialiser les pipelines de données - Mettre en place les contrôles qualité et les mécanismes de supervision - Contribuer aux bonnes pratiques Data et à la gouvernance de la donnée - Réaliser le transfert de connaissances avec les équipes en place - Assurer la continuité des dispositifs existants - Produire un catalogue d'indicateurs validé par les métiers - Produire des dashboards de suivi opérationnels - Documenter et industrialiser les pipelines de données - Documenter les données, les flux et les traitements Profil attendu : Consultant confirmé avec une expérience en Data Engineering, Data Analytics et GenAI. Maîtrise de Snowflake, Pipelines DE données, STREAMLIT, DBT, Airflow / Dagster, Git, Gitlab, Linux, Docker, SQL et Python. Expérience dans la conception et le suivi d'indicateurs, la structuration et la documentation des données et flux, ainsi que l'industrialisation et la supervision des pipelines de données.

Dans le cadre de sa transformation Data et du déploiement de nouveaux services d'intelligence artificielle générative, une équipe Data Science recherche un consultant confirmé pour concevoir et piloter les produits data permettant de suivre l'usage, la performance et la valeur ajoutée de ces services. Missions : - Recueillir et formaliser les besoins métiers - Définir et maintenir un catalogue d'indicateurs et de KPI - Concevoir, fiabiliser et suivre les indicateurs d'usage, de performance, de qualité et de ROI - Structurer, modéliser et documenter les données, sources et flux associés - Concevoir et maintenir des tableaux de bord de pilotage sous Streamlit - Industrialiser les pipelines de données - Mettre en place les contrôles qualité et les mécanismes de supervision - Contribuer aux bonnes pratiques Data et à la gouvernance de la donnée - Réaliser le transfert de connaissances avec les équipes en place - Assurer la continuité des dispositifs existants - Produire un catalogue d'indicateurs validé par les métiers - Produire des dashboards de suivi opérationnels - Documenter et industrialiser les pipelines de données - Documenter les données, les flux et les traitements Profil attendu : Consultant confirmé avec une expérience en Data Engineering, Data Analytics et GenAI. Maîtrise de Snowflake, Pipelines DE données, STREAMLIT, DBT, Airflow / Dagster, Git, Gitlab, Linux, Docker, SQL et Python. Expérience dans la conception et le suivi d'indicateurs, la structuration et la documentation des données et flux, ainsi que l'industrialisation et la supervision des pipelines de données.

La mission porte sur des activités de data engineering au sein d'une data fabrique. Le périmètre couvre l'ingestion de fichiers, l'analyse fonctionnelle de données, le paramétrage et le développement Informatica, ainsi que la mise en place et l'alimentation du Data Warehouse. L'environnement technique comprend SQL, KSH, Hive/Oracle et Informatica PowerCenter. Missions : - Réceptionner les contrats d'interface - Ingérer les fichiers dans la data fabrique - Analyser fonctionnellement les données - Préparer les fichiers de paramétrage - Paramétrer les traitements - Développer sous Informatica PowerCenter - Mettre en place et alimenter le Data Warehouse - Préparer les livraisons via OGC et GitLab - Mettre les développements en recette - Analyser les incidents - Corriger les incidents Profil attendu : Le profil recherché est un Data Engineer confirmé avec une expertise sur Oracle, SQL Azure et Informatica MDM. Une expérience sur Informatica PowerCenter et DBT est attendue.

📌 Informations GénéralesLocalisation : Tours (France) Mode de travail : Hybride (1 jour par semaine sur site ou 2 jours consécutifs toutes les 2 semaines) Taux Journalier Moyen (TJM) : 550 € / jour Date de démarrage : Dès que possible (ASAP) Durée / Visibilité : Jusqu'au 31/12/2029 🎯 Contexte et RôleAu sein d'une équipe Data innovante, le/la Data Scientist Senior aura pour mission principale de concevoir, développer et industrialiser des solutions de Data Science à forte valeur ajoutée. Vous accompagnerez les projets Data stratégiques et répondrez aux enjeux métiers clés en transformant les données complexes en modèles prédictifs performants. 🛠️ Missions PrincipalesAnalyse & Cadrage : Analyser les jeux de données complexes et identifier les cas d'usage métier à forte valeur ajoutée. Modélisation & Entraînement : Concevoir, développer et entraîner des modèles statistiques et d'apprentissage automatique (Machine Learning). Industrialisation : Participer activement à la mise en production et à l'industrialisation des modèles en collaboration directe avec les équipes Data Engineering. Suivi & Optimisation : Monitorer la performance des modèles en production et assurer leur amélioration continue ainsi que leur support N3. Collaboration : Travailler en synergie avec les équipes métiers et techniques pour garantir le succès et l'adoption des solutions déployées.

Nous recrutons pour une entreprise du secteur de l'assurance un ou une Lead Data Engineer pour concevoir, fiabiliser et industrialiser sa plateforme data. Vous combinerez expertise technique, conception d'architecture et accompagnement d'équipe. Vous veillerez à la qualité, à la sécurité et à la performance des données, en lien étroit avec les équipes IT et métiers. Vos missions Pilotage et leadership Accompagner une équipe de Data Engineers et, éventuellement, d'Analytics Engineers Définir et promouvoir les bonnes pratiques en matière de qualité, de documentation, de gestion de versions et de supervision des données Jouer un rôle de référent technique et garantir la cohérence des choix d'architecture, en collaboration avec les équipes DevOps et l'architecte d'entreprise Travailler avec les équipes métiers, notamment en actuariat, finance, gestion des sinistres et marketing, ainsi qu'avec les équipes IT Data engineering Concevoir et maintenir des pipelines de données robustes et évolutifs Orchestrer les flux de données avec Apache Airflow Modéliser et structurer les bases de données selon les besoins analytiques Garantir la performance, la sécurité et la traçabilité des données Industrialisation et DevOps Mettre en œuvre les pratiques CI/CD pour les projets data Automatiser les tests, les déploiements et les contrôles qualité Collaborer avec les équipes DevOps et Réseaux sur la gestion et la sécurisation des environnements Superviser les traitements et contribuer à la gestion des incidents data

Contexte de la mission : Dans le cadre d'une mission longue chez un acteur du secteur Retail, nous recherchons un Data Engineer disposant d'une solide expérience sur Google Cloud Platform (GCP) et ayant déjà travaillé sur des problématiques d'intégration de données avec Salesforce. Vous rejoindrez un environnement Data avec des enjeux autour de la construction, de la maintenance et de la fiabilisation des pipelines de données, notamment entre Salesforce et l'écosystème GCP. Les avantages de la mission : Une mission longue avec de la visibilité Un projet au cœur des enjeux Data d'un acteur du Retail Un environnement technique associant GCP et Salesforce Des problématiques concrètes de Data Engineering et d'intégration de données Jusqu'à 3 jours de télétravail par semaine Une mission permettant de travailler sur des flux de données à fort enjeu métier

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Envie de rejoindre une équipe où la tech et les projets stimulants sont au rendez-vous ? Cette opportunité est faite pour vous ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e DevOps / Data & Machine Learning pour intervenir chez un de nos clients. 💻💼 Contexte : L'équipe travaille sur des produits Data liés notamment à la maintenance prédictive, la mobilité électrique et l'analyse des charges sur les réseaux. Voici un aperçu détaillé de vos missions : 🎯 - Construire et maintenir les outils CI/CD pour les traitements de données en Python / PySpark et les applications web. - Assurer le run et l'exploitation des traitements et applications en production. - Mettre en place et maintenir l'observabilité des applications et traitements : logs, métriques techniques et monitoring. - Gérer les évolutions et corrections techniques : montées de version des dépendances, traitement des vulnérabilités cyber, évolutions de configuration, etc. - Maintenir et améliorer l'Infrastructure as Code. - Administrer les différents environnements : développement, préproduction, production et environnements de type lab Data Science. - Accompagner les équipes Data Science et Data Engineering sur le build et le run de leurs produits. - Assurer un support technique de première ligne et faire le lien avec les équipes externes : infrastructure, cybersécurité, fournisseurs, etc. - Rédiger et maintenir la documentation technique. - Assurer une veille technologique sur les outils utilisés. - Partager les bonnes pratiques et contribuer à la formation des équipes.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Envie de rejoindre une équipe où la tech et les projets stimulants sont au rendez-vous ? Cette opportunité est faite pour vous ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e DevOps / Data & Machine Learning pour intervenir chez un de nos clients. 💻💼 Contexte : L'équipe travaille sur des produits Data liés notamment à la maintenance prédictive, la mobilité électrique et l'analyse des charges sur les réseaux. Voici un aperçu détaillé de vos missions : 🎯 - Construire et maintenir les outils CI/CD pour les traitements de données en Python / PySpark et les applications web. - Assurer le run et l'exploitation des traitements et applications en production. - Mettre en place et maintenir l'observabilité des applications et traitements : logs, métriques techniques et monitoring. - Gérer les évolutions et corrections techniques : montées de version des dépendances, traitement des vulnérabilités cyber, évolutions de configuration, etc. - Maintenir et améliorer l'Infrastructure as Code. - Administrer les différents environnements : développement, préproduction, production et environnements de type lab Data Science. - Accompagner les équipes Data Science et Data Engineering sur le build et le run de leurs produits. - Assurer un support technique de première ligne et faire le lien avec les équipes externes : infrastructure, cybersécurité, fournisseurs, etc. - Rédiger et maintenir la documentation technique. - Assurer une veille technologique sur les outils utilisés. - Partager les bonnes pratiques et contribuer à la formation des équipes.

1. Description du posteDans le cadre du développement de projets Data et IA sur Microsoft Azure, nous recherchons un Expert Azure Databricks / Azure Batch pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle. Le consultant interviendra sur des environnements Cloud exigeants, avec un fort niveau d'automatisation, de performance, de sécurité et de fiabilité. Il participera à la conception d'architectures Data modernes ainsi qu'au développement de solutions robustes et industrialisées. Ses principales responsabilités seront les suivantes : Concevoir et développer des pipelines de traitement de données distribués sous Azure Databricks. Développer des notebooks, workflows et composants techniques en Python et PySpark. Optimiser les performances des traitements Databricks et des jobs distribués. Concevoir des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer des traitements massifs avec Azure Batch. Configurer les pools de calcul et les stratégies d'exécution adaptées aux besoins. Optimiser la parallélisation, la distribution de charge et la consommation des ressources. Mettre en place des solutions de monitoring, d'observabilité et de gestion des incidents. Développer des librairies Python réutilisables, maintenables et testées. Réaliser des tests unitaires, d'intégration et de performance. Participer aux revues de code et à l'amélioration continue des pratiques de développement. Mettre en œuvre des pipelines CI/CD et automatiser les déploiements. Développer et maintenir l'Infrastructure as Code avec Terraform et/ou Bicep. Garantir la qualité, la sécurité et la conformité des déploiements. Accompagner les équipes projet dans l'adoption des standards Cloud, Data Engineering et DevOps.

Contexte Je recherche pour un de mes clients un Data Engineer GCP Vous évoluerez dans un environnement associant GCP, Microsoft Fabric et Power BI, avec des enjeux de fiabilisation des données et d'optimisation des traitements. Des évolutions de la chaîne Data et BI sont également à l'étude, notamment autour de Looker. Nous recherchons un profil disposant d'une solide expérience opérationnelle dans le développement de traitements de données sur GCP. Missions envisagées Analyser les besoins métier et les traduire en spécifications techniques. Concevoir et développer des pipelines d'ingestion, de transformation et de mise à disposition des données. Faire évoluer les traitements existants et optimiser leurs performances, leur fiabilité et leurs coûts d'exécution. Participer à la migration ou à la réécriture de traitements selon la trajectoire technique retenue. Mettre en place des tests, des contrôles de qualité et des mécanismes de suivi des traitements et de gestion des erreurs. Collaborer avec les équipes BI pour préparer les données nécessaires aux modèles sémantiques et aux restitutions. Contribuer à la traçabilité des données et aux bonnes pratiques de gouvernance. Documenter les développements et assurer le transfert de connaissances auprès des équipes internes. Profil recherché Expérience confirmée en Data Engineering, avec des réalisations concrètes sur GCP. Solides compétences en développement de traitements de données et en SQL. Capacité à prendre en charge un développement, de la conception à la mise en production et à sa maintenance. Expérience dans l'optimisation, la migration ou la refonte de pipelines de données. Sensibilité aux enjeux de qualité, de maintenabilité et de maîtrise des coûts. Autonomie, rigueur et capacité à travailler avec des équipes réparties sur plusieurs sites. Une connaissance de Microsoft Fabric, Power BI ou Looker serait appréciée.

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Data Architect / Tech Lead spécialisé sur les technologies Snowflake et DBT. Le consultant interviendra sur des sujets d'architecture Data, Data Engineering et Cloud, avec pour objectif de concevoir et faire évoluer des solutions Data robustes, évolutives et industrialisées. Il sera également amené à jouer un rôle de référent technique auprès des équipes Data et à accompagner les choix d'architecture et les bonnes pratiques de développement. Missions principalesConcevoir et faire évoluer l'architecture Data autour de Snowflake. Participer à la conception de plateformes et solutions Data Cloud. Définir les architectures adaptées aux besoins des projets Data. Concevoir, développer et faire évoluer des pipelines de données ETL/ELT. Mettre en œuvre les transformations de données avec DBT. Accompagner les équipes dans l'utilisation de Snowflake et DBT. Définir et promouvoir les bonnes pratiques d'architecture, de développement et d'industrialisation Data. Intervenir sur des problématiques de Data Engineering et Cloud. Participer à l'intégration et à la transformation des données provenant de différentes sources. Optimiser les traitements et les flux de données. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la mise en place de solutions Data évolutives et performantes. Assurer un rôle de Tech Lead auprès des équipes techniques. Accompagner les Data Engineers dans leurs choix techniques. Participer aux revues de code et aux revues d'architecture. Identifier les axes d'amélioration et contribuer à l'industrialisation des processus Data. Collaborer avec les équipes Data, Cloud, Analytics et les équipes métier. Participer à la documentation des architectures et des solutions mises en œuvre. Compétences techniques — indispensablesSnowflake — expertise Certification Snowflake — Must Have DBT — expérience concrète Data Architecture Tech Lead / leadership technique Data Engineering ETL / ELT SQL Cloud Data Platform Environnement techniqueData Warehouse / Data Cloud Snowflake DBT SQL Data Engineering / Big Data Apache Spark PySpark Python Pandas Hadoop Impala Cloud / Azure Microsoft Azure Azure Databricks Azure Data Factory Azure Data Lake Storage / ADLS Data Integration / Orchestration Azure Data Factory Informatica Stonebranch Power Automate Analytics / BI Power BI DevOps / Collaboration GitHub Databricks Repo Jira Confluence Méthodologie Agile