Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Contexte de la mission Définition de la prestation attendue : Implementation de cas d'usage métiers via le croisement de données, tels que le ciblage, l’analyse de données ou la data science. Développement et maintenance de produits data réutilisables. Publication des résultats d'analyse à travers des visualisations de données (DATAVIZ). Respect des normes et des bonnes pratiques au sein de l'équipe. Accompagnement et sensibilisation des équipes métiers et autres parties prenantes. Objectifs et livrables : Programme data déployé sur une plateforme dédiée. Visualisations de données (DATAVIZ). Présentation PowerPoint des résultats de l'étude. Environnement technique : Plateforme : BIG DATA Hadoop (CLOUDERA). Langages : Python, PySpark, SQL. Outils de restitution : Power BI (datasets, dataflows, rapports).

Dans le cadre du développement de nos activités, nous recherchons un(e) Data Engineer pour renforcer l'équipe technique de notre client et intervenir sur des projets à forte valeur ajoutée autour de la data. En tant que Data Engineer, vous serez amené(e) à : Assurer le suivi technique des projets : suivi des développements, réalisation de revues de code et respect des bonnes pratiques Gérer les incidents techniques : analyse, résolution et mise en production des correctifs Proposer des améliorations techniques : identification des axes d’évolution et optimisation des performances et de la stabilité des applications Garantir la qualité du code : mise en place de tests unitaires et gestion de l’intégration continue Assurer la documentation technique : maintien à jour de l’architecture et de la documentation

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. 📍 Localisation Si vous etes localisé à Nantes, vous serez rattaché(e) au site de Nantes avec 2 jours de déplacement par mois requis sur le site de Vannes. Si vous etes localisé(e) à Vannes vous serez rattaché (e) au site de Vannes Mission longue Vos missions : Vous interviendrez sur l’ensemble du cycle de vie des produits Data : Participation à la définition de l’architecture Data , en lien avec les architectes et les équipes projet Conception, développement et optimisation des solutions de collecte et de stockage de données (multi-sources) Mise à disposition des données pour les usages métiers Mise en œuvre de tests unitaires et automatisés Déploiement des solutions sur les différents environnements Suivi du bon fonctionnement en production : support, assistance, gestion des incidents Contribution à l’ amélioration continue des pratiques (qualité du code, performance, fiabilité)

Nous recherchons pour l'un de nos clients, un Data Analyst Confirmé afin d'accompagner la mise en oeuvre de cas d'usage métiers à forte valeur ajoutée, dans un environnement Big Data. A ce titre, vos missions principales seront les suivantes : -Identifier, concevoir et implémenter des cas d'usage métiers basés sur le croisement et l'analyse de données (ciblage, analyses exploratoires, datascience). -Développer et maintenir des produits DATA réutilisables (pipelines, scripts, datasets). -Exploiter les données via des traitements distribués sous environnement Hadoop. -Concevoir et publier des reportings et dashboards Power BI (datasets, dataflows, rapports). -Produire des présentations synthétiques (PPT) des résultats d'analyses. -Garantir le respect des standards, bonnes pratiques et normes DATA. -Accompagner les équipes métiers dans l'exploitation et l'acculturation à la donnée. Livrables attendus : -Programmes DATA industrialisés sous plateforme Big Data -Jeux de données et dataflows Power BI -Tableaux de bord et rapports de datavisualisation -Supports de restitution et présentations des études réalisées Environnement technique : -Plateforme : Hadoop (Cloudera) -Langages : Python, PySpark, SQL -Outils de restitution : Power BI

Nous recherchons un Analyste Data pour intégrer l’équipe Analyse de la Donnée. Rattaché à l’équipe, vous serez en charge de mettre en œuvre des cas d’usage métier via le croisement de données, développer et maintenir des produits DATA réutilisables, et restituer vos analyses à travers des dashboards et dataviz. Vous accompagnerez également les équipes métiers dans l’acculturation DATA tout en respectant les normes et bonnes pratiques de l’équipe. Maîtrise de Python, PySpark, SQL , expérience sur Big Data Hadoop (Cloudera) et compétences en Power BI sont requises, ainsi qu’une solide expertise en data science et analyse de données.

Nous recherchons un Data Engineer Senior pour rejoindre une équipe Data stratégique au sein d’un acteur international, avec des enjeux forts autour de la performance financière et de la fiabilité des données RH & Finance . 🎯 Contexte de la mission Vous intégrerez une équipe Core Data Product composée d’un Product Manager et de plusieurs Data Engineers. La Data est au cœur des décisions stratégiques. L’équipe est actuellement engagée dans une revue globale de son architecture et de sa modélisation , avec un objectif clair : moderniser la plateforme et transformer la stack legacy vers les nouveaux standards Data Platform. ⚙️ Missions principales Concevoir, construire et maintenir des pipelines et infrastructures data robustes et performantes . Optimiser l’architecture et la modélisation des flux. Participer à la transformation vers les nouveaux standards de la Data Platform. Garantir la qualité, la fiabilité et la gouvernance des données (Finance & HR). Assurer un RUN de qualité selon le principe “You build it, you run it”. Promouvoir les bonnes pratiques : CI/CD, revue de code, qualité du code . Garantir la sécurité et la conformité des données (RGPD). Évoluer en environnement Agile au sein d’une équipe internationale (anglais quotidien).

Dans le cadre du renforcement d’une équipe spécialisée dans l’analyse de la donnée, nous recherchons un Data Analyst expérimenté pour intervenir sur des problématiques d’exploitation et de valorisation des données. Au sein d’une équipe dédiée à l’analyse et à la fiabilisation des données, vous contribuerez à la mise en place d’analyses avancées et de cas d’usage métiers reposant sur l’exploitation de données multiples . Votre rôle consistera notamment à : Analyser et exploiter des jeux de données issus de différents domaines du système d’information Étudier la cohérence et l’impact des données dans les processus métiers Mettre en œuvre des analyses croisées permettant d’identifier des comportements atypiques ou des signaux faibles Développer des modèles analytiques ou prédictifs permettant d’améliorer la détection d’anomalies Concevoir et maintenir des produits data réutilisables (scripts, modèles, dashboards) Contribuer à la visualisation et à la restitution des analyses auprès des équipes métiers Respecter les normes et bonnes pratiques de développement et d’exploitation des données au sein de l’équipe. Vous interviendrez dans un environnement dynamique où la qualité, la structuration et la valorisation de la donnée sont au cœur des enjeux métier.

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Bonjour, Pour le compte de l’un de nos clients, acteur majeur du secteur du luxe, nous recherchons un Data Architect afin d’intervenir sur une mission stratégique autour de la structuration, gouvernance et valorisation des données . 📍 Informations clés Localisation : Paris (présence sur site requise) TJM max : 1200 € Démarrage : ASAP Fin de mission : 31/12/2026 🚀 Contexte & mission Vous interviendrez sur la mise en place d’une architecture data moderne et scalable basée sur Azure Fabric , avec un fort enjeu autour de la gouvernance, de la qualité des données et de leur valorisation auprès des métiers. 🎯 Responsabilités principales 🔹 Architecture & Data Platform Concevoir et déployer des solutions data end-to-end (Lakehouse, Data Warehouse, modèles sémantiques) Structurer les couches de données ( Bronze / Silver / Gold ) Garantir la scalabilité, la performance et la robustesse de la plateforme 🔹 Data Engineering & Modélisation Concevoir et implémenter des pipelines ETL / ELT Définir les règles de transformation, de gestion des données incrémentales et des dimensions Optimiser les performances des requêtes et du stockage Développer des scripts Python (PySpark) et des requêtes SQL avancées 🔹 Gouvernance & Qualité des données Définir et mettre en œuvre les frameworks de gouvernance (traçabilité, métadonnées, qualité) Implémenter les mécanismes de contrôle qualité et gestion des erreurs Mettre en place les politiques de sécurité et d’accès ( RBAC, RLS ) 🔹 CI/CD & Industrialisation Mettre en place des pipelines CI/CD pour les produits data Gérer les référentiels Git, stratégies de versioning et déploiements Garantir la traçabilité et l’audit des évolutions 🔹 Data Mapping & KPI Assurer la cartographie des flux de données de bout en bout (E2E) Définir les règles métier et indicateurs KPI en lien avec les enjeux business Construire les dictionnaires de données et glossaires métier 🔹 Documentation & bonnes pratiques Définir les standards d’architecture et de développement Documenter les processus, runbooks, guidelines et décisions d’architecture (ADR) Accompagner les équipes et faciliter l’onboarding 🛠️ Environnement technique Cloud & Data Platform : Microsoft Azure, Azure Fabric Data Engineering : PySpark, SQL, Azure Data Factory, dbt CI/CD & DevOps : GitHub, Git CLI, Azure DevOps Pipelines, GitHub Actions BI & Data Viz : Power BI (RLS) Gouvernance : Azure AD / Entra ID, Purview Documentation : Confluence, Visio / Lucidchart 👤 Profil recherché Data Architect avec 7 ans d’expérience minimum Forte expertise sur les environnements Azure Data (Fabric / Data Platform) Solide expérience en architecture data, gouvernance et modélisation Excellente maîtrise de SQL et Python (PySpark) Expérience en industrialisation, CI/CD et gestion de plateformes data Très bonnes capacités de communication, structuration et vision transverse

Dans le cadre d'une mission chez un grand acteur du secteur de l'énergie en France, nous recherchons des profils Data Engineer Senior++ / Lead Data disponibles entre mi-mars et mi-mai 2025. Le client, accompagné par un cabinet de conseil top tier, recherche des consultants capables de s'emparer d'un périmètre data, de le cadrer et de le développer en toute autonomie. Plusieurs positions sont à pourvoir. La maîtrise et l'usage quotidien de l'IA dans le travail est un critère indispensable.

On cherche un(e) Data Engineer pour renforcer une équipe qui fait tourner la plateforme data au quotidien. Le sujet est très concret : ramener des données qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d’autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec côté run (monitoring, reprise, sécurité, doc). Vos missions : Collecter et centraliser des sources hétérogènes (API, fichiers, bases, événements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualité. Développer les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention à la perf et aux coûts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake (évolution de schémas, merge/upsert, partitionnement, rétention). Industrialiser l’ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer à la gouvernance et à la conformité : catalogage et métadonnées via Dataplex + documentation utile (pas un wiki fantôme). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform + Terragrunt GitLab + GitLab CI/CD Méthodes : Agile (Scrum/Kanban)

Compétences techniques : Python / Pyspark / SQL - Expert - Impératif Databricks - Expert - Impératif Datafactory - Confirmé - Important Modélisation BI - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data-RH vise à centraliser et modéliser les données issues des systèmes dans un modèle unifié, permettant des analyses transverses et une exploitation optimale des données métier. Environnement technique : Azure Data Factory, Databricks, Python, PySpark, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Créer et optimiser des flux de transformation de données en PySpark/Python. - Maintenir et développer de nouveaux indicateur de qualité de données - Mettre en œuvre et industrialiser les pipelines CI/CD avec Azure DevOps. - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité. - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Mettre en place des solutions de monitoring et de supervision pour l’application Data-RH. Profil recherché : - Maîtrise avérée de SQL, Python, PySpark et Spark. - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code. Définition du profil : Il est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci

la data est au cœur de notre stratégie, elle guide chaque décision, de la conception du produit à l'expérience client. Notre équipe Managed tools au coeur de la Data Factory est une brique essentielle de cette mission. Organisée autour des outils de compute, orchestration et expostion, l'équipe Managed tools est chargée de mettre à disposition la stack data pour l'ensemble du groupe Decathlon et d'en assurer sa robustesse et scalabilité. Au sein de la squad Compute nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme.

VOS RESPONSABILITÉS PRINCIPALES Recueillir et évaluer les besoins en matière de qualité des données Accompagner et organiser des ateliers avec les data owners pour comprendre le cycle de vie des données et collecter les exigences en matière de qualité des données (règles, impacts de la non-qualité, parties prenantes, etc.) Interagir et se coordonner avec les autres parties prenantes du projet (Data Steward, Data Engineer, Data Manager…) pour s’aligner sur les contrôles Vérifier et valider la pertinence des règles de qualité des données et leur faisabilité Documenter les règles de qualité dans le catalogue de données (Collibra) Mettre en oeuvre les normes et politique de qualité des données sur votre périmètre pour garantir l'opérabilité des données tout au long de leur cycle de vie dans l'entreprise Concevoir et mettre en œuvre des outils de contrôles et de visualisations de la qualité des données, y compris des alertes pour détecter les erreurs et les incohérences Mettre en œuvre et animer les processus de remédiation afin d’assurer l’amélioration continue du dispositif de qualité des données Implémenter des outils pour automatiser les tâches de contrôle et de correction des données. Etre force de proposition auprès de la Stream Leader Data pour permettre la mise à l’échelle des futurs déploiements Contribuer et participer activement à la communauté des Data Quality Manager