Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Nous recherchons un Tech Lead Data Engineer expérimenté pour intervenir sur une plate-forme Big Data au cœur d’un projet critique à fort enjeu métier . Vous intégrerez une équipe Data dédiée et interviendrez en tant que référent technique , avec un rôle clé dans l’accélération de la mise à disposition des données et la montée en compétence des équipes. Vos principales activités : Réaliser les développements Data afin d’accélérer l’ingestion, le traitement et la mise à disposition des données sur la plate-forme Intervenir sur l’ensemble de la stack Big Data : Spark / PySpark, Kafka, Hadoop, Python Encadrer techniquement l’équipe de développement (revues de code, bonnes pratiques, standards) Assurer le suivi technique des développements et garantir la qualité, la performance et la robustesse des solutions Accompagner et faire monter en compétence l’équipe technique Être force de proposition dans un contexte industriel structuré

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques

VOS RESPONSABILITÉS PRINCIPALES Recueillir et évaluer les besoins en matière de qualité des données Accompagner et organiser des ateliers avec les data owners pour comprendre le cycle de vie des données et collecter les exigences en matière de qualité des données (règles, impacts de la non-qualité, parties prenantes, etc.) Interagir et se coordonner avec les autres parties prenantes du projet (Data Steward, Data Engineer, Data Manager…) pour s’aligner sur les contrôles Vérifier et valider la pertinence des règles de qualité des données et leur faisabilité Documenter les règles de qualité dans le catalogue de données (Collibra) Mettre en oeuvre les normes et politique de qualité des données sur votre périmètre pour garantir l'opérabilité des données tout au long de leur cycle de vie dans l'entreprise Concevoir et mettre en œuvre des outils de contrôles et de visualisations de la qualité des données, y compris des alertes pour détecter les erreurs et les incohérences Mettre en œuvre et animer les processus de remédiation afin d’assurer l’amélioration continue du dispositif de qualité des données Implémenter des outils pour automatiser les tâches de contrôle et de correction des données. Etre force de proposition auprès de la Stream Leader Data pour permettre la mise à l’échelle des futurs déploiements Contribuer et participer activement à la communauté des Data Quality Manager

la data est au cœur de notre stratégie, elle guide chaque décision, de la conception du produit à l'expérience client. Notre équipe Managed tools au coeur de la Data Factory est une brique essentielle de cette mission. Organisée autour des outils de compute, orchestration et expostion, l'équipe Managed tools est chargée de mettre à disposition la stack data pour l'ensemble du groupe Decathlon et d'en assurer sa robustesse et scalabilité. Au sein de la squad Compute nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

🔍 Contexte Un acteur européen majeur du secteur financier recherche un Data Engineer confirmé pour renforcer son département Data & Referential . La mission s'inscrit dans le cadre de la mise en place d'un référentiel de données unifié , avec un focus particulier sur les indicateurs ESG provenant de multiples sources. 🎯 Votre rôle Intégration de nouvelles sources de données via Azure Synapse & PySpark Mise en place d'un monitoring rigoureux des flux Adaptation des connexions au reporting interne pour intégrer les nouvelles données Coordination avec les Business Analysts Contrôles de cohérence et qualité des données (comparaison inter‑sources) 🧱 Compétences techniques clés Azure Synapse PySpark Azure Data Factory Azure DevOps SonarCloud API Management Micro‑services SQL Server Connaissance Informatica IDQ = un plus 👤 Profil recherché Bac+5 (ingénieur ou équivalent) Minimum 3 ans d'expérience sur Azure Synapse & PySpark Bonne culture Data & Monitoring Pratique des environnements Agile (SCRUM) & DevOps Maîtrise du français et de l'anglais Intérêt pour l' Asset Management et les sujets ESG 📅 Démarrage : 1er février 2026

Pour le besoin de mon client , je suis à la recherche d'un TechLead Data Engineer avec compétence sur la stack technique Spark/PySpark, Kafka, Hadoop, Python Langues : français, l'anglais est un plus Date de démarrage : ASAP .... . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... .

Dans le cadre d'un dispositif Data Factory , nous recherchons un(e) Tech Lead Data Ingénieur(e) expérimenté pour intervenir sur une plateforme Big Data au cœur d’un projet critique en cours de déploiement . Vous jouerez un rôle clé dans la montée en puissance de la plateforme et dans la montée en compétences du client sur la stack data, dans un contexte présentant plusieurs points de fragilité nécessitant robustesse, leadership technique et sens des responsabilités . Missions : Réaliser les développements permettant d’ accélérer la mise à disposition des données sur la plateforme Big Data, dans le cadre d’un projet critique. Encadrer techniquement l’équipe de développement : - Suivi technique - Garantie des bonnes pratiques de développement - Qualité, performance et robustesse des livrables Faire monter en compétences l’équipe technique et le client sur la stack data (accompagnement, transmission, pédagogie). Environnement & conditions : Langue française obligatoire, anglaise apprécié Localisation : Hauts-de-France, proximité Lille Présence : 3 jours par semaine sur site Démarrage : ASAP

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Architect Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Profil souhaité: DATA ENGINEER (Minimum 5 ans d'Xp) avec grosse expérience Dataiku (au moins 4 ans), Ayant déjà travaillé sur des projet Finance et/ou en environnement Finance. (Forecast/Revenue/Topline/CA/Prévision/Prédiction/Ventes) Contexte: Dans un contexte de structuration et de montée en maturité des usages Data au sein d’une Direction Financière, la mission vise à renforcer les capacités analytiques autour de la prévision du chiffre d’affaires. L’objectif est de concevoir et d’industrialiser un produit Data stratégique permettant une projection automatisée et multidimensionnelle du chiffre d’affaires (produits, zones géographiques, canaux de vente, infrastructures). Le consultant interviendra au cœur d’une organisation Finance & Data, en tant que référent Data Finance, à l’interface entre les équipes Finance, Data et Produit. Missions: Concevoir, maintenir et faire évoluer un produit Data de projection du chiffre d’affaires Développer et industrialiser des modèles de prévision intégrant des mécanismes basés sur les volumes Permettre des ajustements manuels des projections par les équipes métiers Garantir la qualité, la fiabilité, la traçabilité et l’exploitabilité des données Développer et maintenir des pipelines de données sous Dataiku Implémenter des traitements SQL avancés et des flux de transformation complexes Exploiter Spark / PySpark pour gérer des volumétries importantes Automatiser, monitorer et documenter les chaînes de traitement Mettre en œuvre des contrôles de qualité et contribuer à la gouvernance des données financières Rendre les modèles explicables et actionnables pour les équipes Finance Mettre à disposition les données projetées dans le datalake Collaborer étroitement avec les équipes Finance, Data et Produit Participer aux rituels agiles et au suivi des livrables via des outils de gestion de projet

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Dans le cadre d’un programme Innovation & IA Générative , nous recherchons un Développeur expérimenté capable d’intervenir sur des sujets mêlant développement backend, data science et industrialisation . Missions principales Conception et développement de solutions IA / IA Générative Développement et intégration technique en Java & Python Mise en place des tests : TU / intégration / recette Déploiement et suivi en environnement production Travail en équipe sur des projets innovants et à forte valeur ajoutée Compétences attendues Python avancé (Back-end & Data Science) Framework : TensorFlow Libraries : scikit-learn, pandas, NumPy, PySpark, PyKrige Environnements & data Bases : MySQL / NoSQL Conteneurisation / orchestration : Kubernetes Profil recherché Curieux, motivé, impliqué sur des sujets innovants Très bon esprit d’équipe et capacité à s’intégrer dans un collectif Autonome et orienté qualité (tests / intégration / production) 📍 Localisation : Nantes 🎯 Senior / Expérimenté – Python & Java

Descriptif du poste Expert reconnu en plateforme de données et architecture Lakehouse, incluant : Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster). Politiques de cluster, configuration de cluster et pool, et optimisation des coûts. Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs. APIs REST et CLI pour l'automatisation. Expert reconnu en utilisation de Delta Lake, incluant : Pipelines d'ingestion et de transformation (Bronze–Silver–Gold). Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration). Structured streaming et traitement incrémental. Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction). Expert reconnu en : Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging. SQL (SQL analytique, window functions, SQL Databricks). Spark / PySpark pour le traitement distribué et l'optimisation. Expert reconnu en utilisation de Unity Catalog, incluant : Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage). Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions). Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII). Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant : Databricks Repos et intégration Git / Gitflow. Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD. Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production. Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates. Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI. Maîtrise avancée de MLflow (experiment tracking, model registry, model serving). Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering. Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents. Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent. Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.

Data Engineer Senior – Plateforme Data Cloud (H/F) Lyon – Mission longue durée – Temps plein Nous recherchons un Data Engineer senior pour intervenir sur une plateforme data stratégique au sein d’un grand environnement industriel en transformation. La mission s’inscrit dans une équipe dédiée à l’industrialisation et à la performance des pipelines data, sur une architecture cloud moderne à forte volumétrie. Missions • Concevoir et optimiser des pipelines d’ingestion et de transformation de données • Garantir la performance, la fiabilité et la scalabilité de la plateforme • Mettre en place des mécanismes de contrôle qualité des données • Automatiser et superviser les traitements data • Participer à la gouvernance et au cycle de vie de la donnée • Contribuer à l’optimisation des infrastructures cloud • Supporter les utilisateurs de la plateforme • Participer à la veille technologique Environnement technique Databricks sur AWS PySpark, Python, SQL avancé Architecture Data Lake et pipelines industriels Outils DevOps / DataOps (Git, CI/CD, ticketing) Méthodologie Agile à l’échelle (SAFe) Profil recherché Minimum 5 ans d’expérience en data engineering Expertise Databricks, AWS et PySpark Expérience en industrialisation de pipelines data Rigueur technique et autonomie Bon esprit d’équipe Anglais professionnel Connaissance du secteur industriel ou énergie appréciée. Conditions Mission longue durée avec visibilité Projet à fort impact Équipe technique experte Environnement cloud avancé

Dans le cadre d’un programme de transformation Data , un acteur du secteur assurantiel recherche un Data Engineer / Data Analyst confirmé et développeur Pyspark et PowerBI pour intervenir sur un projet de modernisation et d’harmonisation de la plateforme Data . Contexte de la mission Le projet vise à : moderniser l’infrastructure Data, optimiser le modèle de données, améliorer et industrialiser les outils de reporting. La mission s’inscrit dans une transition d’une architecture on‑premise vers une architecture Cloud Azure , avec un passage des technologies Oracle/SAS vers PySpark et Power BI. Responsabilités / Mission Étudier les scripts PL/SQL et SQL existants afin de comprendre le modèle de données et les transformations entre les couches Bronze, Silver et Gold . Piloter et valider la qualité et la complétude des données . Participer au développement et à la validation des dashboards en PySpark et Power BI . Contribuer à la mise en place des bonnes pratiques de développement Data .