Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Au sein d’une équipe dédiée à la gestion et à l’optimisation d’une modern data stack , vous serez responsable de garantir la robustesse et la scalabilité de la plateforme de compute et d’ orchestration . Votre mission consistera à monitorer proactivement la plateforme, à assurer le support technique sur des technologies telles que Spark , Databricks et EMR , et à optimiser les traitements Athena et PySpark . Vous accompagnerez les équipes dans l’adoption des bonnes pratiques de software engineering et de data engineering , tout en participant à la conception de pipelines de données. Enfin, vous contribuerez à l’évolution de la stack en testant de nouveaux outils et en renforçant l’accessibilité et la gouvernance des données.

En quelques mots Cherry Pick est à la recherche d'un Tech lead Data Engineer (H/F), pour le compte de l'un de ses clients qui opère dans le domaine de l'Energie. Description 📌 Contexte de mission Dans le cadre d’un projet Data d’envergure, une prestation de Data Engineering est recherchée pour intervenir sur la conception, le développement et la mise en production d’architectures de données. Le consultant évoluera dans un environnement Azure Cloud , en mode agile, itératif et co-constructif , au sein d’équipes privilégiant l’intelligence collective. 🎯 Missions principales & Rôle Collecter et analyser les exigences métiers et utilisateurs . Concevoir des modèles de données SQL / NoSQL . Concevoir et développer des pipelines de données robustes et industrialisés. Mettre en production l’architecture de données dans Azure. Assurer la maintenance , l’optimisation et l’évolution de la plateforme data. Travailler en étroite collaboration avec les équipes projet, data et métiers dans un contexte agile. 🎯 Objectifs Déployer une architecture data fiable, performante et scalable. Garantir la qualité, la disponibilité et la cohérence des données. Structurer et industrialiser les flux data dans Azure. Contribuer à la montée en maturité de l’écosystème Data.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Lead dev python / spark, freelance, 6 mois de contrat initial, paris intramuros Attractives opportunité pour un(e) Lead Developer / Python de rejoindre notre client final basé dans Paris intramuros et qui accompagne quotidiennement des millions de particuliers et de professionnels. Vous interviendrez en tant qu’expert en développement Python / Spark au sein d'une petite équipe sur un projet data innovant. Tâches principales · Lead Dev Python + Spark / PySpark · Fournir des conseils · Intervention sur des opérations exceptionnelles · Faire évoluer la plateforme · Organiser et structurer des mises à jour de versions

DATA ENGINEER Avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Objectifs et livrables : Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Le consultant Data Engineer évoluera dans un contexte agile, en mode itératif et co- constructif, en s’appuyant sur l’intelligence collective. Le prestataire Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment : Collecter les exigences des métiers et des utilisateurs Concevoir data modeling SQL/NoSQL Concevoir les pipelines de données Mettre en production l'architecture Assurer la maintenance et l'évolution de l'architecture Expérience réussie d’au moins 6 ans en Data Engineering. Compétences requises quotidiennement : Maîtrise des technologies suivantes : Python niveau expert - (4/4) Azure Cloud niveau avancé - (3/4) Azure functions niveau confirmé - (2/4) Compétences requises : Pyspark niveau expert - (4/4) Databricks niveau expert - (4/4)

Contexte du Projet Une organisation leader en solutions de financement est à un tournant crucial où l'exploitation des données doit devenir un levier central de transformation et de compétitivité. Cependant, plusieurs défis structurels doivent être adressés pour réussir cette transition vers une organisation véritablement axée sur les données (insuffisance du Data Management existant, dépendances fortes à des systèmes legacy qui ont vocation à être décommissionnés à court et moyen termes, limites structurelles des outils et solutions actuels). Le projet doit permettre de valider la capacité de mise en œuvre d'un projet de data science depuis sa phase exploratoire jusqu'à sa phase d'industrialisation. Il se concentre sur la phase d'exploration des données liées au reporting réglementaire, avec un périmètre limité aux données critiques, provenant de diverses sources. L'objectif est de garantir un accès optimisé et une gouvernance renforcée pour les Data Quality Analysts (DQA). Conception et implémentation des pipelines de données Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI). Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus. Suivre avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence. Industrialisation et automatisation des flux de données et des traitements Mettre en place des processus d'industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production. Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies. Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l'exploration à la production, en intégrant les modèles dans des pipelines automatisés. Gestion des données et optimisation des performances Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d'architecture de stockage (raw, refined, trusted layers). Assurer la surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l'intégrité des jeux de données. Sécurité et gouvernance des données Mettre en œuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes. Travailler en collaboration avec le Data Office pour assurer l'alignement avec les politiques et processus définis. Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées.

Contexte : Nous recherchons un Data Engineer pour participer à une mission sur un environnement cloud AWS. Le candidat évoluera au sein d’une équipe digitale internationale et contribuera à la conception, au développement et à la mise en production de solutions data à grande échelle. Profil recherché : Expérience confirmée en tant que Data Engineer ou rôle équivalent. Capacité à collecter les besoins métiers et utilisateurs et à les traduire en architecture de données. Expérience dans la conception et le développement de pipelines de données robustes et évolutifs. Autonomie et rigueur dans la mise en production et la maintenance d’architectures data. Bonnes capacités de communication et aptitude à travailler en équipe multidisciplinaire. Compétences techniques requises : Python – maîtrise avancée (4/4) PySpark – maîtrise avancée (4/4) Databricks – niveau confirmé (3/4) AWS – niveau confirmé (3/4) Anglais – professionnel (3/4) Conditions de travail : Télétravail : 2 jours par semaine Présence obligatoire sur site : 3 jours par semaine Lieu : Paris Début de mission : 08/12/2025 Processus de sélection : Codingame à compléter dans les 48h après réception. Proctoring appliqué pour le codingame. Soutenances techniques prévues après le codingame.

🚨 Mission Freelance – Data Engineer 🚨 🚫 Pas de sous-traitance Je recherche un·e Data Engineer (Python / PySpark / Databricks / AWS) pour une mission stratégique au sein d’un grand groupe international dans l’énergie 🔋 📍 Paris – 3 jours sur site / 2 jours remote 🕐 Démarrage : 08/12/2025 💰 TJM selon profil Process : Codingame puis live coding 🔥 Ce qui t’attend : ✅ Mission longue durée ✅ Participation à la conception & à la mise en production d’architectures data déployées à l’échelle internationale 🌍 ✅ Environnement technique exigeant, méthodologie robuste & contexte multi-pays 🧠 Stack technique recherchée : Python ⭐⭐⭐⭐ (Expert) PySpark ⭐⭐⭐⭐ (Expert) Databricks ⭐⭐⭐ (Confirmé) Cloud AWS ⭐⭐⭐ (Confirmé) Bonus : culture data engineering avancée, industrialisation, bonne compréhension des architectures distribuées. 📩 Intéressé·e ? 👉 Envoie-moi ton CV en MP ⚠️ Seuls les profils correspondant strictement au besoin seront recontactés.

Axone by Synapse, cabinet de conseil IT innovant, recherche pour l’un de ses clients pour une mission de longue durée un Tech Lead/Data Engineer spécialisé Databricks / Azure H/F . Vous piloterez techniquement une squad transverse de 5 à 10 personnes, garantirez la qualité logicielle, la cohérence d’architecture, la performance des pipelines data et la bonne mise en production. Vous jouerez un rôle clé dans la conception, l’optimisation et l’industrialisation de produits data à grande échelle dans un environnement Cloud Azure et Databricks exigeant. Vous animerez les rituels techniques, accompagnerez les membres de la squad et assurerez la communication fluide avec les parties prenantes métier et IT. Objectif et livrables: Architectures data (ingestion, transformation, serving) validées et documentées. Pipelines Databricks productisés, monitorés, optimisés. Modules réutilisables / librairie d’ingénierie data. Pipelines CI/CD + scripts Terraform prêts pour déploiement. KPIs mensuels (qualité données, SLA, latence, incidents). Plan de montée en compétences de la squad. Compétences attendues : Maîtrise avancée de Databricks (jobs, clusters, notebooks, optimisation). Expertise PySpark pour traitements batch & streaming. Excellente pratique Python et bonne connaissance Java . Très bonne maîtrise Azure Data Services : ADLS, Blob, Data Factory, Synapse, Event Hubs. Pratique confirmée de Terraform , CI/CD (GitHub Actions, Azure DevOps). Compétences en monitoring (Datadog, Prometheus, Log Analytics), tests automatisés, code review. Connaissances SQL et bases NoSQL. Architecture data, bonnes pratiques de sécurité, RBAC, performance tuning.

Mission ne convient pas à un data scientist Compétences OBLIGATOIRES : Guru en PySpark Très bonne maitrise de Tableau et de Panda. Capacité d'analyse, bon niveau statistique. Démarrage : ASAP Experience : 4/5ans min Dans le cadre de ce besoin : En tant que consultant data au sein de la Cellule du Qualité de Fixe (CQF) de Bouygues Telecom, vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des datascientists de l'équipe. Vous aurez à développer des tableaux de bord de suivi de KP.. Vous serez en charge de : -L'exploitation de la plateforme Big Data de monitoring Wifi des Box : A ce titre vous aurez la charge : -Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI -Des investigations lors d'incident : Vous déclencherez et piloterez le fournisseur et / ou les autres entités de Bytel contribuant à son bon fonctionnement. -Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l'équipe Datascience ou en fonction des évolutions du système. -Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité. -Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l'architecture réseau. La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de : -Assurer la supervision et débogage du système via Openshift -S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow) -Contrôler les volumes et consommations Hardware de la plateforme -Débugger les pods en cas d’erreur -Assurer l’écriture des graphes Helm pour les déploiements applicatifs -Ecriture de charts Helm pour le déploiement de nouveaux applicatifs -Tester les nouveaux graphes sur la plateforme de test -Déployer et patcher les applicatifs déjà existants avec Helm -Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab -Assurer la gestion des utilisateurs et des règles de gestion du Datalake -Gestion des buckets et utilisateurs -Création de points de stockage et destis règles de gestion associées -Création de scripts pour le stockage de Parquets -Assurer le fonctionnement du déploiement continu avec GitLab -Administration des images de production Gitlab et DockerHub En résumé : Guru en PySpark et très bonne maitrise de Tableau et de Panda. Avec une capacité d'analyse, bon niveau statistique. Amené à faire du développement descriptif de requête pour diffuser des KPI sous forme de dashboard Tableau.

En quelques mots Cherry Pick est à la recherche d'un Data Engineer / Python / Azure pour l'un de ses clients qui opère dans le secteur de l'énergie Description 🧩 Contexte de mission Dans le cadre du renforcement de l’équipe Data, nous recherchons Data Engineer spécialisé en Python, PySpark et Microsoft Fabric , évoluant dans un environnement Azure Cloud . Les consultants seront responsables de la conception, du développement et de la mise en production de pipelines et architectures data au sein d’un contexte orienté performance, scalabilité et industrialisation. 🎯 Missions principales & rôle Le Data Engineer interviendra sur : La collecte et l’analyse des besoins métiers et utilisateurs La conception d’architectures de données robustes et scalables Le développement de pipelines de données (ingestion, transformation, modélisation) La mise en production des pipelines et leur optimisation continue La maintenance et l’évolution des architectures existantes Le respect des bonnes pratiques et standards d’ingénierie data 📌 Objectifs Concevoir une architecture data fiable, évolutive et documentée Industrialiser les pipelines pour garantir performance et qualité Assurer un haut niveau de disponibilité et de maintenabilité des solutions Accompagner les équipes internes dans la compréhension et l’usage des pipelines Contribuer à la structuration et à la maturité data de l’organisation