Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

En quelques mots Cherry Pick est à la recherche d'un Tech lead Data Engineer (H/F), pour le compte de l'un de ses clients qui opère dans le domaine de l'Energie. Description 📌 Contexte de mission Dans le cadre d’un projet Data d’envergure, une prestation de Data Engineering est recherchée pour intervenir sur la conception, le développement et la mise en production d’architectures de données. Le consultant évoluera dans un environnement Azure Cloud , en mode agile, itératif et co-constructif , au sein d’équipes privilégiant l’intelligence collective. 🎯 Missions principales & Rôle Collecter et analyser les exigences métiers et utilisateurs . Concevoir des modèles de données SQL / NoSQL . Concevoir et développer des pipelines de données robustes et industrialisés. Mettre en production l’architecture de données dans Azure. Assurer la maintenance , l’optimisation et l’évolution de la plateforme data. Travailler en étroite collaboration avec les équipes projet, data et métiers dans un contexte agile. 🎯 Objectifs Déployer une architecture data fiable, performante et scalable. Garantir la qualité, la disponibilité et la cohérence des données. Structurer et industrialiser les flux data dans Azure. Contribuer à la montée en maturité de l’écosystème Data.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Lead dev python / spark, freelance, 6 mois de contrat initial, paris intramuros Attractives opportunité pour un(e) Lead Developer / Python de rejoindre notre client final basé dans Paris intramuros et qui accompagne quotidiennement des millions de particuliers et de professionnels. Vous interviendrez en tant qu’expert en développement Python / Spark au sein d'une petite équipe sur un projet data innovant. Tâches principales · Lead Dev Python + Spark / PySpark · Fournir des conseils · Intervention sur des opérations exceptionnelles · Faire évoluer la plateforme · Organiser et structurer des mises à jour de versions

DATA ENGINEER Avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Objectifs et livrables : Nous recherchons une prestation de Data Engineering avec des compétences sur Python/Pyspark/Databricks sous un environnement Azure Cloud. Le consultant Data Engineer évoluera dans un contexte agile, en mode itératif et co- constructif, en s’appuyant sur l’intelligence collective. Le prestataire Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment : Collecter les exigences des métiers et des utilisateurs Concevoir data modeling SQL/NoSQL Concevoir les pipelines de données Mettre en production l'architecture Assurer la maintenance et l'évolution de l'architecture Expérience réussie d’au moins 6 ans en Data Engineering. Compétences requises quotidiennement : Maîtrise des technologies suivantes : Python niveau expert - (4/4) Azure Cloud niveau avancé - (3/4) Azure functions niveau confirmé - (2/4) Compétences requises : Pyspark niveau expert - (4/4) Databricks niveau expert - (4/4)

Contexte du Projet Une organisation leader en solutions de financement est à un tournant crucial où l'exploitation des données doit devenir un levier central de transformation et de compétitivité. Cependant, plusieurs défis structurels doivent être adressés pour réussir cette transition vers une organisation véritablement axée sur les données (insuffisance du Data Management existant, dépendances fortes à des systèmes legacy qui ont vocation à être décommissionnés à court et moyen termes, limites structurelles des outils et solutions actuels). Le projet doit permettre de valider la capacité de mise en œuvre d'un projet de data science depuis sa phase exploratoire jusqu'à sa phase d'industrialisation. Il se concentre sur la phase d'exploration des données liées au reporting réglementaire, avec un périmètre limité aux données critiques, provenant de diverses sources. L'objectif est de garantir un accès optimisé et une gouvernance renforcée pour les Data Quality Analysts (DQA). Conception et implémentation des pipelines de données Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI). Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus. Suivre avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence. Industrialisation et automatisation des flux de données et des traitements Mettre en place des processus d'industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production. Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies. Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l'exploration à la production, en intégrant les modèles dans des pipelines automatisés. Gestion des données et optimisation des performances Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d'architecture de stockage (raw, refined, trusted layers). Assurer la surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l'intégrité des jeux de données. Sécurité et gouvernance des données Mettre en œuvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes. Travailler en collaboration avec le Data Office pour assurer l'alignement avec les politiques et processus définis. Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées.

Contexte : Nous recherchons un Data Engineer pour participer à une mission sur un environnement cloud AWS. Le candidat évoluera au sein d’une équipe digitale internationale et contribuera à la conception, au développement et à la mise en production de solutions data à grande échelle. Profil recherché : Expérience confirmée en tant que Data Engineer ou rôle équivalent. Capacité à collecter les besoins métiers et utilisateurs et à les traduire en architecture de données. Expérience dans la conception et le développement de pipelines de données robustes et évolutifs. Autonomie et rigueur dans la mise en production et la maintenance d’architectures data. Bonnes capacités de communication et aptitude à travailler en équipe multidisciplinaire. Compétences techniques requises : Python – maîtrise avancée (4/4) PySpark – maîtrise avancée (4/4) Databricks – niveau confirmé (3/4) AWS – niveau confirmé (3/4) Anglais – professionnel (3/4) Conditions de travail : Télétravail : 2 jours par semaine Présence obligatoire sur site : 3 jours par semaine Lieu : Paris Début de mission : 08/12/2025 Processus de sélection : Codingame à compléter dans les 48h après réception. Proctoring appliqué pour le codingame. Soutenances techniques prévues après le codingame.

🚨 Mission Freelance – Data Engineer 🚨 🚫 Pas de sous-traitance Je recherche un·e Data Engineer (Python / PySpark / Databricks / AWS) pour une mission stratégique au sein d’un grand groupe international dans l’énergie 🔋 📍 Paris – 3 jours sur site / 2 jours remote 🕐 Démarrage : 08/12/2025 💰 TJM selon profil Process : Codingame puis live coding 🔥 Ce qui t’attend : ✅ Mission longue durée ✅ Participation à la conception & à la mise en production d’architectures data déployées à l’échelle internationale 🌍 ✅ Environnement technique exigeant, méthodologie robuste & contexte multi-pays 🧠 Stack technique recherchée : Python ⭐⭐⭐⭐ (Expert) PySpark ⭐⭐⭐⭐ (Expert) Databricks ⭐⭐⭐ (Confirmé) Cloud AWS ⭐⭐⭐ (Confirmé) Bonus : culture data engineering avancée, industrialisation, bonne compréhension des architectures distribuées. 📩 Intéressé·e ? 👉 Envoie-moi ton CV en MP ⚠️ Seuls les profils correspondant strictement au besoin seront recontactés.

En quelques mots Cherry Pick est à la recherche d'un Data Engineer / Python / Azure pour l'un de ses clients qui opère dans le secteur de l'énergie Description 🧩 Contexte de mission Dans le cadre du renforcement de l’équipe Data, nous recherchons Data Engineer spécialisé en Python, PySpark et Microsoft Fabric , évoluant dans un environnement Azure Cloud . Les consultants seront responsables de la conception, du développement et de la mise en production de pipelines et architectures data au sein d’un contexte orienté performance, scalabilité et industrialisation. 🎯 Missions principales & rôle Le Data Engineer interviendra sur : La collecte et l’analyse des besoins métiers et utilisateurs La conception d’architectures de données robustes et scalables Le développement de pipelines de données (ingestion, transformation, modélisation) La mise en production des pipelines et leur optimisation continue La maintenance et l’évolution des architectures existantes Le respect des bonnes pratiques et standards d’ingénierie data 📌 Objectifs Concevoir une architecture data fiable, évolutive et documentée Industrialiser les pipelines pour garantir performance et qualité Assurer un haut niveau de disponibilité et de maintenabilité des solutions Accompagner les équipes internes dans la compréhension et l’usage des pipelines Contribuer à la structuration et à la maturité data de l’organisation

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

CONTEXTE Métiers Fonctions : Data Management, Data Engineer Spécialités technologiques : Big Data Compétences Technologies et Outils : HadoopPyspark (2 ans) Dans le cadre d’un projet stratégique autour du recouvrement et de la lutte contre la fraude, nous recherchons un Data Engineer confirmé spécialisé en PySpark, pour rejoindre une équipe technique pilotée par un Tech Lead expérimenté. Le projet s’appuie sur des volumes massifs de données critiques (plusieurs milliards d’événements par jour) et vise à développer des cas d’usages à fort impact dans la détection d’anomalies et l’optimisation des processus de recouvrement. MISSIONS Missions principales - Participer à la construction et l’optimisation des pipelines de données sous PySpark. - Contribuer à la mise en place d’architectures Big Data sur un environnement Hadoop (bonus). - Assurer la qualité, la fiabilité et la performance des flux de données. - Collaborer étroitement avec les équipes data science et métier pour industrialiser les cas d’usage (fraude, scoring, recouvrement automatisé…). - Intervenir sur des problématiques de scalabilité et de traitement en temps réel / batch. - Garantir la sécurité et la conformité des traitements sur des données sensibles.

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des transports Description 🎯 Contexte de la mission Au sein du domaine Data & IA , le client recherche un MLOps Engineer / Data Engineer confirmé pour intervenir sur l’ensemble du cycle de vie des solutions d’intelligence artificielle. L’objectif : industrialiser, fiabiliser et superviser la production des modèles IA dans un environnement cloud AWS à forte exigence technique et opérationnelle. Le poste s’inscrit dans une dynamique d’ industrialisation avancée et de collaboration étroite avec les Data Scientists , au sein d’une équipe d’experts en intelligence artificielle et data engineering. ⚙️ Rôle et responsabilités Le consultant interviendra sur les volets suivants : Industrialisation & CI/CD : Mise en place et maintenance de pipelines CI/CD avec GitLab, Docker, Terraform et Kubernetes . Infrastructure & automatisation : Gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM, etc.) , mise en place de bonnes pratiques IaC. Data Engineering / Spark : Développement et optimisation de traitements Spark pour la préparation et la transformation de données à grande échelle. MLOps & Production : Déploiement, suivi et supervision des modèles IA via MLflow , et Datadog , gestion du monitoring et des performances. Collaboration transverse : Travail en binôme avec les Data Scientists pour fiabiliser le delivery, optimiser les modèles et fluidifier le passage en production. Amélioration continue & veille : Contribution à la montée en maturité technique, documentation, partage de bonnes pratiques et optimisation continue des pipelines.

Descriptif du poste Le prestataire interviendra comme développeur senior / Data Engineer sur les différentes applications IT du périmètre : Application de data management : ingestion, stockage, supervision et restitution de time series. Application de visualisation de données de marché et des analyses produites Application de calcul de prévision de prix Le prestataire devra accompagner les évolutions et assurer la maintenance corrective et évolutive sur ces différentes applications dans les meilleurs délais (time to market) tout en garantissant la qualité des livrables. Mission • Conception et développement d'outils d'aide à la décision • Conception et développement de nouvelles architectures data • Collecte, ingestion, traitement, transformation et restitution des données (météo, fundamentales..) • Optimisation des coûts et des performances • La gestion du cycle de développement, de l'infra et des mises en production (DevOps) • Maintenance évolutive et support technique / accompagnement des utilisateurs (analystes, data scientists...) • Coaching de l'équipe autour des thématiques Big Data et AWS : workshops, présentations…