Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Notre client, acteur majeur du secteur [énergie / distribution], recherche un.e Data Engineer confirmé.e pour renforcer ses équipes Data. Le poste combine Data Engineering et MLOps , avec une implication sur l’ensemble du cycle de vie des pipelines de données et modèles ML. Missions principales : Data Engineering (intervention sur 2 projets) Concevoir, développer et maintenir les pipelines de données pour 2 applications disctinctes. Assurer l’ingestion, la transformation et le stockage de données à grande échelle. Optimiser les traitements pour garantir des performances adaptées aux volumes traités. Mettre en place des mécanismes de qualité des données (contrôles, alertes, monitoring). Collaborer avec le pôle Développement pour définir les interfaces de données (API, bases de données). Documenter les flux de données et maintenir le catalogue de données. MLOps (Intervention sur 1 des 2 projets) Industrialiser l’entraînement des modèles ML pour l’optimisation du dimensionnement des groupes électrogènes. Déployer des pipelines CI/CD pour les modèles ML (versioning des données et modèles, automatisation de l’entraînement). Assurer le monitoring des performances des modèles en production (drift detection, métriques de performance). Collaborer avec les Data Scientists pour faciliter le passage des modèles du développement à la production.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte: Dans un contexte de structuration et de montée en maturité des usages Data au sein d’une Direction Financière, la mission vise à renforcer les capacités analytiques autour de la prévision du chiffre d’affaires. L’objectif est de concevoir et d’industrialiser un produit Data stratégique permettant une projection automatisée et multidimensionnelle du chiffre d’affaires (produits, zones géographiques, canaux de vente, infrastructures). Le consultant interviendra au cœur d’une organisation Finance & Data, en tant que référent Data Finance, à l’interface entre les équipes Finance, Data et Produit. Missions: Concevoir, maintenir et faire évoluer un produit Data de projection du chiffre d’affaires Développer et industrialiser des modèles de prévision intégrant des mécanismes basés sur les volumes Permettre des ajustements manuels des projections par les équipes métiers Garantir la qualité, la fiabilité, la traçabilité et l’exploitabilité des données Développer et maintenir des pipelines de données sous Dataiku Implémenter des traitements SQL avancés et des flux de transformation complexes Exploiter Spark / PySpark pour gérer des volumétries importantes Automatiser, monitorer et documenter les chaînes de traitement Mettre en œuvre des contrôles de qualité et contribuer à la gouvernance des données financières Rendre les modèles explicables et actionnables pour les équipes Finance Mettre à disposition les données projetées dans le datalake Collaborer étroitement avec les équipes Finance, Data et Produit Participer aux rituels agiles et au suivi des livrables via des outils de gestion de projet

Profil : Senior Data Engineer · Contexte de la mission : L’équipe Supply Zone Forecast (SZF) développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe . Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels) La mission se déroulera sur site à Paris , au sein du pôle data Digital Principales responsabilités Refonte et optimisation du module “Refining” : Auditer le code existant, identifier les goulots de performance et axes d’amélioration. Revoir la structure du code pour renforcer la modularité, la lisibilité et la maintenabilité. Mettre en place une documentation claire et partagée (technique + fonctionnelle). Optimiser le traitement PySpark (logique de partitionnement, cache, broadcast, etc.). Proposer une approche flexible pour l’ajout de nouvelles features. Renforcement de la robustesse et de la qualité : Implémenter ou renforcer les tests unitaires et fonctionnels. Améliorer la stabilité globale de la pipeline ML de forecast. Participer à la mise en place de bonnes pratiques d’ingénierie logicielle (CI/CD, gouvernance du code, monitoring). Collaboration et transfert de compétences : Travailler étroitement avec les Data Scientists et lMachine Learning Engineers de l’équipe SZF. Assurer un transfert de connaissances clair et structuré à l’équipe interne. Contribuer à la montée en compétence collective sur PySpark et la scalabilité de pipelines ML. Livrables attendus : Module “refining” refactoré, documenté et testé Rapports d’audit et plan d’optimisation validés Documentation technique centralisée Pipeline stable et industrialisable à l’échelle mondiale

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

En quelques mots Cherry Pick est à la recherche d'un "Architecte Data IoT" pour un client dans le secteur du retail. Description La Data est centrale dans notre écosystème IoT : elle alimente la BI, la maintenance prédictive, la détection d'accidents et la conception intelligente de nos futurs produits. 🎯 Votre Mission : Architecturer la Data de l'IoT du Groupe Au sein de l'équipe "Cloud IoT Platform - Data Solution", vous agissez en tant que Data Architect / Lead Engineer . Vous êtes le garant des choix techniques et de l'architecture permettant d'ingérer, stocker et exposer les données venant du Cloud, des "Devices" et du Mobile. Vos responsabilités clés : Architecture & Stratégie : Imaginer et concevoir l'architecture Data pour collecter les données IoT (directement des appareils ou via mobile). Définir la stratégie des stacks techniques et garantir les standards d'architecture. Assurer l'alignement entre la vision technique, les priorités business et les besoins utilisateurs. Engineering & Pipelines : Construire des pipelines de données (structurées et non structurées) robustes et scalables. Maintenir et redesigner les pipelines existants pour servir de nouveaux cas d'usage (Analytics, IA, etc.). Garantir l'industrialisation des processus de transformation et le CI/CD. Qualité & Gouvernance : Assurer la scalabilité, l'élasticité et la fiabilité des infrastructures. Garantir la qualité de la donnée, son accessibilité, ainsi que le respect des normes de Privacy et Data Governance (Lineage). Leadership Technique : Contribuer activement à la communauté des Data Engineers. Assurer une veille technologique constante pour orienter la sélection des nouveaux outils. 🛠 Environnement Technique Langages : Python, Scala, Java. Big Data & Streaming : Kafka, Spark. Cloud & Infrastructure : AWS (Lambda, Redshift, S3), Microservices. Concepts : Systèmes distribués, Data Modeling, Real-time data exchanges.

Contexte : Dans le cadre d’un projet stratégique visant à améliorer l’expérience client, notre client souhaite mettre en place un chatbot SAV basé sur des technologies d’IA générative . Ce chatbot sera intégré aux canaux digitaux (site web, application mobile) et devra fournir des réponses précises, contextualisées et instantanées aux demandes fréquentes (statut de commande, assistance, retour produit, garantie, etc.). Objectif : autonomie client, réactivité et fiabilité , tout en réduisant la charge des équipes support. Vos missions : Audit et conseil sur la mise en œuvre d’un agent IA génératif. Développement et intégration via des frameworks tels que LangChain , LangGraph , et gestion de base vectorielle. Accompagnement technique pour la mise en production d’un projet agentique. Mise en place d’agents de tests (type Ragas ) et modélisation (type MCP ). Livrables : Audit, recommandations, développement Data Science.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Notre client recherche un Développeur Senior disposant d’une double expertise en développement backend et en ingénierie des données, pour rejoindre son équipe dédiée à l’observabilité. Concevoir, développer et maintenir des services backend (Python, PySpark) et des APIs orientées observabilité Construire et orchestrer des pipelines de données robustes (Airflow, Spark, Python) Garantir la qualité, la sécurité et la gouvernance des flux (tests, lineage, monitoring) Gérer les données via PostgreSQL, ADLS, Blob Storage, ElasticSearch Développer des dashboards et visualisations avancées (Grafana, ELK) Collaborer étroitement avec les équipes produit et développement (Agile/Scrum)

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Merci de bien lire l'annonce ci dessous et vérifier que vous correspondez au besoin. Nous recherchons exclusivement des candidats basés à Vannes ou en Bretagne . Merci de ne pas envoyer de candidature si vous êtes situés hors de cette zone géographique. En tant que Data Engineer , votre mission principale sera de produire des solutions techniques robustes et performantes pour exploiter au mieux les données du client. Cependant, votre rôle ne se limitera pas à l’aspect technique : vous serez également un partenaire stratégique des métiers , capable d’identifier leurs besoins, de comprendre leurs enjeux et de proposer des solutions techniques adaptées. Vos responsabilités : Concevoir, développer et maintenir des pipelines de données performants et évolutifs Participer à la définition de l'architecture Data Développer les solutions de collecte et de stockage des données Mettre en place les tests unitaires et automatisés Garantir la qualité, la sécurité et l’intégrité des données tout au long de leur cycle de vie. Implémenter des solutions qui optimisent la gestion des données pour les équipes métier. Collaborer étroitement avec les équipes métier pour comprendre leurs objectifs stratégiques. Faciliter la communication entre les équipes techniques et les non-techniciens Vous serez à la croisée des chemins entre technique et métier , jouant un rôle clé pour transformer les données en un véritable levier de décision. Votre capacité à allier expertise technique et vision stratégique fera de vous un acteur indispensable pour relever les défis de l’entreprise.

La mission proposée sera d’accompagner les métiers dans la cadre du projet de sortie du progiciel SAS vers le progiciel DATAIKU. Dans ce cadre, les activités principales sont : • Accompagner les utilisateurs dans la prise en main de Dataiku et le déploiement des solutions pour leurs cas d’usage. Cela passe par la compréhension de leurs besoins et contraintes opérationnelles, l’étude des solutions potentielles basées sur le progiciel, et l’aide et support à la réalisation. • Appliquer et diffuser les bonnes pratiques Dataiku ainsi que du processus MLOPS. • Assurer le Support et RUN post déploiement : surveillance, maintenance et optimisation des traitements DATAIKU. Dans le cadre de cette mission, il y a de fortes exigences sur : • Le sens de service. • La pédagogie pour accompagner efficacement les utilisateurs SAS. • L’échange et la communication avec le reste de l’équipe SOD/IA Factory ainsi que les différents interlocuteurs sur ce sujet. A savoir, l’architecte SOD/SAS, l’architecte technique SOD, les architectes DATA ainsi que les interlocuteurs CAGIP. Le critère d’expérience doit s’appliquer à tous ces éléments pour garantir l’adéquation du profil à la demande. Expertise DATAIKU DSS avec certifications : • Core Designer • Advanced Designer • ML Practitioner • MLOps Practitioner • Developer • Generative AI Practitioner

Bonjour 👽, Pour le compte de notre client, nous recherchons un data engineer Spark / Scala / Pyspark / Databricks / Azure. Missions principales : Participer au développement des User Stories (US) et réalisation des tests associés. Produire et maintenir la documentation projet : mapping des données, modélisation des pipelines, documents d’exploitation. Mettre en place et maintenir le CI/CD sur l’usine logicielle. Assurer la mise en place du monitoring . Collaborer étroitement avec l’équipe projet ; pas de responsabilité de production individuelle. Travailler dans un environnement agile avec priorisation et gestion multi-projets. Compétences techniques indispensables : Maîtrise de Scala et Spark (batch principalement). Optimisation des jobs Spark et traitement de volumétries importantes / complexes . Bonnes pratiques de développement Scala et build Maven. Expérience en environnement cloud , idéalement Azure . Compétences techniques appréciées : Écosystème Databricks Azure Functions et Azure Data Factory Monitoring sous Datadog Déploiement avec Ansible Compétences transverses : Aisance relationnelle et esprit d’équipe Autonomie, rigueur et esprit d’analyse Capacité de synthèse et force de proposition Sens des priorités et respect des délais Appétence client et compréhension métier / fonctionnelle Mentoring et partage de connaissances

Contexte : Dans le cadre d’un projet stratégique visant à améliorer l’expérience client, notre client souhaite mettre en place un chatbot SAV basé sur des technologies d’IA générative . Ce chatbot sera intégré aux canaux digitaux (site web, application mobile) et devra fournir des réponses précises, contextualisées et instantanées aux demandes fréquentes (statut de commande, assistance, retour produit, garantie, etc.). Objectif : autonomie client, réactivité et fiabilité , tout en réduisant la charge des équipes support. Vos missions : Audit et conseil sur la mise en œuvre d’un agent IA génératif. Développement et intégration via des frameworks tels que LangChain , LangGraph , et gestion de base vectorielle. Accompagnement technique pour la mise en production d’un projet agentique. Mise en place d’agents de tests (type Ragas ) et modélisation (type MCP ). Livrables : Audit, recommandations, développement Data Science.