Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Contexte Rejoignez une équipe agile SAFe pour concevoir et industrialiser des pipelines Data et ML robustes sur un environnement Azure moderne. Vous serez au cœur de la transformation des prototypes data scientists en solutions de production. Vos missions Pipelines Data & ML Développement de pipelines Batch sous Azure Databricks Utilisation avancée de PySpark, Delta Lake, MLFlow, Workflows Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring Collaboration avec les data scientists pour industrialiser leurs modèles Développement logiciel Conception de packages Python robustes et maintenables Respect des standards : qualité de code, tests unitaires, CI/CD, documentation Développement d'APIs via Azure Functions et/ou Azure Container Apps Contribution projet & RUN Participation aux phases projet : faisabilité, architecture, conception, réalisation, MEP Activités d'amélioration continue et participation aux rituels agiles

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Notre client est un acteur majeur du secteur bancaire, reconnu pour sa capacité d’innovation et sa transformation digitale. Dans le cadre du renforcement de ses équipes Data au sein des Risques de Marché , nous recherchons un(e) Data Engineer Python / Big Data . Intégré(e) à une équipe Agile, vous interviendrez sur des projets stratégiques liés aux calculs réglementaires et à la transformation des plateformes data vers des architectures temps réel. Vos responsabilités : Concevoir et développer des pipelines de données performants (Python, PySpark) Participer à l’ évolution du Data Warehouse Optimiser les flux de données et améliorer les performances de traitement Mettre en place des solutions de monitoring et d’alerting temps réel Développer des dashboards de suivi (Power BI, Elasticsearch) Garantir la qualité, la fiabilité et la traçabilité des données Participer à l’industrialisation des traitements (CI/CD, automatisation) Collaborer avec les équipes métiers (risques, finance) Environnement technique Langages : Python, SQL Big Data : PySpark, Kafka Cloud : GCP (BigQuery) Orchestration : Airflow, DBT DevOps : Docker, Jenkins, Terraform / Terragrunt, CI/CD BI / Monitoring : Power BI, Elasticsearch Outils : Git, Linux Méthodologie : Agile / Scrum

Contexte Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform . Toutes les équipes fonctionnent en mode agile. Un Tech Lead est recherché pour une Feature Team du client . La maîtrise de l'outil DATABRICKS est un prérequis. Missions Conception, développement et maintenance des pipelines de données Cadrage technique Garant de la mise en production des traitements au sein de la plateforme Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps Développement sous Databricks (Python / SQL / Spark) Force de propositions techniques Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Contexte de la mission Dans le cadre d’un programme structurant de modernisation du système d’information , nous recherchons un profil Data Engineer / DevOps senior pour renforcer une équipe existante. La mission s’inscrit au cœur du SI cible , au service de plusieurs applications critiques orientées data, intégration et services temps réel. Le poste vise à industrialiser les chaînes DevOps et à structurer les flux Data Lake dans un environnement cloud native, fortement automatisé et orienté open source . Démarrage souhaité : mai / juin Localisation : Rive gauche bordeaux, nécessite un véhicule Objectifs de la mission Le rôle est double : DevOps / Plateforme Industrialisation et sécurisation des chaînes d’intégration et de déploiement Standardisation des pratiques GitOps sur un socle Kubernetes multi‑environnements Renforcement de l’automatisation et de l’observabilité des plateformes applicatives et data Data / Streaming Accompagnement à la conception et à la standardisation des flux data temps réel Structuration d’un Data Lake orienté streaming et lakehouse Garantie de la performance, de la résilience et de la maintenabilité des flux Domaines d’intervention & compétences clés Socle Kubernetes & DevOps Orchestration : Kubernetes (Namespaces, Ingress, RBAC) GitOps : GitLab CI, Helm, ArgoCD Observabilité : Grafana, Prometheus, Loki, Tempo Sécurité CI/CD : SAST, DAST, Trivy Environnements : OpenStack Écosystème Data & Data Lake Streaming & CDC : Kafka, Debezium Processing : Spark SQL, Airflow Lakehouse : Apache Iceberg Query Engine : Trino (PrestoSQL) Stockage objet : Ceph (ou équivalent) Micro‑services & APIs Runtimes : Java / Quarkus, Python API Management : Kong Protocoles : MQTT (atout) Optimisation des performances applicatives et data Livrables attendus (exemples) Socle & automatisation Mise en place d’architectures ArgoCD (Application of Applications) Catalogue de Charts Helm industrialisés Bibliothèque de pipelines GitLab CI/CD standardisés et sécurisés Data & Streaming Provisionnement automatisé des clusters Kafka et connecteurs Debezium Configuration optimisée de Trino sur stockage objet Mise en place des DAGs Airflow pour l’orchestration des traitements Documentation & MCO Dashboards de supervision avancés Rédaction du Dossier d’Architecture Technique (DAT) Rédaction de Runbooks MCO / PRA Définition de standards techniques et bonnes pratiques cloud native Profil recherché Expérience confirmée (5 à 8 ans minimum) en DevOps, Data Engineer ou Platform Engineer Très bonne maîtrise de Kubernetes et des pratiques GitOps Expérience concrète sur des plateformes Kafka et Data Lake À l’aise dans des contextes SI complexes et structurants Capacité à travailler en collaboration étroite avec équipes de développement, architectes et chefs de projet Autonomie, rigueur, sens de l’industrialisation

Le contexte Nous recherchons un Data Engineer (ou Software Engineer avec une forte spécialisation Data) pour renforcer une équipe agile en charge de l'industrialisation de projets Data et ML. La mission se déroule dans un environnement technique Azure et s'appuie sur une méthodologie SAFe . Vos missions principales Votre rôle consiste à transformer des prototypes en solutions industrielles fiables et performantes. Vous intervenez sur : Pipelines de données : Conception et développement de flux Batch sous Azure Databricks . Vous gérez l'utilisation de PySpark, Delta Lake et MLFlow. Optimisation technique : Travail sur la performance des traitements (partitionnement, gestion mémoire, exploitation GPU) et mise en place du monitoring (reprise d'erreur, traçabilité). Développement logiciel : Création de packages Python réutilisables. Vous garantissez la qualité via des tests unitaires, de la documentation et l'intégration dans les pipelines CI/CD. API & Services : Développement d'API via Azure Functions ou Azure Container Apps. Collaboration métier : Travail quotidien avec les Data Scientists pour industrialiser leurs modèles (notamment sur des algorithmes de bagging et boosting). Cycle de vie projet : Participation complète de l'étude de faisabilité à la mise en production, incluant le suivi en RUN et l'amélioration continue. Détails de la mission Localisation : Niort (présence obligatoire sur site 3 jours par semaine). Démarrage : 04/05/2026. Durée : Jusqu'au 31/12/2026 (visibilité fin d'année). Tarif : Selon profil et expérience.

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques

Dans le cadre d’un projet Data à forte valeur ajoutée, nous recherchons un Data Engineer / Software Engineer orienté Data afin de renforcer une équipe agile SAFe. Le consultant interviendra sur la conception, le développement et l’industrialisation de pipelines Data et Machine Learning dans un environnement cloud Azure. Il participera à la transformation de solutions analytiques et prototypes Data Science en solutions robustes, scalables et industrialisées. Missions principales Data Engineering / Pipelines Data & ML Conception et développement de pipelines batch sur Azure Databricks Traitement et transformation de données avec PySpark Mise en place de workflows Data industrialisés Utilisation de Delta Lake pour la gestion des données Intégration de modèles ML en collaboration avec les Data Scientists 2. Industrialisation & performance Optimisation des performances Spark : partitionnement gestion mémoire optimisation des jobs Mise en place de mécanismes de : reprise sur erreur traçabilité des traitements monitoring des pipelines Software Engineering / Développement Développement de packages Python industrialisés Conception d’API (Azure Functions / Container Apps) Respect des standards de développement : tests unitaires qualité du code documentation CI/CD Contribution projet & Agile Participation aux phases projet : étude de faisabilité conception développement mise en production (MEP) Participation aux activités RUN et amélioration continue Contribution active aux cérémonies Agile SAFe

Dans le cadre du renforcement d’une plateforme Data en production, nous recherchons un Ingénieur Système / Data Ops pour intégrer une équipe en charge du support et de l’exploitation d’un Data Hub et d’une plateforme de Data Virtualisation. Le poste consiste à assurer le bon fonctionnement des environnements de production, à superviser les traitements de données, à coordonner les incidents et à garantir la continuité de service. Vous interviendrez sur le monitoring quotidien des flux, la gestion des incidents et des problèmes, ainsi que sur la coordination des mises en production et des changements techniques. Vous serez également amené à analyser les incidents, proposer des actions correctives et préventives et participer à l’amélioration continue des processus et des outils de supervision.

Ta mission sera de Garantir la robustesse de la platforme Monitorer et prendre des actions proactive de management de la plateforme de compute Assurer le support et l'accompagnement d'équipes sur Spark, Databricks et EMR Travailler sur les optimisations des traitements Athena/Pyspark Accompagner et former Définir et promouvoir les bonnes pratiques de software engineering et de data engineering sur les technologies proposées au sein de l'équipe participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Travailler sur le concept d'accessibilité et de gouvernance de la donnée Tester de nouveaux outils / features intéressants à intégrer dans notre stack

2 jours de télétravail non négociable Dans le cadre d’activités liées à l’ analyse de données pour des besoins de contrôle et prévention des risques , l’organisme recrute un Analyste Data afin d’intégrer une équipe spécialisée basée à Aix‑en‑Provence . L’objectif de cette mission est de concevoir et réaliser des analyses avancées à partir de l’ensemble des données du système d’information, afin d’évaluer leur cohérence et leur impact sur des processus métier sensibles . L’intervenant devra participer à la mise en place de cas d’usage orientés détection d’anomalies et comportements atypiques , en croisant différentes sources de données. Il sera également responsable de la création et de la maintenance de produits data réutilisables , tout en appliquant les pratiques internes de qualité, normes et gouvernance des données. Exemples de livrables attendus : Programmes de traitement Big Data Études et analyses documentées Présentations des résultats et recommandations Constructions de KPI et tableaux de bord de synthèse

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur des médias, nous recherchons un Data Engineer confirmé pour intervenir au cœur d’une plateforme data stratégique. Tu rejoindras une équipe en charge de la collecte, la centralisation et la transformation de données issues de sources hétérogènes , avec des enjeux forts de volumétrie, de performance et de qualité. Tes principales missions : Concevoir, développer et maintenir des pipelines data robustes et scalables Assurer l’ ingestion et la transformation de données multi-sources Optimiser les performances des traitements (Spark / SQL) Orchestrer les flux de données via Airflow Structurer et organiser le stockage des données Participer à l’ industrialisation des traitements (CI/CD, infrastructure) Garantir la qualité, la sécurité et la fiabilité des données Contribuer aux échanges techniques et à l’amélioration continue des pratiques

Activités principales : • Présenter des retours d'expérience sur la gestion de la qualité des données sur les plateformes Azure et les bonnes pratiques de gestion de la qualité sur les plateformes Azure • Réaliser un audit de la gestion de la qualité des données sur les plateformes et prendre connaissance des contrôles de qualité actuellement disponibles et des objectifs à court et moyen terme • Définir le champ des possibles sur la base des composants actuellement disponibles sur la plateforme ou standards sur Azure. • Présenter les apports de l'IA dans le cadre d'une pratique de contrôle de qualité des données • Présenter la stratégie de déploiement de la qualité des données pour les prochains mois • Déployer les contrôles de qualité existants ainsi que ceux identifiés par le CDO • Assurer le passage de connaissance vers les équipes internes

Data Analyst Nantes - langage Python et du PySpark. - Excellentes connaissances des techniques statistiques et des méthodes de Data Science – Datamining. - Maîtrise de SGBD et du SQL. - Expérience significative dans la gestion et la manipulation de données au sein d’une architecture data complexe. - Maîtrise de Git. - Capacité d’analyse et de préconisation. Expériences requises : - Au moins deux ans d'expérience en travail en Agilité. - Au moins quatre ans d'expérience en réalisation de projets data orientés analyse et datascience. - Au moins trois ans d'expérience en manipulation de données en environnement data complexe et industriel. Contexte : Notre client, acteur du secteur du transport, recherche un data analyste senior pour une mission stratégique. Le profil devra collaborer avec le PPO Data pour cadrer des analyses et tableaux de bord à destination des métiers. Il sera force de proposition pour les plans d'analyses ad hoc et l'identification de problématiques métiers résolubles par la data. Responsabilités : - Comprendre et modéliser les problématiques métier et celles du pôle. - Définir avec justesse le périmètre des données nécessaires à la solution technique. - Concevoir et développer des modèles de machine learning. - Modéliser des résultats d’analyse des données pour les rendre lisibles, exploitables et actionnables. - Créer des visualisations appropriées aux besoins cartographiques si nécessaire. - Estimer la charge à allouer aux différents traitements et actions techniques prévus. - Optimiser le modèle de donnée des projets data de l’équipe. - Développer des scripts Python optimisés. - Créer les tables ou vues nécessaires aux projets data de l’équipe. - Échanger avec les ops de la Team Data pour l'industrialisation de la collecte, des traitements, de la supervision et de la restitution des données. - Réaliser des plans d’analyse data. - Expliquer le sens des informations exploitables en termes pertinents pour les métiers. - Conceptualiser et développer autour d’une problématique métier. - Communiquer les informations en soulignant la valeur des actions. - Formaliser les résultats d’analyse et les présenter aux métiers commanditaires. - Être force de proposition sur la mise en place d’actions pertinentes en fonction des résultats d’analyses et des conclusions (préconisations). La mission nécessite : - Maîtrise du langage Python et du PySpark. - Excellentes connaissances des techniques statistiques et des méthodes de Data Science – Datamining. - Maîtrise de SGBD et du SQL. - Expérience significative dans la gestion et la manipulation de données au sein d’une architecture data complexe. - Maîtrise de Git. - Capacité d’analyse et de préconisation. Expériences requises : - Au moins deux ans d'expérience en travail en Agilité. - Au moins quatre ans d'expérience en réalisation de projets data orientés analyse et datascience. - Au moins trois ans d'expérience en manipulation de données en environnement data complexe et industriel.