Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Notre client est un acteur majeur du secteur bancaire, reconnu pour sa capacité d’innovation et sa transformation digitale. Dans le cadre du renforcement de ses équipes Data au sein des Risques de Marché , nous recherchons un(e) Data Engineer Python / Big Data . Intégré(e) à une équipe Agile, vous interviendrez sur des projets stratégiques liés aux calculs réglementaires et à la transformation des plateformes data vers des architectures temps réel. Vos responsabilités : Concevoir et développer des pipelines de données performants (Python, PySpark) Participer à l’ évolution du Data Warehouse Optimiser les flux de données et améliorer les performances de traitement Mettre en place des solutions de monitoring et d’alerting temps réel Développer des dashboards de suivi (Power BI, Elasticsearch) Garantir la qualité, la fiabilité et la traçabilité des données Participer à l’industrialisation des traitements (CI/CD, automatisation) Collaborer avec les équipes métiers (risques, finance) Environnement technique Langages : Python, SQL Big Data : PySpark, Kafka Cloud : GCP (BigQuery) Orchestration : Airflow, DBT DevOps : Docker, Jenkins, Terraform / Terragrunt, CI/CD BI / Monitoring : Power BI, Elasticsearch Outils : Git, Linux Méthodologie : Agile / Scrum

Contexte Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform . Toutes les équipes fonctionnent en mode agile. Un Tech Lead est recherché pour une Feature Team du client . La maîtrise de l'outil DATABRICKS est un prérequis. Missions Conception, développement et maintenance des pipelines de données Cadrage technique Garant de la mise en production des traitements au sein de la plateforme Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps Développement sous Databricks (Python / SQL / Spark) Force de propositions techniques Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d’un leadership technique , reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs Vous faites preuve d’une excellente communication , associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome , proactif et doté d’un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé , avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement , incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données , à la testabilité et à l’ observabilité des pipelines en production Vous pratiquez régulièrement les revues de code , le mentoring et l’accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts , et savez les intégrer dans vos choix techniques

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur des médias, nous recherchons un Data Engineer confirmé pour intervenir au cœur d’une plateforme data stratégique. Tu rejoindras une équipe en charge de la collecte, la centralisation et la transformation de données issues de sources hétérogènes , avec des enjeux forts de volumétrie, de performance et de qualité. Tes principales missions : Concevoir, développer et maintenir des pipelines data robustes et scalables Assurer l’ ingestion et la transformation de données multi-sources Optimiser les performances des traitements (Spark / SQL) Orchestrer les flux de données via Airflow Structurer et organiser le stockage des données Participer à l’ industrialisation des traitements (CI/CD, infrastructure) Garantir la qualité, la sécurité et la fiabilité des données Contribuer aux échanges techniques et à l’amélioration continue des pratiques

Activités principales : • Présenter des retours d'expérience sur la gestion de la qualité des données sur les plateformes Azure et les bonnes pratiques de gestion de la qualité sur les plateformes Azure • Réaliser un audit de la gestion de la qualité des données sur les plateformes et prendre connaissance des contrôles de qualité actuellement disponibles et des objectifs à court et moyen terme • Définir le champ des possibles sur la base des composants actuellement disponibles sur la plateforme ou standards sur Azure. • Présenter les apports de l'IA dans le cadre d'une pratique de contrôle de qualité des données • Présenter la stratégie de déploiement de la qualité des données pour les prochains mois • Déployer les contrôles de qualité existants ainsi que ceux identifiés par le CDO • Assurer le passage de connaissance vers les équipes internes

Bonjour à tous, notamment aux Senior Python Engineers orientés Data & Distributed Systems 🐍☁️ (AWS / Spark / Ray / Pandas / Performance) ⚠️ Seniorité de 8 ans minimum 🔎 Je cherche un Senior Software Engineer Python pour rejoindre un programme stratégique au sein d’un grand acteur de la finance quantitative, autour de la valorisation de données financières massives (tick data L3). Dans ce contexte très exigeant, l’objectif est de rendre exploitables des datasets ultra-volumineux pour des chercheurs, en construisant des solutions de feature engineering distribuées tout en conservant une expérience utilisateur simple type pandas. 💻 Ce que tu vas faire : - Traduire des workflows Python/pandas en traitements distribués (Spark, Ray…) - Optimiser des traitements sur des volumes massifs de données (performance, scalabilité) - Concevoir des abstractions simples pour les data scientists (UX orientée chercheurs) - Participer aux choix d’architecture (Spark / Ray / Iceberg…) - Travailler sur des datasets complexes (données temporelles, dépendances, déséquilibres) - Collaborer étroitement avec des équipes ML Platform et des chercheurs quant - Contribuer à une plateforme data scalable et industrialisée sur AWS 🎯 Stack & environnement : Python (expert) / Pandas / NumPy / Spark / Ray / AWS (S3, EMR, SageMaker) / Iceberg / Data Lake / Feature Engineering / HPC (bonus) / Kubernetes (EKS en réflexion) 📍 Mission : Paris 💰 TJM : Selon profil 📅 Démarrage : ASAP

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Contexte Dans le cadre de la modernisation de sa plateforme data, un grand acteur du secteur de l’énergie renforce ses équipes data pour accompagner le déploiement de solutions basées sur Microsoft Fabric . L’objectif est de structurer une architecture data moderne, scalable et orientée métier, afin de répondre aux enjeux de valorisation des données (trading, consommation, production, performance énergétique). Missions Concevoir et développer des pipelines de données sur Microsoft Fabric Participer à la mise en place d’une architecture data (Lakehouse, Medallion Architecture) Intégrer et transformer des données issues de multiples sources (IoT, marché, SI internes) Optimiser les performances et la qualité des données (data quality, monitoring) Collaborer avec les équipes métiers (trading, risk, opérations) pour répondre aux besoins analytiques Contribuer à l’industrialisation des traitements (CI/CD, bonnes pratiques) Stack technique Microsoft Fabric (OneLake, Data Factory, Synapse, Power BI) Azure (Data Platform) Python / PySpark / SQL Data Lake / Lakehouse Git / CI-CD

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Introduction & Résumé : Emagine recherche un Développeur Databricks / Python capable d'accompagner des équipes dans des projets à forte valeur ajoutée autour des données. Le candidat idéal disposera d'une expertise avancée en développement sur Databricks et Python, et aura un rôle clé dans la conception et la maintenabilité des solutions techniques. Principales responsabilités : Accompagner les équipes sur des projets data. Concevoir et maintenir des solutions robustes sur Databricks. Intégration de données Développer des notebooks Python (PySpark)/SQL/R. Documenter les développements pour assurer la maintenabilité. Industrialiser les notebooks (jobs, workflows, automatisation). Exigences clés : Minimum 5 ans d'expérience. Expertise avancée sur Databricks/Python. Anglais courant, méthodologie agile Excellent relationnel, travail en équipe Présence obligatoire de 2 jours sur site. Atouts : Expérience dans des projets similaires. Compétences en gestion de projet.

Bonjour, Pour le compte de l'un de mes clients parisiens, je suis à la recherche d'un développeur AAzure Databricks en pré-embauche. La mission : En tant que Développeur / Data Engineer Azure Databricks, vous intervenez au cœur de la Data Factory Entegra pour concevoir, développer et industrialiser les pipelines de données critiques du groupe. Vous travaillez en étroite collaboration avec : Le Head of Data, le Tech Lead Data, les équipes métiers et IT locales (France, UK, IT, ES, NL…), & les équipes partenaires. Responsabilités principales : Concevoir et développer des pipelines de données robustes et scalables sur Azure Databricks (PySpark, Delta Lake) Mettre en œuvre les chaînes d’ingestion, transformation et exposition des données (Bronze / Silver / Gold) Participer à l’industrialisation des traitements data (qualité, monitoring, performance, reprise sur incident) Contribuer à la structuration du socle Data Factory et aux bonnes pratiques de développement Documenter les développements et garantir la qualité du code et la maintenabilité. Travailler avec les équipes régionales pour : Comprendre les besoins fonctionnels, Accompagner la montée en compétences, Assurer le transfert de connaissances, Intervenir dans un contexte international, avec une forte dimension métier et “customer facing”.