Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Dans le cadre d’un projet stratégique chez l’un de nos clients grands comptes, nous recherchons un Tech Lead Data disposant d’une forte expertise sur l’écosystème data moderne et les technologies Palantir. En tant que référent technique, vous interviendrez sur la conception, l’industrialisation et l’optimisation de pipelines data à forte volumétrie, tout en accompagnant les équipes dans la mise en œuvre des bonnes pratiques de développement et d’architecture. Responsabilités principales • Concevoir et piloter l’architecture des pipelines data • Développer et optimiser des traitements distribués en PySpark • Développer des composants et scripts en Python pour le traitement et l’orchestration des données • Intervenir sur les environnements Palantir (Foundry ou équivalent) • Encadrer techniquement les équipes data (data engineers / analysts) • Garantir la qualité, la performance et la fiabilité des pipelines • Participer aux choix d’architecture et aux décisions techniques • Collaborer avec les équipes métiers et les architectes data Compétences requises • Forte expertise Python et PySpark • Expérience confirmée sur des architectures data distribuées • Expérience sur la plateforme Palantir (Foundry idéalement) • Maîtrise des problématiques d’industrialisation data (ETL, orchestration, performance) • Expérience en rôle de Tech Lead ou référent technique • Bonne compréhension des enjeux data à grande échelle

Je cherche un profil Data ingénieur / Software ingénieur orienté Data avec une expérience significative sur Azure Databricks, python (software engineering) et PySpark. La connaissance des concepts de Machine Learning, notamment des algorithmes de type bagging et boosting, constitue un atout apprécié. En tant que Data/Software ingénieur, le prestataire interviendra au sein d’une équipe agile SAFe et contribuera, au travers de user stories, aux activités suivantes : -Conception et développement des pipelines Data et ML industrialisées et robustes o Pipelines Batch sous Azure Databricks o Utilisation avancée de PySpark, Delta Lake, MLFlow, , Workflows o Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU o Mise en place de mécanismes de reprise d’erreur, de traçabilité et de monitoring o Collaboration étroite avec les data scientists pour transformer les prototypes en solutions industrielles -Développement logiciel et services o Conception et développement de packages python o Respect des standards de développement du socle (qualité du code, tests unitaires, CI/CD, documentation, …) o API sous Azure Function et/ou Azure Container Apps -Contribution aux phases projets (étude de faisabilité, architecture, conception, réalisation, MEP) et aux différents activités de RUN et d’amélioration continue -Participation active aux rituels agiles

Bonjour à tous, notamment aux Senior Python Engineers orientés Data & Distributed Systems 🐍☁️ (AWS / Spark / Ray / Pandas / Performance) ⚠️ Seniorité de 8 ans minimum 🔎 Je cherche un Senior Software Engineer Python pour rejoindre un programme stratégique au sein d’un grand acteur de la finance quantitative, autour de la valorisation de données financières massives (tick data L3). Dans ce contexte très exigeant, l’objectif est de rendre exploitables des datasets ultra-volumineux pour des chercheurs, en construisant des solutions de feature engineering distribuées tout en conservant une expérience utilisateur simple type pandas. 💻 Ce que tu vas faire : - Traduire des workflows Python/pandas en traitements distribués (Spark, Ray…) - Optimiser des traitements sur des volumes massifs de données (performance, scalabilité) - Concevoir des abstractions simples pour les data scientists (UX orientée chercheurs) - Participer aux choix d’architecture (Spark / Ray / Iceberg…) - Travailler sur des datasets complexes (données temporelles, dépendances, déséquilibres) - Collaborer étroitement avec des équipes ML Platform et des chercheurs quant - Contribuer à une plateforme data scalable et industrialisée sur AWS 🎯 Stack & environnement : Python (expert) / Pandas / NumPy / Spark / Ray / AWS (S3, EMR, SageMaker) / Iceberg / Data Lake / Feature Engineering / HPC (bonus) / Kubernetes (EKS en réflexion) 📍 Mission : Paris 💰 TJM : Selon profil 📅 Démarrage : ASAP

📢 Data Engineer Scala Spark – Environnement Cloud (H/F) 🧩 Contexte Dans le cadre du renforcement d’une équipe Data, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des sujets à forte volumétrie, autour de pipelines de données complexes et d’optimisation des traitements. Vous évoluerez dans un environnement technique exigeant, avec des enjeux de performance, scalabilité et qualité de la donnée. 🚀 Missions principales Développement de pipelines data en Scala / Spark (batch principalement) Optimisation des traitements et gestion de volumétries importantes Mise en place et amélioration des bonnes pratiques de développement Participation à l’architecture et aux choix techniques Collaboration avec les équipes métiers et techniques Contribution au mentoring et partage de connaissances 🧰 Stack technique Scala / Spark Maven Environnement Cloud (AWS ou Azure) Databricks (selon contexte) API HTTP Stack ELK (optionnel) ✅ Must have Solide expérience en Scala / Spark (batch) Maîtrise des optimisations Spark Expérience sur fortes volumétries de données Bonnes pratiques de développement (clean code, build, versioning) Expérience en environnement Cloud (AWS ou Azure) Minimum 5 ans d’expérience en Data Engineering ➕ Nice to have Expérience avec Databricks Développement d’ API HTTP Connaissance de la stack ELK Expérience en environnement multi-projets 🤝 Soft skills Esprit d’analyse et rigueur Autonomie et force de proposition Bon relationnel et esprit d’équipe Capacité à comprendre les enjeux métiers Sens des priorités et gestion des délais 🎓 Profil Formation Bac+3 à Bac+5 en informatique Anglais technique requis 8 ans d'expériences MINIMUM ! 📍 Modalités Télétravail partiel (jusqu’à 3 jours / semaine) Mission longue Démarrage : ASAP

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

L’Architecte Data & IA intervient comme référent sur les choix techniques, la cohérence des architectures et l’industrialisation des usages Data/IA. Missions principales 1. Architecture & gouvernance technique Concevoir et maintenir les architectures cibles Data & IA (MLOps, LLMOps, DataOps) Garantir la cohérence globale de la plateforme Data & IA Contribuer à la mise en œuvre d’une gouvernance unifiée des données (sécurité, traçabilité, lineage) Superviser l’intégration et l’évolution d’une plateforme Data Lakehouse (type Databricks) Participer à l’évolution de l’offre de service du socle Data & IA 2. Industrialisation IA & MLOps Structurer les pratiques MLOps / LLMOps (CI/CD, monitoring, automatisation) Accompagner les équipes dans la mise en œuvre des bonnes pratiques DataOps et ML Garantir la fiabilité des pipelines de production IA Participer à la standardisation des modèles de déploiement IA 3. Innovation & plateforme IA Préparer la plateforme pour les usages d’IA générative et agentique Concevoir des architectures d’intégration pour les modèles LLM (internes et externes) Développer des approches AI by Design (conformité, sécurité, gouvernance) Contribuer aux initiatives d’innovation (observabilité IA, optimisation des coûts, temps réel) 4. Accompagnement & montée en compétences Encadrer les équipes DataOps et MLOps Diffuser les bonnes pratiques d’architecture et d’industrialisation Accompagner la montée en maturité sur les outils Data & IA Travailler en collaboration avec les équipes Data et Delivery Livrables attendus Architecture cible Data & IA unifiée Framework MLOps / LLMOps industrialisé (CI/CD, observabilité, MLFlow…) Guide de bonnes pratiques DataOps Tableau de bord de suivi de maturité IA / ML Recommandations d’évolution de la gouvernance Data & IA

Localisation : Aix-en-Provence Contexte de la mission : Le présent marché spécifique a pour objet le renforcement de l'équipe de data analyste. Le profil aura pour mission de mettre en oeuvre des analyses dans le cadre de la lutte contre la fraude. Fort d'une expérience DATA, il devra prendre en compte toutes les données du SI afin d'etudier leur cohérence et leur impact dans les processus métiers sensibles." Missions : Au sein de l’équipe data dédiée au sujet, vous contribuez à la conception et à l’exploitation de dispositifs d’analyse visant à améliorer la détection des risques de fraude. Rattaché à l'équipe Analyse de la donnée, l'intervenant aura pour principales missions : - Prise en compte des données du domaine "Individu Allocataire" et assimilation de leurs impacts dans le SI - Mise en oeuvre de cas d'usage métiers orientés lutte contre la fraude par croisement des données ( ciblage , analyse de donnée ou prédiction ) - Développement et maintenance de produits DATA réutilisables - Respect des normes et bonnes pratiques au sein de l'équipe

Notre client est un grand acteur du secteur de l'énergie en France, engagé dans une transformation technologique ambitieuse. Dans ce cadre, il recherche un Domain Lead Engineer pour piloter la stratégie technique d'un département à grande échelle (~50 personnes). Véritable bras droit du CTO, le DLE est le garant de la cohérence architecturale, de la vision technique long terme et du lien entre stratégie globale et réalité terrain. Le poste est localise à Lyon, ouvert aux freelances. Démarrage janv. 27 En tant que Domain Lead Engineer, vos missions sont les suivantes : Décliner les orientations techniques du CTO à l'échelle du département Définir et maintenir la vision technique court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Identifier en amont les risques techniques et zones de transformation Garantir la cohérence globale des architectures du département Définir et diffuser les standards, cadres et bonnes pratiques d'ingénierie Participer aux revues d'architecture et de code sur les sujets critiques Assurer l'adoption des standards via les Apps Leads et Lead Techs Être le point d'escalade technique pour les équipes sur les sujets complexes et multi-périmètres Remonter au CTO les difficultés techniques, organisationnelles et process Identifier des opportunités d'innovation à fort impact et favoriser l'expérimentation Diffuser la connaissance et les retours d'expérience au sein du département

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Dans le cadre de son plan de transformation Data, le groupe poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing Pour répondre à cet enjeu, le groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle. La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel. Description du poste : Notre environnement de travail combine rigueur, une ambiance décontractée au sein des équipes, et des méthodes Agiles (Scrum et Kanban). Votre mission principale, si vous l'acceptez, consistera à intervenir sur des architectures de Streaming Data et IA full AWS (notamment Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB, etc.), ainsi que sur des technologies comme Scala, Spark, SQL, Snowflake, GitLab CI/CD, DBT, Airflow, Terraform. Vous serez amené à : Concevoir et développer des pipelines de données performants Développer en utilisant des outils tels que Scala, DBT et Spark Implémenter des architectures de Streaming Data robustes Contribuer activement aux initiatives FinOps Développer et optimiser des traitements d'intégration de données en streaming Rejoignez une équipe dynamique où innovation et expertise se rencontrent !

2 JOURS NON NEGOCIABLES SUR SITE CLIENT A GOSSELIES (BEL) Dans le cadre du renforcement de sa Factory Data , CLIENT recherche un Data & Platform Engineer pour intervenir sur la gestion, l’évolution et l’industrialisation de sa plateforme data basée sur Microsoft Fabric . Le consultant rejoindra l’équipe Plateforme Data et interviendra à la fois sur les aspects Data Engineering (80%) et Platform Engineering Fabric (20%) . 🛠️ Data Engineer – 80% Développement des flux d’ingestion via Fabric Data Factory (et connaissance Azure Data Factory ) Développement des flux de transformation via Fabric Notebooks (Spark / PySpark) Optimisation des requêtes et des transformations (performance & coûts Azure) Modélisation du Lakehouse Conception et implémentation de l’ architecture médaillon (Silver / Gold) Rédaction du design technique Définition et exécution des tests unitaires (automatisables) Estimation des charges lors du cadrage des demandes Rédaction de la documentation technique Contribution aux guidelines et à l’amélioration continue Support, maintenance et gestion d’incidents en production ⚙️ Platform Engineer – 20% Administration et évolution de la plateforme Microsoft Fabric (workspaces, capacités, paramètres tenant, intégrations Azure) Suivi actif de la roadmap Microsoft Fabric (preview / GA) Gestion et optimisation des capacités Fabric (performance, priorisation, dimensionnement, coûts) Mise en place et évolution de l’ Infrastructure as Code (IaC) Monitoring et optimisation des coûts d’infrastructure Collaboration avec les équipes Infrastructure, Sécurité, IAM, FinOps Support plateforme, analyse d’incidents et fiabilisation du service

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Data Analyst (H/F) – Big Data / Lutte contre la fraude Localisation : Aix-en-Provence Démarrage : ASAP Type de mission : Mission longue durée Contexte Dans le cadre d’un projet stratégique autour de la lutte contre la fraude , nous recherchons un Data Analyst capable d’exploiter et d’analyser les données du système d’information afin d’identifier des incohérences, détecter des comportements suspects et proposer des analyses à forte valeur ajoutée pour les équipes métiers. Le consultant interviendra dans un environnement Big Data et contribuera à la mise en place de cas d’usage analytiques et prédictifs.

Dans le cadre du développement de nos activités, nous recherchons un(e) Data Engineer pour renforcer l'équipe technique de notre client et intervenir sur des projets à forte valeur ajoutée autour de la data. En tant que Data Engineer, vous serez amené(e) à : Assurer le suivi technique des projets : suivi des développements, réalisation de revues de code et respect des bonnes pratiques Gérer les incidents techniques : analyse, résolution et mise en production des correctifs Proposer des améliorations techniques : identification des axes d’évolution et optimisation des performances et de la stabilité des applications Garantir la qualité du code : mise en place de tests unitaires et gestion de l’intégration continue Assurer la documentation technique : maintien à jour de l’architecture et de la documentation

Contexte Dans le cadre de la modernisation de sa plateforme data, un grand acteur du secteur de l’énergie renforce ses équipes data pour accompagner le déploiement de solutions basées sur Microsoft Fabric . L’objectif est de structurer une architecture data moderne, scalable et orientée métier, afin de répondre aux enjeux de valorisation des données (trading, consommation, production, performance énergétique). Missions Concevoir et développer des pipelines de données sur Microsoft Fabric Participer à la mise en place d’une architecture data (Lakehouse, Medallion Architecture) Intégrer et transformer des données issues de multiples sources (IoT, marché, SI internes) Optimiser les performances et la qualité des données (data quality, monitoring) Collaborer avec les équipes métiers (trading, risk, opérations) pour répondre aux besoins analytiques Contribuer à l’industrialisation des traitements (CI/CD, bonnes pratiques) Stack technique Microsoft Fabric (OneLake, Data Factory, Synapse, Power BI) Azure (Data Platform) Python / PySpark / SQL Data Lake / Lakehouse Git / CI-CD

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers