Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Métier et fonction : Data Management Data Engineer Spécialité technologique : Big Data Type de facturation : Assistance Technique (facturation au taux journalier) Techniques et outils maîtrisés : Hadoop, PySpark (2 ans) Secteur d'activité : Administration Publique Description de la prestation : Dans le cadre d’un projet stratégique en recouvrement et lutte contre la fraude, un Data Engineer confirmé spécialisé en PySpark est recherché pour une équipe pilotée par un Tech Lead expérimenté. Le projet manipule plusieurs milliards d’événements par jour, visant à développer des cas d’usage à fort impact comme la détection d’anomalies et l’optimisation des processus de recouvrement. Missions principales : Construire et optimiser des pipelines de données sous PySpark. Participer à la mise en place d’architectures Big Data sur environnement Hadoop (optionnel). Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes data science et métier pour industrialiser des cas d’usage (fraude, scoring, recouvrement automatisé). Gérer des problématiques de scalabilité et de traitement en temps réel ou batch. Assurer la sécurité et la conformité des traitements de données sensibles.

CONTEXTE Métiers Fonctions : Data Management, Data Engineer Spécialités technologiques : Big Data Compétences Technologies et Outils : HadoopPyspark (2 ans) Dans le cadre d’un projet stratégique autour du recouvrement et de la lutte contre la fraude, nous recherchons un Data Engineer confirmé spécialisé en PySpark, pour rejoindre une équipe technique pilotée par un Tech Lead expérimenté. Le projet s’appuie sur des volumes massifs de données critiques (plusieurs milliards d’événements par jour) et vise à développer des cas d’usages à fort impact dans la détection d’anomalies et l’optimisation des processus de recouvrement. MISSIONS Missions principales - Participer à la construction et l’optimisation des pipelines de données sous PySpark. - Contribuer à la mise en place d’architectures Big Data sur un environnement Hadoop (bonus). - Assurer la qualité, la fiabilité et la performance des flux de données. - Collaborer étroitement avec les équipes data science et métier pour industrialiser les cas d’usage (fraude, scoring, recouvrement automatisé…). - Intervenir sur des problématiques de scalabilité et de traitement en temps réel / batch. - Garantir la sécurité et la conformité des traitements sur des données sensibles.

Nous recherchons un Data Engineer chargé de développer des pipelines de données pour les fondations Risk dans Palantir Foundry . Le Data Engineer aura pour mission de concevoir, livrer, maintenir et documenter des pipelines de données dans le périmètre des fondations Risk. Il devra notamment intégrer les données de réassurance dans notre modèle de données analytique Risk (représentation en medallion des données Risk), selon les meilleures pratiques du domaine. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais, Code documenté et testé unitairement, Contrôles de qualité et de cohérence des données mis en place.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

Orcan Intelligence recherche pour l'un de ses clients un Data Engineer senior. Le Data Engineer senior devra construire, livrer, maintenir et documenter des pipelines de données dans le périmètre des fondations Risque. Livrables attendus : Pipelines de données pour les fondations Risque, livrés dans les délais. Code documenté et testé unitairement. Mises en œuvre des contrôles de qualité et de santé ( health checks ). Expérience et compétences requises :

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Nous recherchons un Tech lead pour accompagner notre client (leader sur le marché international de services de paiement) sur ses projets. L’objectif : concevoir et développer un framework d’ingestion scalable sur Databricks (PySpark, Delta Lake) Vos missions : · Implémenter des pipelines d’ingestion standardisés batch et temps réel (streaming) depuis différentes sources (fichiers, bases de données, APIs, Kafka, etc.). · Mettre en place un framework de contrôle qualité des données ainsi que les mécanismes de monitoring / alerting. · Encadrer techniquement l’équipe, assurer les revues de code et diffuser les bonnes pratiques. · Gérer les workflows GitHub, les stratégies de versioning et les pipelines CI/CD. · Documenter les choix techniques, processus et composants développés. · Collaborer avec les équipes produit, data engineering et métier dans un environnement international anglophone. · Être force de proposition sur les choix d’architecture et l’évolution du framework.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ DEMARRAGE : Janvier 2026 -📑 CDI (50-55K€) OU Freelance OU Portage salarial - 🏠 Télétravail - 50% / début de semaine - 📍 Lyon - 🛠 Expérience de 8 ans minimum Envie de rejoindre une équipe Data où l’innovation, la performance et la qualité technique sont au cœur des projets ? 🚀 Nous recherchons un.e Développeur Big Data pour intervenir sur des projets d’envergure autour du traitement et de la valorisation de données massives. Vous participerez à la conception et au développement de solutions data destinées à accompagner les métiers dans leur transformation numérique 💻💼 Voici un aperçu détaillé de vos missions 🎯 : - Participer aux ateliers métiers pour comprendre les besoins et les jeux de données - Concevoir, développer et maintenir des traitements de données complexes - Réaliser des études statistiques et présenter les résultats sous forme de rapports ou de tableaux de bord - Développer des outils de visualisation facilitant l’analyse et la prise de décision - Documenter et industrialiser les traitements développés - Mettre en production les pipelines data et assurer leur suivi - Participer aux rituels agiles et aux échanges techniques de l’équipe

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster Mission: Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs. Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature. Bien à vous, Nadia

Misison en Ingénierie informatique spécialisé Python/Dataiku Contexte : L’exercice ICAAP (Internal Capital Adequacy Assessment Processes) joue un rôle de premier plan dans la gestion des risques des banques. Cet exercice repose sur deux axes principaux : d’une part la réalisation de tests de résistance (stress-test) et d’autre part, un mécanisme de mesure des besoins en capital et de planification du capital. Mission : Au sein de la direction des risques (RISK), l’équipe Stress Testing Methodologies and Models (STMM) du département Stress Testing and Financial Simulation (STFS) est une équipe quantitative en charge de l’élaboration et de la maintenance des méthodologies de mesures des risques utilisées pour l’ICAAP. L’équipe a la responsabilité de développer les mesures de risque et de produire les indicateurs de capital interne et de stress-test utilisés pour l’ICAAP pour les risques de crédit, opérationnel et de marché. Infrastructure : L’infrastructure de production des indicateurs repose sur la plateforme Dataiku et fait appel à la fois à des instructions en PySpark et en Python. Suite à une mise à jour de la version de Python dans l’infrastructure (passage d’un Python 2.7 à 3.6), l’équipe a évalué le besoin de mettre à jour la librairie utilisée pour la production des indicateurs de risque de marché dans le banking book (MRBB). Ambiance de la misison: Gestion des risques, avec une expertise en Python et PySpark. Langages de programmation Python et PySpark. Dataiku souhaitable. Compétences techniques en langage R.

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur , tu participeras : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Habile avec les outils AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

Notre client recherche un Développeur Senior disposant d’une double expertise en développement backend et en ingénierie des données, pour rejoindre son équipe dédiée à l’observabilité. Concevoir, développer et maintenir des services backend (Python, PySpark) et des APIs orientées observabilité Construire et orchestrer des pipelines de données robustes (Airflow, Spark, Python) Garantir la qualité, la sécurité et la gouvernance des flux (tests, lineage, monitoring) Gérer les données via PostgreSQL, ADLS, Blob Storage, ElasticSearch Développer des dashboards et visualisations avancées (Grafana, ELK) Collaborer étroitement avec les équipes produit et développement (Agile/Scrum)

Contexte: Recherche Développeur(se) Senior Data compétent(e) et proactif(ve) pour un très grand projet de transformation IT en Espagne, dans le secteur manufacturier. Ce rôle est essentiel pour construire et optimiser le nouveau hub de données basé sur AWS, permettant un accès plus rapide aux données, une meilleure qualité et une livraison évolutive. Collaboration étroite avec l’Architecte Data, le Chef de Projet et les équipes de développement mondiales pour concevoir, mettre en œuvre et maintenir des pipelines de données robustes ainsi que des cadres de qualité. Responsabilités : • Développer et optimiser des pipelines de données évolutifs en utilisant les services AWS et des technologies open source. • Mettre en œuvre des modèles de traitement de données en temps réel et en batch . • Garantir la qualité des données via des tests automatisés et des cadres de surveillance. • Collaborer avec les architectes et les équipes métier pour traduire les besoins en solutions techniques . • Soutenir les pratiques CI/CD et l’ automatisation de l’infrastructure .

Mission en Ingénierie Informatique Spécialisé Python/Dataiku Contexte L'exercice ICAAP (Internal Capital Adequacy Assessment Processes) joue un rôle de premier plan dans la gestion des risques des banques. Cet exercice repose sur deux axes principaux : d'une part la réalisation de tests de résistance (stress-test) et d'autre part, un mécanisme de mesure des besoins en capital et de planification du capital. Mission Au sein de la direction des risques (RISK), l'équipe Stress Testing Methodologies and Models (STMM) du département Stress Testing and Financial Simulation (STFS) est une équipe quantitative en charge de l'élaboration et de la maintenance des méthodologies de mesures des risques utilisées pour l'ICAAP. L'équipe a la responsabilité de développer les mesures de risque et de produire les indicateurs de capital interne et de stress-test utilisés pour l'ICAAP pour les risques de crédit, opérationnel et de marché. Infrastructure L'infrastructure de production des indicateurs repose sur la plateforme Dataiku et fait appel à la fois à des instructions en PySpark et en Python. Suite à une mise à jour de la version de Python dans l'infrastructure (passage d'un Python 2.7 à 3.6), l'équipe a évalué le besoin de mettre à jour la librairie utilisée pour la production des indicateurs de risque de marché dans le banking book (MRBB).

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Scientist Python (H/F) à Lyon, France. Contexte : Description de l'équipe Concevoir et réaliser des audits de performance d’exploitation et proposer un programme d’amélioration continue Développer des processus d’analyse automatique des performances Développer des outils de maintenance préventive pour les équipements Anticiper l’impact des évolutions des systèmes et de leur environnement Equipe en charge de l'amélioration continue et de la valorisations des données afin d'améliorer leurs exploitations. Les missions attendues par le Data Scientist Python (H/F) : Activité principale Analyser le fonctionnement Modéliser le comportement nominal Construire des outils de supervision temps réel du fonctionnement et de détection automatique d’un état d’anomalie Encadrement de Data Scientist junior Revue de code / Evaluation des orientations techniques Activité secondaire Industrialiser les prototypes dans les outils de supervision Veille technologique sur les outils utilisés au sein du projet Partage et formation des pairs Aide à la conception de solutions permettant le traitement de volumes de données suffisamment sécurisés Stack technique de l'équipe Python 3 / Python Dash PySpark SQL / Postgresql Tableau software / PowerBI

Contexte de la mission En renfort de l’entité Solutions Data , le Data Engineer Senior interviendra dans un environnement hybride Cloud / On-Premise (cible On-Premise) pour participer activement aux activités Run, Build, Expertise et Accompagnement . 🚀 Missions principales Participer à l’élaboration du design technique des produits logiciels. Contribuer à la recherche et mise en œuvre de solutions techniques adaptées. Prendre en charge une partie des développements . Accompagner et coacher les autres développeurs (optimisation de code, bonnes pratiques). Collaborer avec l’ architecte Data pour l’intégration des produits dans le SI. Garantir la qualité des produits logiciels livrés. Accompagner les directions métiers dans la réalisation de leurs cas d’usage Data. 🔧 Compétences obligatoires Spark / Java (maîtrise avancée) Python (maîtrise avancée) SQL (maîtrise avancée) Cloud AWS : S3, Glue, Redshift, Step Functions, Lambda CI/CD : Git, Jenkins ETL : XDI et/ou ODI 🌟 Compétences souhaitées (atouts) Docker Terraform Power BI / Business Objects 📍 Localisation Mission basée à Châtillon (92) .