Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark à Paris

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry. Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

CONTEXTE Métiers Fonctions : Data Management, Data Engineer Spécialités technologiques : Big Data Compétences Technologies et Outils : HadoopPyspark (2 ans) Dans le cadre d’un projet stratégique autour du recouvrement et de la lutte contre la fraude, nous recherchons un Data Engineer confirmé spécialisé en PySpark, pour rejoindre une équipe technique pilotée par un Tech Lead expérimenté. Le projet s’appuie sur des volumes massifs de données critiques (plusieurs milliards d’événements par jour) et vise à développer des cas d’usages à fort impact dans la détection d’anomalies et l’optimisation des processus de recouvrement. MISSIONS Missions principales - Participer à la construction et l’optimisation des pipelines de données sous PySpark. - Contribuer à la mise en place d’architectures Big Data sur un environnement Hadoop (bonus). - Assurer la qualité, la fiabilité et la performance des flux de données. - Collaborer étroitement avec les équipes data science et métier pour industrialiser les cas d’usage (fraude, scoring, recouvrement automatisé…). - Intervenir sur des problématiques de scalabilité et de traitement en temps réel / batch. - Garantir la sécurité et la conformité des traitements sur des données sensibles.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Orcan Intelligence recherche pour l'un de ses clients un Data Engineer senior. Le Data Engineer senior devra construire, livrer, maintenir et documenter des pipelines de données dans le périmètre des fondations Risque. Livrables attendus : Pipelines de données pour les fondations Risque, livrés dans les délais. Code documenté et testé unitairement. Mises en œuvre des contrôles de qualité et de santé ( health checks ). Expérience et compétences requises :

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster Mission: Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python Ordonnancement : Remplacement du DAC de OBIEE par Dagster Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont : - Description des fonctionnements existants et des besoins couverts, - Développement d’une solution de collecte de données, - Développement d’un système de stockage de la donnée, - Réalisation de tests unitaires, - Mise en place d’un suivi des traitements, - Assistance à la recette par la MOA / les utilisateurs. Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature. Bien à vous, Nadia

Contexte: Recherche Développeur(se) Senior Data compétent(e) et proactif(ve) pour un très grand projet de transformation IT en Espagne, dans le secteur manufacturier. Ce rôle est essentiel pour construire et optimiser le nouveau hub de données basé sur AWS, permettant un accès plus rapide aux données, une meilleure qualité et une livraison évolutive. Collaboration étroite avec l’Architecte Data, le Chef de Projet et les équipes de développement mondiales pour concevoir, mettre en œuvre et maintenir des pipelines de données robustes ainsi que des cadres de qualité. Responsabilités : • Développer et optimiser des pipelines de données évolutifs en utilisant les services AWS et des technologies open source. • Mettre en œuvre des modèles de traitement de données en temps réel et en batch . • Garantir la qualité des données via des tests automatisés et des cadres de surveillance. • Collaborer avec les architectes et les équipes métier pour traduire les besoins en solutions techniques . • Soutenir les pratiques CI/CD et l’ automatisation de l’infrastructure .

🎯 Contexte du poste Nous recherchons un Data Engineer confirmé afin d’accompagner un projet de migration stratégique de notre plateforme Data. Le consultant interviendra au sein d’équipes techniques et métiers pour assurer la transition et l’optimisation des flux de données. 🛠️ Missions principales Concevoir, développer et maintenir des pipelines de données performants et scalables. Assurer la migration des traitements Talend vers Spark sur EMR (Amazon Elastic MapReduce). Mettre en place des modèles de données et des tables optimisées avec Apache Iceberg. Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes Data, DevOps et métiers pour accompagner la transformation de la plateforme. 📌 Compétences techniques requises Talend : expertise dans les flux existants et leur migration. Spark (PySpark/Scala) sur EMR : maîtrise des traitements distribués et optimisation. Apache Iceberg : connaissance des formats de tables modernes (partitionnement, évolutivité, performance). DevOps (nice to have) : CI/CD, Docker, Kubernetes, Terraform, GitLab. Cloud AWS : maîtrise des services liés au Big Data (S3, EMR, Glue, etc.). 🌍 Soft skills et linguistique Anglais courant (fluent) : échanges réguliers avec des équipes internationales. Autonomie, capacité d’adaptation, esprit d’analyse. Bon relationnel et aptitude au travail en équipe agile. 🚀 Profil recherché Minimum 4/5 ans d’expérience en tant que Data Engineer. Expérience significative dans des projets de migration de flux Data. Capacité à intervenir dans des environnements complexes et à forte volumétrie de données.

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

Missions principales : * Conception et définition de la plateforme Data : -Définir le plan fonctionnel de la plateforme Data en fonction des besoins -stratégiques et opérationnels de l'entreprise. -Conceptualiser et structurer les fonctionnalités de la plateforme pour répondre aux exigences métiers. * Industrialisation et optimisation des processus : -Optimiser les processus de collecte, gestion, transformation et restitution des données pour les rendre plus efficaces. -Garantir la performance et la scalabilité des solutions mises en œuvre. * Urbanisation des Data Lakes : -Concevoir un schéma d'architecture fonctionnelle pour l’urbanisation des Data Lakes existants. -Mettre en place un référentiel des schémas d'interface d’entrée et gérer le versionning des données. -Assurer la cohérence de la circulation de la donnée, de l'acquisition jusqu’à son utilisation. *Collaboration avec les équipes métiers et techniques : -Travailler en étroite collaboration avec les chefs de projets Data, les architectes techniques et les Data Engineers. -Collecter et classifier les besoins fonctionnels des métiers pour les traduire en solutions techniques. *Rédaction de la documentation fonctionnelle : -Élaborer et maintenir à jour la documentation technique et fonctionnelle de l’architecture Data. -Proposer et formaliser des nomenclatures et des règles de gestion adaptées. *Référent technique : -Jouer un rôle de conseil et d’appui sur la conception des flux de données et la structuration des objets (Data Lake, Dataware, Datamart). -Être un point de référence pour l’équipe Data et garantir l’application des bonnes pratiques dans le cadre de la conception des solutions. Compétences requises :

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Je recherche un profil senior Data Engineer avec une évolution rapide vers un poste de Tech Lead. Points clés : • Solides connaissances et pratique en Python (design, tests, processus de développement, etc.) • Data Engineering : architecture big data / modélisation / optimisation / environnement distribué • Connaissance du cloud AWS ; un niveau intermédiaire minimum est requis, avec une expérience pratique • Bon esprit d'équipe et capacité d'adaptation • Bonnes compétences en communication en anglais L'objectif est de développer une plateforme basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans les différents pays où le client opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant d'accéder à des vues standardisées et transversales de ces indicateurs. Outre ses responsabilités techniques, le data engineer veillera au respect des directives du groupe concernant l'utilisation du cadre interne et l'architecture. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des solutions communes pour la plateforme. Le rôle du data engineer senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : • Ingestion des données • Traitement et normalisation des données. • Distribution des données aux différentes parties prenantes. • Construire et améliorer le cadre commun, notamment en matière de surveillance, de CI/CD, de tests, de performances, de résilience, de pratiques de développement et de qualité du code.

Dans le cadre d’un programme stratégique autour de la valorisation de la donnée client , nous recherchons un Tech Lead Data / Big Data confirmé pour accompagner la mise en place et l’évolution d’une Customer Data Platform (CDP) . Vous serez le référent technique au sein de l’équipe projet et jouerez un rôle clé dans l’ encadrement des développeurs , la structuration des solutions techniques et la qualité des livrables . 6 à 9 ans d’expérience minimum dans la Data / Big Data Expérience en tant que Tech Lead ou Lead Developer Data sur des projets complexes Capacité à challenger techniquement les choix et à proposer des solutions pragmatiques Autonomie, rigueur, proactivité et aisance dans les environnements agiles Bonnes qualités de communication, aussi bien avec les équipes techniques que métiers

La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad CCO qui aujourd'hui gére l'Entrepôt des données client de la CIB à travers l'application INDIXIS utilisée par les équipes IT et métiers. L'objectif de la mission est de renforcer l'équipe avec un rôle de Développeur / Data Engineer orienté DevOps au sein de la Squad : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets Concrètement : la mission principale de la prestation aura pour but de : - traiter nos obsolescences de Framework (ex : springboot , spark2 ) - moderniser et industrialiser nos pipelines de build en intégrant les bonnes pratiques devsecops : - migration depuis tfs vers jenkins - création directe sur jenkins Le but étant d'optimiser notre code , d'assainir et d'automatiser nos déploiements via xldéploy. Le code concerne nos apis et nos process de transformation hadoop/spark ( en java , python ) Expertises spécifiques : - Spark / PySpark /Python / Java / SpringBoot / .net - Hadoop sur infra on premise - Hive / SQL/HQL - Unix/Bash - Pipeline CI/CD jenkins - XLDeploy/XLRelease - Control-M - API

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery • Expériences intégrant les langages Python et SQL • Expériences intégrant PySpark • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques 1 . Déployer les cas d’usages en lien avec la personnalisation de l’expérience utilisateur 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets