Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark. Contexte de la missionDans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark. Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle. Missions principalesConcevoir, développer et maintenir des pipelines de traitement de données. Développer des traitements distribués avec Apache Spark en Scala ou Python. Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources. Optimiser les performances et la fiabilité des traitements Data. Garantir la qualité, la cohérence et la disponibilité des données. Participer à l'industrialisation et à l'automatisation des flux de données. Collaborer avec les équipes Data, IT et métiers. Contribuer aux bonnes pratiques de développement, de documentation et de mise en production. Compétences techniques requisesBonne maîtrise de Scala ou Python. Expérience significative avec Apache Spark. Bonne connaissance des architectures et traitements Big Data. Maîtrise des concepts ETL / ELT et des pipelines de données. Bonne compréhension des bases de données SQL. Connaissance des environnements distribués. Utilisation de Git et des bonnes pratiques de développement.

Dans le cadre de l'accélération de sa stratégie Data & IA, une filiale d'un grand groupe bancaire français centralise ses données dans le Data Lake du groupe et construit un socle de données commun, dont un datamart dédié aux données financières. Nous recherchons un Data Analyst / MOA Finance confirmé pour accompagner la transformation des processus Finance, Comptabilité et Contrôle de gestion. Vous interviendrez en lien étroit avec la direction financière et la Direction Data. Vos missions : Automatiser et sécuriser le processus de clôture mensuelle - Concevoir, fiabiliser et industrialiser les traitements de données Finance - Concevoir des datamarts Finance directement exploitables par les métiers - Mettre en place des indicateurs précalculés au service du pilotage de la performance - Analyser et expliquer les écarts entre réalisé, budget et N-1 - Réaliser les rapprochements entre comptabilité et contrôle de gestion, et suivre les comptes de passage - Concevoir des rapports et un outil de pilotage sous Qlik Sense - Produire des solutions robustes, documentées et orientées usage

Freelance | 3 mois renouvelables (prolongation très probable de 6 à 12 mois) | Démarrage ASAP | Anglais Contexte Notre client construit une intégration de référence entre ses outils de modélisation actuarielle, notamment Prophet, et son socle de données finance. La première phase consiste à migrer les traitements Prophet / SQL Server vers Prophet / Databricks. Vous rejoignez l'équipe data pour concevoir, livrer et maintenir les pipelines et l'orchestration sur votre périmètre. Missions Migrer les traitements Prophet / SQL Server existants vers Databricks Construire et orchestrer les pipelines Databricks qui alimentent le socle de données finance avec les résultats des modèles actuariels Développer en Python, PySpark et SQL sur des volumes de données importants, selon une architecture médaillon Mettre en place des contrôles de qualité et de cohérence des données jusqu'à la source Documenter et tester unitairement le code, en suivant les pratiques gitflow Travailler avec les actuaires, la finance et les équipes data pour comprendre les données et leur sens métier

Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d'une expertise avancée sur Databricks, PySpark et Unity Catalog. Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l'industrialisation des solutions Data. MissionsPiloter les choix techniques et accompagner la conception des architectures Data sur Databricks. Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL. Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données. Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake. Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement. Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé. Vous rejoignez une équipe qui construit un hub de données de marchés sur AWS, avec Apache Iceberg comme format de stockage central. Un projet structurant, qui s'inscrit dans la stratégie SI du client et interagit avec plusieurs grands programmes. Vos missions : - Concevoir et mettre en œuvre les pipelines d'ingestion depuis les référentiels de données de marchés. - Structurer et modéliser des datasets cohérents à partir des référentiels sources. - Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction. - Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL). - Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, gouvernance. - Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents. - Échanger avec les équipes métier, data et infrastructure. Vous êtes recruté en CDI cadre chez Ingéniance et rejoignez notre communauté d'experts data. Ref : O-LPXHD

Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.

Recherche : Data Engineer. Mission longue, localisation : Lille (hybride). Dans ce rôle, vous implémenterez des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner. Vous documenterez les règles de qualité décrites dans Collibra pour valider les datasets. Vous partirez des templates génériques pour construire des pipelines scalables de données structurées et transformerez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform. Vous répondrez aux questions des utilisateurs ainsi qu'à l'équipe de datavisualisation sur les données mises à disposition, serez capable d'intervenir sur l'ensemble des flux de l'équipe, documenterez les flux implémentés et contribuerez à l'amélioration des bonnes pratiques de développement au sein de l'équipe (Mob programming, Test Driven Development, ...). Vous contribuerez également à la communauté de data engineers. Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Bonjour :) Nous avons une nouvelle opportunité au sein de notre client. Nous recherchons un Data Engineer confirmé(e)s à senior pour rejoindre son équipe Data Engineering. L'objectif : développer, maintenir et industrialiser les pipelines de données qui alimentent les analyses comportementales et les équipes analytics et e-commerce. Tu rejoindras une équipe de Data Engineers travaillant sur une plateforme Databricks avec Unity Catalog au centre, dans un environnement multi-cloud. Tes missions : Ingérer les données de tracking (web et app) et les mettre à disposition pour les analyses comportementales Développer, maintenir et industrialiser des pipelines PySpark / dbt sur Databricks Orchestrer les pipelines avec Airflow Modéliser, fiabiliser et garantir la qualité des données pour les équipes analytics et e-commerce Reprendre rapidement un périmètre existant et assurer la continuité de service Partager les bonnes pratiques au sein de l'équipe Environnement technique : PySpark dbt Databricks / Unity Catalog Airflow AWS Environnement multi-cloud

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.

Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming

Votre rôle au sein de NSI Dans le cadre du renforcement de son équipe Data, un acteur majeur du secteur bancaire recherche un Data Engineers expérimenté H.F pour contribuer à l'évolution de son Data Lake et au déploiement de nouveaux cas d'usage sur la plateforme Databricks. Descriptif des missions Développer et maintenir des pipelines de données batch et temps réel Concevoir et industrialiser des flux d'ingestion et de transformation Développer des traitements Python / PySpark sur Databricks Concevoir et maintenir des workflows Talend Mettre en œuvre des flux CDC (Change Data Capture) Participer à l'automatisation, aux tests et aux déploiements CI/CD Garantir la qualité, le monitoring et l'observabilité des traitements Développer des composants réutilisables et frameworks d'industrialisation Environnement technique Databricks Python / PySpark Talend SQL dbt CDC / Qlik Replicate Git, CI/CD Kafka (plus) GénAI appliquée au développement

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions. Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations. Vos missions : - Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison. - Proposer et défendre les choix d'architecture, et arbitrer en autonomie. - Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences. - Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur. - Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue. - Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena. - Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts. - Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests. Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché. Ref : O-SIYUA

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé, pour rejoindre une équipe qui construit les socles de données au service de l'intelligence artificielle. Vous participerez à la mise en production de cas d'usage IA à forte valeur ajoutée, en lien étroit avec les équipes Data Science. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables pour alimenter les cas d'usage d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Collaborer avec les équipes Data Science / ML pour transformer les modèles en services de production (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, data lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Garantir la sécurité des flux et la gouvernance de la donnée (catalogue, lineage). Environnement : Python, PySpark, Scala/Java, Spark, Kafka, Oracle, Clickhouse, S3, Airflow, Dagster, Docker, CI/CD. Vous êtes recruté en CDI cadre chez Ingéniance, au sein d'une communauté d'experts de la data et de la finance. Ref : O-RPIRS

🚀 Data Engineer Senior – Big Data / Lakehouse / AWS Niveau : Senior Expérience : 8 ans minimum en Data Engineering Démarrage souhaité : ASAP Durée : 12 mois, renouvelable Rythme : 5 jours/semaine Télétravail : 3 jours/semaine 🎯 Contexte de la mission : Dans le cadre du renforcement de son pôle Data Services, notre client recherche un Data Engineer Senior pour accompagner la conception, l'industrialisation et l'évolution de ses solutions Data. Le consultant interviendra sur des sujets à forte dimension Data Engineering, Big Data et Lakehouse, avec notamment des problématiques d'architecture, de modélisation, d'optimisation des pipelines et d'industrialisation des traitements. Il contribuera également à l'évolution de la stratégie Lakehouse du client et devra être capable d'accompagner techniquement des profils plus juniors. 🔎 Missions Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch, streaming et ingestion via API Structurer les données selon une architecture Médaillon (Bronze / Silver / Gold) Développer et industrialiser les transformations avec DBT, Spark et Iceberg Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse Déployer et maintenir les pipelines dans un environnement AWS Orchestrer les workflows ETL / ELT via Airflow Mettre en œuvre l'Infrastructure as Code avec Terraform Participer à la mise en place et au maintien de l'observabilité et de la supervision des traitements Définir et mettre en œuvre les règles de Data Quality : tests, contrôles et validations automatisées Participer à la gestion des incidents et à l'amélioration continue Documenter les architectures, pi

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer expert. Vous rejoignez une plateforme de données dédiée aux activités de marché, au cœur de use cases d'intelligence artificielle. Vous travaillez au quotidien avec des équipes Data Science et ML sur des sujets à fort enjeu. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables qui alimentent des use cases d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Accompagner les équipes Data Science/ML dans la mise en production des modèles (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, Data Lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Veiller à la sécurité des flux et à la gouvernance de la donnée (catalogue, lineage). Vous êtes recruté en CDI cadre chez Ingéniance et vous rejoignez une communauté d'experts de la data et de la finance de marché. Ref : O-LWDVQ

Nous recherchons un Analytics Engineer confirmé pour renforcer une équipe Data et intervenir sur des projets de transformation et d'industrialisation des données. Vous contribuerez à la conception de pipelines performants, à la modélisation des données et à l'évolution d'une plateforme Data moderne. Missions principalesConcevoir, développer et industrialiser des pipelines de transformation de données. Développer et optimiser les modèles de données avec dbt. Construire et faire évoluer la couche sémantique. Orchestrer les traitements avec Apache Airflow. Maintenir et optimiser les pipelines et datasets existants. Garantir la qualité, la fiabilité et la performance des données. Participer aux choix d'architecture et aux bonnes pratiques de développement. Collaborer avec les équipes Data Engineering et les équipes métiers. Environnement techniqueStack principale : Databricks / PySpark dbt Apache Airflow Python / SQL AWS (S3, Glue) Git / GitHub / CI/CD Compétences complémentaires : Scala / Spark Great Expectations Modélisation dimensionnelle (Kimball, Data Vault, OBT) Data Lineage / Data Governance