Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Date de démarrage : 14/09/2026 Durée : 12 mois renouvelables ContexteDans le cadre du renforcement de sa plateforme Data, notre client recherche un Data Engineer expérimenté afin de concevoir, développer et maintenir des solutions de traitement de données à grande échelle. Intégré à une équipe Agile (Squad), vous interviendrez sur l'ensemble du cycle de vie des produits Data, depuis la conception de l'architecture jusqu'au maintien en conditions opérationnelles des pipelines de données. Vous évoluerez en étroite collaboration avec les Architectes, le Product Owner, les Business Analysts et les équipes de production afin de garantir la disponibilité, la qualité et la performance des données au service des métiers, dans un environnement exigeant, idéalement bancaire.

Nous recherchons pour l'un de nos clients un(e) Architecte d'intégration & Business Analyst (H/F) Missions : Partie Architecte d'intégration Concevoir et piloter les architectures d'intégration sur l'ensemble du cycle de vie projet Maîtriser et appliquer les principaux patterns d'intégration : API, Event, Streaming Concevoir des architectures REST et rédiger les spécifications techniques associées Intervenir sur les phases de design, de développement et d'exploitation Définir et proposer des standards d'architecture communs à plusieurs zones et business platforms Accompagner les équipes dans l'utilisation des solutions iPaaS du marché Partie Business Analyst Intégration Comprendre et analyser les besoins fonctionnels Rédiger les spécifications fonctionnelles Cadrer les évolutions et les besoins métiers Piloter les développeurs et suivre l'avancement des sujets Réaliser les tests fonctionnels Suivre les projets dans ServiceNow Planifier les mises en production Suivre les flux en production et contribuer à l'optimisation du RUN

La mission consiste à contribuer à la conception, l'industrialisation, l'exploitation et l'évolution des plateformes et services Data. Le consultant interviendra aussi bien sur les projets DATA que sur les activités de RUN. Il devra être capable de travailler dans un environnement technique large, sans nécessairement être expert sur chaque technologie, mais avec une bonne culture Data / Big Data / DevOps / Cloud. Une forte capacité d'autonomie, de curiosité et de proposition est attendue afin d'accompagner les équipes dans leurs choix techniques et leur évolution. MISSIONS PRINCIPALESParticiper aux projets Data et aux activités de RUN. Concevoir et faire évoluer les solutions Data Engineering. Participer à l'industrialisation et à l'automatisation des traitements et infrastructures. Développer et maintenir les pipelines CI/CD. Participer à la gestion et à l'exploitation des environnements Docker / Kubernetes. Automatiser les opérations à l'aide d'Ansible et/ou Terraform. Intervenir sur les bases de données SQL Server, PostgreSQL et MongoDB. Participer à l'exploitation et à l'évolution des environnements Big Data. Contribuer aux sujets Cloud public AWS / GCP. Participer à la supervision et à l'observabilité des plateformes. Analyser les problématiques de production et contribuer à leur résolution. Proposer des améliorations techniques et opérationnelles. Challenger l'existant et orienter les choix techniques lorsque nécessaire. Collaborer avec les équipes Data, DevOps, infrastructure et projets.

Au sein de la DSI de notre client, vous serez en charge du développement et de la maintenance des applications stratégiques du Groupe. Dans le cadre du projet DatOps, nous recherchons un Data Engineer GCP pour renforcer les équipes Data. En collaboration avec les équipes de production applicative et DevOps, vous participerez à la mise en œuvre des évolutions demandées par les métiers, au développement des pipelines de données et à l'évolution de la plateforme Data. Vous évoluerez dans un environnement Cloud moderne, Agile et international, avec des échanges réguliers avec les équipes basées à Porto.

Dans le cadre du renforcement d'une équipe dédiée à l'innovation et à l'industrialisation de solutions d'Intelligence Artificielle, nous recherchons un(e) Data Engineer / Développeur Fullstack Python Junior souhaitant évoluer sur des sujets mêlant Data Engineering, IA Générative et développement logiciel. Vous intégrerez une équipe à taille humaine intervenant sur des projets déjà en production autour du traitement documentaire, du Machine Learning et de l'IA générative. Vous participerez notamment à : Développer des applications et pipelines de traitement de données en Python. Concevoir et maintenir des traitements distribués autour des technologies Big Data. Participer au développement d'outils intégrant des modèles d'IA générative. Contribuer à l'amélioration continue des chaînes CI/CD ainsi qu'à l'automatisation des tests. Développer des interfaces et outils facilitant l'exploitation des solutions IA. Collaborer étroitement avec les équipes Data Engineering, Data Science et les métiers afin de transformer rapidement les besoins en solutions opérationnelles. Participer à la mise en production et à l'industrialisation des développements.

Contexte de la mission Dans ce contexte, nous recherchons un Data Engineer ayant une forte appétence pour la compréhension des enjeux métier liés à la donnée, les environnements Big Data en transformation, et le travail sur des systèmes existants et l'amélioration continue. Le profil attendu combine compétences techniques solides et posture d'ingénieur impliqué dans le fonctionnement global du SI (BUILD & RUN). Une expérience minimale de 3 ans est requise. Objectifs et livrables Activité principale Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants - Migration de traitements Informatica et PL/SQL vers Spark (Java) - Participation à l'optimisation des traitements existants - Maintenance corrective et évolutive des traitements PL/SQL - Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) - Participation au projet stratégique de migration vers le cloud - Conception et mise en œuvre de pipelines de données sur Databricks - Industrialisation des traitements dans un environnement moderne Activités principales : - Concevoir, développer et maintenir des pipelines de données en Spark (Java) - Migrer des traitements legacy vers des architectures Big Data modernes - Assurer la maintenance des traitements existants SQL / PL-SQL - Garantir la performance, la robustesse et la qualité des données - Participer activement au RUN et à l'amélioration continue Activités secondaires - Contribution aux bonnes pratiques de développement et d'exploitation - Mise à jour du référentiel documentaire - Partage de connaissances au sein de l'équipe - Participation à la guilde Spark de l'équipe (choix de conception, optimisation des traitements, road map technique etc…) Stack technique de l'équipe Spark, Java, Ceph, Tableau Server, Oracle, Informatica, Maven, Control-M, Git, Jenkins, Terraform

Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA

Notre client dans le secteur Banque et finance recherche un/une Administrateur Big Data Azure - Java H/F Description de la mission : Fiche de poste – Administrateur Big Data Azure - Java Contexte et objectif de la mission Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks. Niveau recherché Profil middle à senior. Missions principales • Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD • Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure • Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies • Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées • Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique • Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus • Participation à l'élaboration et au suivi du planning global de production • Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs • Participation aux task forces pour résoudre des problématiques techniques complexes • Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres • Accompagnement des clients dans leur transition du on-premise vers le cloud public • Collaboration étroite avec les éditeurs et les équipes internes • Réalisation des astreintes techniques selon le planning défini Profil recherché Compétences techniques : • Développement : Java, Spring, Temporal, Liquibase, Powershell • Containerisation d'applications Java, déploiement sur AKS, création d'images Docker • Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot • Big Data : Spark, Hive Metastore, Hadoop • CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor • Linux, Bash, protocoles de sécurité OAuth et SSL • Monitoring : ElasticSearch, Kibana (niveau utilisateur) • Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données Compétences relationnelles : • Esprit d'analyse et de synthèse, autonomie et sens des responsabilités • Capacité à travailler en équipe et à communiquer efficacement • Orientation client et qualité de service Compétences / Qualités indispensables : Java / Spring, Azure Kubernetes Service (AKS), Spark / Big Data, CI/CD & GitOps, Sécurité cloud (OAuth, SSL, Azure Policies), Snowflake / Databricks Compétences / Qualités qui seraient un + : Hadoop (optionnel)Informations concernant le télétravail : Oui — 1 jour/semaine

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Dans le cadre de l'évolution de la plateforme Optima et de la refonte de son interface de supervision, nous recherchons un Développeur Full Stack confirmé Java / Angular. Optima est un moteur de calcul du risque de crédit utilisé notamment pour les calculs réglementaires RWA, grands risques et provisions IFRS9. Le programme est engagé dans une phase de modernisation avec la migration vers une architecture Java/Spark distribuée, la refonte de l'IHM en Angular/Java et le déploiement sur le Cloud / CDP Cloudera.

La mission, au sein du domaine « Pertes, Garanties et Entrepôt Risques », consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform - Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Nous recherchons un Data Scientist Senior pour rejoindre une équipe Data Science & Analytics et intervenir à 100 % sur un projet stratégique à fort enjeu. La mission combine Data Science, Machine Learning, optimisation, IA Générative et industrialisation, avec une forte proximité avec les équipes métiers dans un environnement international. Missions principalesConcevoir, développer et industrialiser des solutions Data & IA. Cadrer les nouveaux cas d'usage avec les différentes parties prenantes. Extraire, explorer, analyser et transformer des volumes importants de données. Concevoir et entraîner des modèles prédictifs. Développer des pipelines de construction et d'industrialisation des modèles. Travailler sur des problématiques de Machine Learning, clustering, optimisation et Deep Learning. Concevoir et développer des solutions autour des LLM et agents IA. Développer, déployer et monitorer des services Data fiables et capables de passer à l'échelle. Participer aux choix d'architecture et proposer les technologies les plus adaptées. Contribuer aux bonnes pratiques de développement, de déploiement et d'industrialisation. Accompagner les utilisateurs dans l'adoption des solutions développées. Présenter les résultats et recommandations aux équipes techniques et métiers. Environnement techniqueStack principale : Python SQL scikit-learn Machine Learning LLM / GenAI Git Docker S3 Parquet Écosystème complémentaire : Kubernetes GitLab / CI/CD Airflow Kafka Spark Bash Prometheus / Grafana / Loki Kestra Compétences Data ScienceMachine Learning & modèles prédictifs Clustering Statistiques Deep Learning LLM / IA Générative Optimisation / Recherche Opérationnelle Heuristiques Industrialisation et monitoring des modèles

RésuméNous sommes en recherche d'un profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) pour intervenir sur des sujets en lien avec le périmètre marketing. Le prestataire interviendra au sein d'une équipe Big Data d'une quinzaine de personnes travaillant en mode projet agile. ResponsabilitésIl contribuera au Run quotidien et à l'évolutivité des applications métiers tels que : la segmentation client marketing le calcul d'indicateurs de téléphonie le datamart marketing et bien d'autres. Must HavesMaîtrise d'Apache Airflow. Maîtrise d'Apache Kafka. Expérience significative avec Hadoop. Solides compétences en SQL et optimisation des requêtes. Capacité à travailler avec des bases relationnelles et NoSQL. Connaissances en CI/CD et DevOps. Compétences en Scala. Expérience en utilisant Spark. Nice to HaveDes compétences sur le cloud Azure et la conception de Webservices REST seraient appréciées. De manière générale il doit pouvoir documenter ses travaux, présenter ses réalisations en adaptant son discours et interagir avec l'ensemble des acteurs projets, ceux de l'équipe, des autres équipes IT et métiers. Autres DétailsMissions longue (maximum 3 ans) Localisation : Hauts-de-Seine (92)

Dans le cadre du renforcement d'un Chapitre Data au sein d'un grand acteur du secteur bancaire, nous recherchons un.e Data Engineer expérimenté.e pour rejoindre une squad métier et intervenir sur la conception, le développement, l'industrialisation et l'exploitation de solutions Data. Votre rôle Intégré.e à une équipe Agile, vous travaillerez en collaboration avec les PO, BA, développeurs et architectes sur l'ensemble du cycle de vie des solutions Data. Vous serez notamment amené.e à : Participer à la définition et à l'évolution de l'architecture Data ; Analyser et affiner les besoins avec les PO et BA et les traduire en solutions techniques ; Concevoir et développer des pipelines de collecte, ingestion, transformation et stockage ; Développer des traitements Spark en batch et en streaming ; Automatiser l'ingestion et orchestrer les flux de données ; Intervenir dans des environnements Hadoop / Cloudera ; Concevoir et exécuter les tests unitaires et automatisés ; Industrialiser et déployer les développements sur les différents environnements ; Assurer le bon fonctionnement des solutions en production et participer à la gestion des incidents ; Mettre en place et optimiser le monitoring et l'observabilité ; Contribuer à l'amélioration continue de la qualité du code et des pratiques de développement ; Participer aux sujets de gouvernance, qualité, protection et traçabilité des données.