Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Dans le cadre de projets stratégiques au sein d'un grand groupe bancaire, nous recherchons un Développeur Java Big Data confirmé pour intervenir sur la conception et le développement de solutions applicatives s'appuyant sur les technologies Big Data, les API et les environnements Cloud. Vous intégrerez des équipes techniques travaillant sur des applications à forte volumétrie, avec des enjeux importants de performance, de disponibilité et d'industrialisation. Vos missions Vous interviendrez notamment sur : La conception et le développement d'applications et d'API REST en Java avec Spring. Le développement et l'intégration de solutions exploitant les technologies Big Data, notamment Hadoop, HDFS et Spark. La mise en place de stratégies de tests automatisés (TDD / BDD). L'industrialisation et l'automatisation des déploiements à l'aide de conteneurs. L'optimisation des performances applicatives, notamment par le fine-tuning de la JVM. L'exploitation des environnements Cloud AWS et/ou Azure. La rédaction de la documentation technique et le partage des bonnes pratiques. La participation au diagnostic des incidents et au maintien en conditions opérationnelles des applications, dans le respect des SLA.

Notre client modernise sa plateforme Big Data. Il lance la migration de son environnement Cloudera, avec un volet de mise en conformité PCI DSS. Les environnements doivent être déployés fin 2026, pour une mise en production mi-2027. Vos missions Déployer et administrer la plateforme Cloudera sur les différents environnements Réaliser les montées de version Mettre en œuvre la remédiation PCI DSS (sécurisation, chiffrement, gestion des accès) Conduire les tests de performance et optimiser la plateforme Préparer la mise en production Mener des POC Databricks, Flink et sur une architecture hybride Animer et participer aux ateliers techniques

Dans le cadre de l'accélération de sa stratégie Data & IA, une filiale d'un grand groupe bancaire français centralise ses données dans le Data Lake du groupe et construit un socle de données commun, dont un datamart dédié aux données financières. Nous recherchons un Data Analyst / MOA Finance confirmé pour accompagner la transformation des processus Finance, Comptabilité et Contrôle de gestion. Vous interviendrez en lien étroit avec la direction financière et la Direction Data. Vos missions : Automatiser et sécuriser le processus de clôture mensuelle - Concevoir, fiabiliser et industrialiser les traitements de données Finance - Concevoir des datamarts Finance directement exploitables par les métiers - Mettre en place des indicateurs précalculés au service du pilotage de la performance - Analyser et expliquer les écarts entre réalisé, budget et N-1 - Réaliser les rapprochements entre comptabilité et contrôle de gestion, et suivre les comptes de passage - Concevoir des rapports et un outil de pilotage sous Qlik Sense - Produire des solutions robustes, documentées et orientées usage

Nous rec herchons un(e) Data Engineer Hadoop Spark Scala capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : at9p10muxy

Contexte de la mission Dans le cadre de la transformation de son système d'information et de la modernisation de sa plateforme Data Hub, notre client recherche un Expert Data Platform afin de renforcer les équipes du Socle Data. La mission s'inscrit dans plusieurs chantiers stratégiques : montée de version de la plateforme Cloudera, maintien en condition opérationnelle du Data Hub, modernisation des services Data et évolution vers des approches Lakehouse, Data Sharing et Data Mesh. L'objectif est d'accompagner les équipes métiers, projets et d'exploitation dans la mise en oeuvre, la sécurisation et l'évolution des services de la plateforme Data Hub. Vos principales missions Expertise et évolution de la plateforme • Réaliser des études techniques autour de l'écosystème Cloudera CDP. • Accompagner le projet de montée de version de la plateforme Cloudera. • Analyser les impacts techniques et fonctionnels des évolutions envisagées. • Produire des dossiers d'architecture et des notes de cadrage. • Présenter les conclusions et recommandations aux interlocuteurs techniques et métiers. • Contribuer aux réflexions autour du Lakehouse, du Data Sharing, du Data Mesh et de l'interopérabilité entre plateformes Data. Exploitation et support de production • Assurer le support expert de niveau 3 sur l'ensemble de la plateforme Data Hub. • Prendre en charge les incidents complexes de production et participer aux cellules de crise. • Réaliser les analyses de causes racines et définir les plans de remédiation. • Accompagner les équipes DataOps de niveau 2. • Participer à la gestion des changements et aux opérations sensibles de production. Amélioration continue • Améliorer la robustesse, les performances et la sécurité de la plateforme. • Réaliser des travaux de Capacity Planning et de Performance Tuning. • Industrialiser et automatiser les processus d'administration et d'exploitation. • Contribuer à la sécurisation et au durcissement des systèmes. • Participer ponctuellement à des interventions en heures non ouvrées. Environnement technique Cloudera CDP Hadoop Cloudera MCO de plateformes Data Support N3 Linux RHEL Ansible AWX Talend Scripting Shell Kubernetes, Docker, OpenShift Git, GitLab, Jenkins Terraform, Python Java, Scala

Contexte de la mission : Dans le cadre de l'évolution de son environnement Data, notre client recherche un Expert Technique Cloudera afin de l'accompagner dans l'exploration et l'évaluation des fonctionnalités proposées par la plateforme. L'objectif est de bénéficier d'une expertise technique permettant d'identifier les possibilités offertes par Cloudera, d'évaluer leur pertinence au regard de l'infrastructure existante et de réaliser des Proof of Concept (POC) pour valider leur faisabilité et leur intérêt.

Dans le cadre de la transformation du système d'information du Groupe et de la modernisation de sa plateforme Data Hub, la Direction Transformation SI recherche un expert Data Platform afin de renforcer les équipes du Socle Data. Cette mission s'inscrit dans plusieurs chantiers stratégiques : • Mise en œuvre d'une approche Data Driven. • Accompagnement des travaux liés à la montée de version de la plateforme Cloudera. • Maintien en condition opérationnelle de la plateforme Data Hub du Groupe. • Accompagnement des évolutions technologiques autour des architectures événementielles. • Étude et intégration de technologies Lakehouse. • Travaux d'interopérabilité entre plateformes Data. • Réflexions autour des modèles de partage de données (Data Sharing). • Préparation de scénarios d'hybridation et d'évolution vers des approches proches du Data Mesh. L'objectif est d'accompagner les équipes métiers, projets et d'exploitation dans la mise en œuvre et l'évolution des services de la plateforme Data Hub. Contribuer à : • L'évolution technique de la plateforme Data Hub. • La modernisation des services Data mis à disposition des consommateurs. • La réussite du projet de montée de version Cloudera. • Le support expert de niveau 3 sur les incidents de production. • L'amélioration continue de la robustesse, des performances et de la sécurité de la plateforme. • L'industrialisation et l'automatisation des processus d'administration et d'exploitation. La mission comprend : • Support N3 • Gestion des incidents de production • Participation aux cellules de crise • Gestion des changements • Capacity Planning • Performance Tuning • Maintien en condition opérationnelle • Sécurisation et durcissement des systèmes • Interventions HNO ponctuelles

Nous recherchons un Expert Cloudera pour intervenir sur une plateforme Data à grande échelle, dans un contexte de modernisation et d'évolution du SI. Vous rejoindrez une équipe en charge d'un Data Hub et interviendrez aussi bien sur l'administration et l'exploitation de la plateforme Cloudera que sur ses évolutions techniques. La mission comporte une forte dimension production, avec des enjeux importants de disponibilité, de performance et de fiabilité. Vos missions Au quotidien, vous serez notamment amené(e) à : Administrer et assurer le maintien en condition opérationnelle de la plateforme Cloudera CDP / Hadoop. Participer aux travaux de montée de version et d'évolution de la plateforme Cloudera. Assurer le support N3 et intervenir sur les incidents complexes de production. Analyser les causes racines des incidents et mettre en place les actions correctives. Travailler sur les sujets de performance, capacity planning, sécurité et fiabilisation de la plateforme. Automatiser et industrialiser les opérations d'administration avec Ansible, AWX et Shell. Réaliser des études techniques et accompagner les évolutions de l'écosystème Data. Participer progressivement aux réflexions autour des architectures événementielles, du Lakehouse, Data Sharing et Data Mesh. Accompagner les équipes DataOps et les différents utilisateurs de la plateforme. Des interventions ponctuelles en heures non ouvrées peuvent être nécessaires dans le cadre d'opérations sensibles de production. Environnement technique Compétences principales : Cloudera CDP Hadoop Flink Linux / RHEL Ansible / AWX Shell Talend Environnement complémentaire : Kubernetes / OpenShift Docker Git / GitLab Jenkins Terraform Python Java / Scala

Dans le cadre d'une intervention chez un grand compte niortais, nous recherchons un(e) Administrateur Big Data / Ingénieur DataOps N3 pour intervenir sur une plateforme Data Hub critique, avec de forts enjeux de disponibilité, de performance et de stabilité. Missions principales : Piloter les études techniques et contribuer à l'architecture de l'écosystème Big Data. Assurer l'exploitation globale et le maintien en conditions opérationnelles (MCO). Garantir la disponibilité, la stabilité et les performances de la plateforme. Assurer le support technique expert de niveau 3. Analyser les incidents complexes et gérer les incidents majeurs. Participer à l'évolution et à l'optimisation des infrastructures Data. Intervenir ponctuellement en horaires non ouvrés (HNO). Compétences techniques recherchées : Big Data : Hadoop, Cloudera, administration de clusters. Systèmes : Linux, Red Hat Enterprise Linux (RHEL). Automatisation : Ansible, scripting. DevOps / Conteneurs : Kubernetes, CI/CD, appréciés. Architecture Data : connaissance des architectures Data Mesh, appréciée.

Nous recherchons un consultant DevSec pour accompagner un projet de renforcement de la sécurité des environnements techniques. La mission porte sur le cadrage, l'étude d'architecture et l'identification des solutions de sécurisation adaptées. Le consultant devra comparer différentes approches, formuler des recommandations et contribuer à la mise en œuvre de la solution retenue. Il interviendra en coordination avec les équipes techniques, sécurité et projet. Il participera également à la rédaction des livrables et à l'accompagnement des équipes opérationnelles.

Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data

Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.

Mission principale Administrateur technique responsable du maintien des outils de cartographie, de l'alimentation et enrichissement des cartographies fonctionnelles et techniques, à travers l'interconnexion entre le dictionnaire de données (OpenMetadata), le catalogue de données métier (Istya), et les produits de la Plateforme Sécurisée des Données (Datalake, requêteur sécurisé des données Odylac, écosystème Dataviz). Garantir que les outils sont correctement paramétrés, sécurisés, et exploitables (et donc documentés) avec pour cible leur transfert dans un centre d'exploitation dédié. Livrables Exploitation (OPS) Maintenir et déployer les configurations d'infrastructure et d'outils via Terraform et Ansible. Assurer le Maintien en Conditions Opérationnelles (MCO) des instances NiFi et des connecteurs OpenMetadata. Monitorer les pipelines d'ingestion et gérer la résolution des incidents techniques. Documenter l'ensemble des actions d'exploitation dans des fiches d'exploitation. Alimentation du catalogue Développer et maintenir les flux Apache NiFi permettant l'ingestion de métadonnées techniques et fonctionnelles (dans OMD et Istya). Garantir le contrôle qualité, la transformation et la cohérence des données entrantes. Connectivité produits data et catalogue Améliorer et étendre la connectivité entre le Datalake existant et OpenMetadata (extraction de schéma, profilage de données). Étendre la couverture de cartographie automatique aux autres services Data de la Plateforme Sécurisée des Données.

Dans le cadre de la transformation de son système d'information et de la modernisation de sa plateforme Data, notre client recherche un Expert Data Platform Cloudera afin de renforcer ses équipes Socle Data. Vous interviendrez sur une plateforme Data stratégique, avec des enjeux majeurs de disponibilité, de performance, de sécurité et d'évolution technologique. Vos principales missions seront les suivantes : Expertise et évolution de la plateforme : réaliser des études techniques autour de Cloudera CDP, contribuer aux projets de montée de version et accompagner la modernisation des services Data. Support et exploitation : assurer le support expert de niveau 3, analyser les incidents complexes, participer aux cellules de crise et définir les plans de remédiation. Maintien en condition opérationnelle : garantir la stabilité, la performance et la sécurité de la plateforme Data Hub. Industrialisation : automatiser les tâches d'administration et d'exploitation à l'aide d'Ansible, AWX et de scripts Shell. Optimisation : contribuer au capacity planning, au performance tuning, à la gestion des changements et au durcissement des systèmes. Architecture et innovation : participer aux réflexions sur les architectures événementielles, les solutions Lakehouse, le Data Sharing et les approches Data Mesh. Collaboration : accompagner les équipes DataOps et contribuer à la rédaction de dossiers d'architecture et de recommandations techniques. Des interventions ponctuelles en heures non ouvrées (HNO) pourront être nécessaires dans le cadre d'opérations sensibles de production.

#StormYourCareer Rejoins STORM GROUP et grandis avec nous ! Pilote la transformation Big Data du pôle Actuariat et modernise les chaînes de production financière vers DatabricksDans le cadre d'un projet stratégique de transformation Data chez l'un de nos grands comptes du secteur de l'assurance, nous recherchons un(e) Business Analyst & Data Engineer Big Data. Au sein des équipes SI Actuariat et Performance, ton rôle sera hybride, structurant et à forte valeur ajoutée : tu feras la jonction directe entre les directions métiers (actuaires, comptables, financiers) et les équipes IT pour moderniser les chaînes de traitement d'inventaire, fiabiliser les données réglementaires (IFRS 17, Solvabilité II) et orchestrer la migration progressive de l'écosystème Hadoop/Spark vers Databricks. Ton future environnementTu évolueras au cœur du pôle SI Actuariat de notre partenaire assurance, au croisement de la finance quantitative, de l'ingénierie logicielle distribuée et des architectures Cloud. En interface permanente avec les actuaires, les responsables du pilotage financier et les architectes Data, tu seras le moteur de l'évolution des plateformes. C'est le cadre idéal pour manipuler des volumes massifs de données financières, optimiser des traitements complexes sous Spark et concevoir des pipelines modernes sur Databricks au sein d'un environnement agile. Tes missions clésAnalyse Fonctionnelle, Cadrage & Conduite du Changement (Mode CONSEIL & BUILD) : Recueillir, analyser et challenger les besoins des équipes métiers (actuaires, comptables, responsables d'inventaire). Modéliser les règles de gestion et rédiger les spécifications fonctionnelles détaillées adaptées aux architectures Big Data. Traduire les exigences métier liées à la norme IFRS 17 et au suivi des situations financières en solutions techniques performantes. Garantir l'adéquation continue entre les traitements implémentés et les objectifs opérationnels de production des inventaires. Accompagner les utilisateurs métiers dans la prise en main des nouvelles solutions et piloter la conduite du changement. Data Engineering & Migration Hadoop vers Databricks (Mode TECH & MIGRATION) : Concevoir, développer et optimiser les pipelines de traitement de données distribués (Python, Scala, Apache Spark, Hadoop, HDFS, YARN). Analyser l'architecture des flux existants pour préparer, adapter et refondre les traitements vers la nouvelle plateforme Databricks (Cloud Azure ou AWS). Garantir la qualité, la traçabilité, l'exposition et la cohérence des référentiels de données actuarielles et financières. Automatiser et optimiser les performances des jobs de calcul batch et fil d'eau, en maîtrisant les requêtes complexes (SQL, NoSQL, scripting Linux). Qualité, Recette & Industrialisation (Mode RUN & QUALITÉ) : Élaborer et exécuter les stratégies de tests fonctionnels, techniques et de contrôle de qualité des données (data quality). Assurer la mise en production, la mise en place de la CI/CD, le suivi opérationnel des chaînes de production et la résolution des anomalies. Rédiger la documentation technique, fonctionnelle et la cartographie des règles de gestion pour pérenniser la connaissance. Ton profilFormation : Diplôme Bac+5 (Diplôme d'Ingénieur, Master 2 universitaire) en informatique, Data Engineering, mathématiques appliquées ou finance quantitative / actuariat. Expérience : Tu justifies d'une expérience confirmée de 5 à 10 ans sur des fonctions hybrides de Business Analyst Data, Data Engineer ou Consultant SI Actuariat/Finance. Expertise Technique Big Data Impérative : Solide expérience de développement et d'optimisation sous Apache Spark et l'écosystème Hadoop (HDFS, YARN). Pratique ou intérêt marqué pour la plateforme Databricks et son déploiement sur les environnements Cloud (Azure ou AWS). Maîtrise avancée de la programmation en Python et/ou Scala, ainsi qu'une excellente maîtrise du langage SQL et des bases de données distribuées. Connaissance des outils d'industrialisation, de scripting Linux et des pipelines CI/CD. Compétences Fonctionnelles Métier : Maîtrise des démarches de Business Analysis (ateliers, cahiers des charges, spécifications fonctionnelles). Connaissance indispensable des processus financiers, comptables ou actuariels, avec une bonne appréhension des enjeux des inventaires. Connaissance de la norme IFRS 17 (et idéalement des exigences Solvabilité II). Pratique des méthodologies Agile / Scrum. Langues : Anglais professionnel opérationnel. Tes atoutsDouble Casquette Technico-Fonctionnelle : Aisance remarquable pour dialoguer avec les actuaires tout en traduisant leurs formules complexes en code distribué performant. Esprit Analytique et Rigueur : Sens aigu du détail et exigence sur la précision des données financières produites. Posture Proactive et Travail en Transverse : Capacité à faire avancer les projets de transformation en fédérant les acteurs IT et métiers autour d'objectifs communs. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business et accompagnement aux certifications Databricks / Cloud. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation approfondie (Cas pratique d'analyse fonctionnelle sur un besoin IFRS 17, conception d'un pipeline Spark/Databricks sous Python/Scala et requêtes SQL d'optimisation). Rencontre finale pour validation du fit et projection sur la mission. Prêt à rejoindre une équipe d'experts engagés ? N'hésite plus, rejoins la Storm Team ! Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Contexte de la mission Au sein de l'équipe Socles Data / DataHub, notre client recherche un profil expérimenté afin de renforcer l'expertise autour de Talend et de contribuer au maintien, à la sécurisation, à l'évolution et à la modernisation de la plateforme Data. La priorité de la mission porte sur l'expertise Talend. Une contribution aux développements et aux évolutions du Socle Générique est également prévue en complément. Vos missions Expertise Talend : • Assurer un rôle de référent technique sur Talend 8. • Accompagner les équipes utilisatrices et apporter un support aux développements Talend. • Analyser, diagnostiquer et résoudre les anomalies liées aux traitements Talend. • Maîtriser les spécificités des traitements Big Data / Spark. • Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. • Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. • Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item et .properties, les composants et leurs attributs. • Contribuer au maintien des composants custom Talend. • Créer et suivre les Cases Talend lorsque nécessaire. • Diffuser les bonnes pratiques et accompagner les Tech Leads. Contribution au Socle Générique : • Développement en Java / Spring Boot. • Analyse et correction d'anomalies. • Contribution aux évolutions techniques et à la modernisation du socle. Environment technique : • Talend 8 • Cloudera / CDP • Hadoop / Big Data • Maven • Git / CI-CD • SQL • Java / Spring Boot