Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

#StormYourCareer Rejoins STORM GROUP et grandis avec nous ! Pilote la transformation Big Data du pôle Actuariat et modernise les chaînes de production financière vers DatabricksDans le cadre d'un projet stratégique de transformation Data chez l'un de nos grands comptes du secteur de l'assurance, nous recherchons un(e) Business Analyst & Data Engineer Big Data. Au sein des équipes SI Actuariat et Performance, ton rôle sera hybride, structurant et à forte valeur ajoutée : tu feras la jonction directe entre les directions métiers (actuaires, comptables, financiers) et les équipes IT pour moderniser les chaînes de traitement d'inventaire, fiabiliser les données réglementaires (IFRS 17, Solvabilité II) et orchestrer la migration progressive de l'écosystème Hadoop/Spark vers Databricks. Ton future environnementTu évolueras au cœur du pôle SI Actuariat de notre partenaire assurance, au croisement de la finance quantitative, de l'ingénierie logicielle distribuée et des architectures Cloud. En interface permanente avec les actuaires, les responsables du pilotage financier et les architectes Data, tu seras le moteur de l'évolution des plateformes. C'est le cadre idéal pour manipuler des volumes massifs de données financières, optimiser des traitements complexes sous Spark et concevoir des pipelines modernes sur Databricks au sein d'un environnement agile. Tes missions clésAnalyse Fonctionnelle, Cadrage & Conduite du Changement (Mode CONSEIL & BUILD) : Recueillir, analyser et challenger les besoins des équipes métiers (actuaires, comptables, responsables d'inventaire). Modéliser les règles de gestion et rédiger les spécifications fonctionnelles détaillées adaptées aux architectures Big Data. Traduire les exigences métier liées à la norme IFRS 17 et au suivi des situations financières en solutions techniques performantes. Garantir l'adéquation continue entre les traitements implémentés et les objectifs opérationnels de production des inventaires. Accompagner les utilisateurs métiers dans la prise en main des nouvelles solutions et piloter la conduite du changement. Data Engineering & Migration Hadoop vers Databricks (Mode TECH & MIGRATION) : Concevoir, développer et optimiser les pipelines de traitement de données distribués (Python, Scala, Apache Spark, Hadoop, HDFS, YARN). Analyser l'architecture des flux existants pour préparer, adapter et refondre les traitements vers la nouvelle plateforme Databricks (Cloud Azure ou AWS). Garantir la qualité, la traçabilité, l'exposition et la cohérence des référentiels de données actuarielles et financières. Automatiser et optimiser les performances des jobs de calcul batch et fil d'eau, en maîtrisant les requêtes complexes (SQL, NoSQL, scripting Linux). Qualité, Recette & Industrialisation (Mode RUN & QUALITÉ) : Élaborer et exécuter les stratégies de tests fonctionnels, techniques et de contrôle de qualité des données (data quality). Assurer la mise en production, la mise en place de la CI/CD, le suivi opérationnel des chaînes de production et la résolution des anomalies. Rédiger la documentation technique, fonctionnelle et la cartographie des règles de gestion pour pérenniser la connaissance. Ton profilFormation : Diplôme Bac+5 (Diplôme d'Ingénieur, Master 2 universitaire) en informatique, Data Engineering, mathématiques appliquées ou finance quantitative / actuariat. Expérience : Tu justifies d'une expérience confirmée de 5 à 10 ans sur des fonctions hybrides de Business Analyst Data, Data Engineer ou Consultant SI Actuariat/Finance. Expertise Technique Big Data Impérative : Solide expérience de développement et d'optimisation sous Apache Spark et l'écosystème Hadoop (HDFS, YARN). Pratique ou intérêt marqué pour la plateforme Databricks et son déploiement sur les environnements Cloud (Azure ou AWS). Maîtrise avancée de la programmation en Python et/ou Scala, ainsi qu'une excellente maîtrise du langage SQL et des bases de données distribuées. Connaissance des outils d'industrialisation, de scripting Linux et des pipelines CI/CD. Compétences Fonctionnelles Métier : Maîtrise des démarches de Business Analysis (ateliers, cahiers des charges, spécifications fonctionnelles). Connaissance indispensable des processus financiers, comptables ou actuariels, avec une bonne appréhension des enjeux des inventaires. Connaissance de la norme IFRS 17 (et idéalement des exigences Solvabilité II). Pratique des méthodologies Agile / Scrum. Langues : Anglais professionnel opérationnel. Tes atoutsDouble Casquette Technico-Fonctionnelle : Aisance remarquable pour dialoguer avec les actuaires tout en traduisant leurs formules complexes en code distribué performant. Esprit Analytique et Rigueur : Sens aigu du détail et exigence sur la précision des données financières produites. Posture Proactive et Travail en Transverse : Capacité à faire avancer les projets de transformation en fédérant les acteurs IT et métiers autour d'objectifs communs. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business et accompagnement aux certifications Databricks / Cloud. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Notre processus de sélectionÉchange introductif avec un chargé de recrutement. Entretien métier avec évaluation approfondie (Cas pratique d'analyse fonctionnelle sur un besoin IFRS 17, conception d'un pipeline Spark/Databricks sous Python/Scala et requêtes SQL d'optimisation). Rencontre finale pour validation du fit et projection sur la mission. Prêt à rejoindre une équipe d'experts engagés ? N'hésite plus, rejoins la Storm Team ! Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Le contexteNotre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.

Contexte : Au sein de l'équipe Socles Data / DataHub, nous recherchons un profil expérimenté pour renforcer l'expertise autour de Talend et contribuer au maintien, à l'évolution et à la modernisation de notre plateforme Data. Le poste comporte deux dimensions : - Priorité : expertise et maîtrise de Talend - En complément : contribution aux développements et évolutions du Socle Générique MISSIONS: 1. Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item et.properties, les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. 2. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ;

Au sein de l'équipe Socles Data / DataHub, nous recherchons un profil expérimenté pour renforcer l'expertise autour de Talend et contribuer au maintien, à l'évolution et à la modernisation de notre plateforme Data. Le poste comporte deux dimensions : Priorité : expertise et maîtrise de Talend En complément : contribution aux développements et évolutions du Socle Générique La société devra fournir les prestations suivantes : Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item et .properties, les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ;

🚀 Qui sommes-nous ? Finaxys est un cabinet de conseil spécialisé dans les secteurs Banque, Finance et Assurance. Depuis plus de 15 ans, nous intervenons auprès des plus grandes institutions telles que BNP Paribas, Crédit Agricole, Société Générale, AXA, Malakoff Humanis, etc. en proposant des solutions technologiques innovantes (IA, Machine Learning, Data, Cloud, DevSecOps, etc.). Notre mission ? Accompagner nos clients dans leur transformation digitale et répondre aux défis IT les plus complexes grâce à l'expertise de nos équipes. 🎯 Votre mission : En tant que DataOps, vous rejoindrez les équipes techniques de nos clients grands comptes pour : Industrialiser et automatiser les déploiements avec Ansible Mettre en production de nouveaux clusters et mettre à l'échelle les clusters existants (scale horizontal et vertical) Documenter les offres Apporter une expertise technique aux utilisateurs de la plateforme Participer à la définition des architectures des futures briques de la plateforme Streaming Construire un MVP de ces services puis enrichir l'offre Prendre des éléments de la backlog qui ont été formalisés par le Squad Lead et mettre en œuvre les éléments de la backlog Réaliser l'intégration dans le SI (observabilité, alerting, gestion des droits, backup, etc) Rendre compte des difficultés auxquelles il est confronté et proposer des solutions pour les résoudre Participer à l'ensemble des rituels agiles de la Squad (Rétro, Démos, Pi Planning) Environnement technique / fonctionnel : Python, Java, Hadoop, Spark, Kafka, Flink, Kubernetes, Gitlab, Ansible, Vault, Artifactory, CI/CD, Jira

Dans le cadre du renforcement d'une équipe en charge d'une plateforme Data, nous recherchons un Expert Talend / Data Engineer Senior pour intervenir sur le maintien, l'évolution et la modernisation de l'écosystème Data. Le poste comporte deux dimensions : une expertise forte sur Talend, qui constitue le cœur de la mission, et une contribution plus ponctuelle aux développements d'un socle technique générique. Tes missions principales : Assurer un rôle de référent technique Talend Accompagner les équipes de développement et apporter un support sur les traitements Talend Analyser et résoudre les anomalies liées aux flux et traitements Data Intervenir sur des traitements Big Data / Spark Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3 Maintenir et faire évoluer les projets de référence, patterns et composants partagés Travailler sur les variables de contexte, joblets, métadonnées et standards de développement Comprendre et manipuler la structure interne des projets Talend Maintenir et faire évoluer les composants custom Suivre les incidents ou demandes éditeur lorsque nécessaire Diffuser les bonnes pratiques auprès des équipes et Tech Leads Contribuer ponctuellement aux développements Java / Spring Boot Participer à l'analyse et à la correction d'anomalies sur le socle technique Accompagner les évolutions et travaux de modernisation de la plateforme Data

• Missions En charge de l'expertise technique des solutions Data et IA, vous aurez la responsabilité d'assurer la cohérence de l'intégration des produits dans le respect des règles de sécurité et de l'architecture du SI. Dans le cadre des équipes OPS DATA / IA, vous aurez un lien fonctionnel étroit avec les équipes métiers et les équipes de la filière TSI DATA et TSI IA. La mission d'expertise aura pour but d'assurer la cohérence des solutions dans l'environnement actuel et la transformation des solutions pour les maintenir up to date avec l'état de l'art du marché. Vous assurerez le support Niveau 2 du périmètre aux équipes de production. • Responsabilités : Contribuer au bon déroulement des différentes phases du projet, et dans ce cadre vous assurerez : • Contribuer aux projets informatiques sur les dimensions qui relèvent du champ d'expertise Data / IA. • Conseiller et assister dans le choix et la mise en œuvre des solutions retenues • Assurer l'exploitabilité dans le respect des règles de sécurité et d'architecture du SI. • Garantir la pertinence et la pérennité des solutions techniques et/ou fonctionnelles dont vous aurez la charge afin de permettre l'évolution et le maintien en condition opérationnelle de la solution. • Garantir que les moyens de mesure de qualité de services sont opérationnels et disponibles (Quantification/Qualimétrie de fonctionnement)

Dans le cadre de plusieurs projets stratégiques de mise en œuvre d'assiettes communes pour les usages Finance et Risques, nous sommes à la recherche d'un(e) Data Engineer confirmé(e). Vos missions : Architecture & Conception : Contribuer activement aux choix d'architecture et de conception technique en étroite collaboration avec les architectes, Tech Leads et développeurs. Développement & Implémentation : Mettre en œuvre et développer les solutions techniques Big Data retenues pour fiabiliser et industrialiser les flux de données. Industrialisation & Qualité : Assurer l'industrialisation des développements et des tests en s'appuyant sur des solutions Open Source et l'ordonnancement des flux (UC4). Collaboration Internationale : Travailler au sein d'un environnement anglophone dynamique en appliquant rigoureusement les méthodologies Agile.

Contexte Dans le cadre de la transformation du système d'information du Groupe et de la modernisation de sa plateforme Data Hub, la Direction Transformation SI recherche un expert Data Platform afin de renforcer les équipes du Socle Data. Cette mission s'inscrit dans plusieurs chantiers stratégiques : • Mise en œuvre d'une approche Data Driven. • Accompagnement des travaux liés à la montée de version de la plateforme Cloudera. • Maintien en condition opérationnelle de la plateforme Data Hub du Groupe . • Accompagnement des évolutions technologiques autour des architectures événementielles. • Étude et intégration de technologies Lakehouse. • Travaux d'interopérabilité entre plateformes Data. • Réflexions autour des modèles de partage de données (Data Sharing). • Préparation de scénarios d'hybridation et d'évolution vers des approches proches du Data Mesh. L'objectif est d'accompagner les équipes métiers, projets et d'exploitation dans la mise en œuvre et l'évolution des services de la plateforme Data Hub. MISSIONS : • L'évolution technique de la plateforme Data Hub. • La modernisation des services Data mis à disposition des consommateurs. • La réussite du projet de montée de version Cloudera. • Le support expert de niveau 3 sur les incidents de production. • L'amélioration continue de la robustesse, des performances et de la sécurité de la plateforme. • L'industrialisation et l'automatisation des processus d'administration et d'exploitation. Sous la responsabilité du Product Owner du domaine et piloté par un backlog de demandes, le prestataire sera amené à : Études et expertise • Réaliser des études techniques d'évolution autour de l'écosystème Cloudera. • Analyser les impacts techniques et fonctionnels des évolutions envisagées. • Produire des dossiers d'architecture et notes de cadrage. • Présenter les conclusions et recommandations aux responsables techniques et métiers. Exploitation et support expert • Assurer le support de niveau 3 sur l'ensemble de la plateforme Data Hub. • Participer aux cellules de crise lors d'incidents majeurs de production. • Réaliser les analyses de causes racines et définir les plans de remédiation. • Accompagner les équipes d'exploitation DataOps N2. __________ Interventions • Possibilité d'interventions en Heures Non Ouvrées (HNO). • Participation à des opérations sensibles de production. __________ Environnement technique Expertise obligatoire • Cloudera CDP • Administration et exploitation de clusters Hadoop Cloudera • Maintien en condition opérationnelle de plateformes Data • Support expert N3 Niveau avancé • Linux Red Hat Enterprise Linux (RHEL) • Ansible • AWX • Talend • Scripting Shell Compétences appréciées • Kubernetes • Docker • Git • GitLab • Jenkins • OpenShift • Terraform • Python • Java • Scala __________ Activités d'exploitation La mission comprend : • Support N3 • Gestion des incidents de production • Participation aux cellules de crise • Gestion des changements • Capacity Planning • Performance Tuning • Maintien en condition opérationnelle • Sécurisation et durcissement des systèmes • Interventions HNO ponctuelles __________ Profil recherché Séniorité • Consultant confirmé __________ Critères de sélection Critères obligatoires • Expérience significative sur Cloudera CDP. • Expérience d'administration et d'exploitation de plateformes Hadoop. • Expertise Linux RHEL. • Expérience en support de production de niveau 3. Critères différenciants • Expérience Data Driven / Data Mesh. • Connaissance des architectures événementielles. • Connaissance des solutions Lakehouse. • Connaissance des environnements Kubernetes et OpenShift. • Expérience dans des environnements critiques à forts enjeux de disponibilité.

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).

Notre client dans le secteur Banque et finance recherche un/une support risque de marché AWS H/F Description de la mission : Contexte de la mission et livrables associés : Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux (pre-trade, post-trade, risques) dans un contexte dynamique, innovant et international. L'équipe émettrice du cahier des charges de cette mission est la « filière Transversale Risk et GMD » de capital Market IT pour un accompagnement au Support Applicatif des risques de marché. La mission consiste à supporter les activités du suivi et de gestion des risques de marché (PnL, Var, Greeks, Stress, Market data, Pricing setups & Referentials, Standard Approach), et tout particulièrement sur la plateforme MASAI – support applicatif L'équipe Support MASAI repose sur l'organisation suivante: - 7p sur le support MASAI -- 4/3 Paris/Singapour Elle couvre la plage horaire suivante : WW : 2am-7pm CET (en shift) - spécifique Paris : 9am-7pm (en shift) La mission se compose de 2 axes de support : - Le support de la plateforme de production, des activités de production opérées sur cette plateforme et l'ensemble des utilisateurs . - Le support / accompagnement au programme MASAï, programme d'investissement pluriannuel qui a pour ambition la refonte complète du SI des Risques de marché Perimetre applicatif : - Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana / Promotheus et prochainement Cloud AWS (EMR, Glacier, RedShift, S3, RDS, Dynamo, Athena, EC2, ECS, Lambda, Airflow, Cloudwatch, Glue, Kafka) - Secondaire : SQL, Unix, CTRLM Perimetre fonctionnel : - Business process : Pnl, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market - Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs: - Mondiale mais le site principal est Paris - environ 300 à 400 utilisateurs. Détails de la prestation Support applicatif risques de marché Il s'agit d'une prestation de support technique et fonctionnel (N1 et N2 voire N3) sur les systèmes informatiques de suivi et d'analyse des risques de marché. La mission se déroulera sous la responsabilité d'un responsable d'équipe support Paris. Les contacts seront fréquents avec les multiples contributeurs IT responsables de l'implémentation des composants (Grid Pricing, Big Data, Data Analytics & UI, …) présents à Paris et Singapour Prestation attendue dans le cadre de support de production: - Garantir quotidiennement le bon fonctionnement de la production afin de délivrer les indicateurs à temps à nos clients (Risk Management, CASA, Front & Back-Office) - Collaborer avec l'ensemble des autres équipes IT (des différentes applications MRI et des systèmes contributeurs) et les pôles d'infrastructures afin de résoudre tout dysfonctionnement des applications MRI - Gérer les incidents et les demandes (technique/fonctionnel) - Participer à la gestion du PSI - Réaliser toutes les activités planifiées en HNO et les astreintes - Fonctionner en accord avec les dispositifs de support à l'international (SGP, NY, HK, …) - Rédiger la documentation, les procédures opérationnelles et les support de formation (en anglais) - Saisir et suivre le backlog de tickets et réaliser des reporting périodiques sur les activités de support - Contribuer au processus d'amélioration continu incluant la mise en place d'un processus de revue opérationnel et de qualité - Suivre les plans d'actions des problèmes jusqu'à leur clôture - Participer aux différentes instances de gouvernance du Run (Daily, WMC, Release meeting, …) - Contribuer à la gestion quotidienne de l'équipe de support MRI Les applications market risk seront déployées sur l'ensemble des sites à l'international et est utilisée par l'ensemble de la filière. Livrables attendus: - Morning check, - Monitoring : batchs, application, infrastructure - Extraction reporting en batch et sur demande d'utilisateur - Documentation support à jour en langue anglaise - Contribution au processus d'amélioration continu et à la réduction des problèmes (ITIL) . - Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée , …) - Contribution aux supports pour les différentes instances de gouvernance produits à temps - Suivi des plans d'actions d'amélioration continue de l'équipe - Tickets maintenance à jour et correctement escaladés à la MOE - Cadrage et spécifications des besoins du support - Retour d'expériences des phases d'UAT et autre parallèles run - Participation aux weekends de déploiement et autres activités. Compétences / Qualités indispensables : aws Informations concernant le télétravail : Oui — 2 jours/semaine

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

Contexte Dans le cadre du renforcement d'une équipe Data agile, nous recherchons un Data Engineer / Développeur Big Data Senior pour intervenir sur une plateforme de données à fort volume. Vous participerez à la conception, au développement et à l'amélioration continue de solutions permettant de valoriser et exploiter des données en temps réel et en batch. Vos missions Développer et maintenir de nouvelles fonctionnalités au sein d'une équipe agile. Concevoir et faire évoluer les architectures de traitement de données. Participer aux choix techniques et accompagner les autres membres de l'équipe. Garantir la qualité, la performance et la maintenabilité du code. Mettre en place et améliorer les processus d'automatisation des tests. Contribuer à l'amélioration continue des pratiques de développement et d'exploitation Environnement technique Big Data : Spark (batch & streaming), Kafka Langages : Scala, Java API : Conception et développement d'API Data Platform : Hadoop, HDFS, Hive, HBase, Phoenix DevOps & CI/CD : GitLab CI/CD, Jenkins, Artifactory Qualité & Monitoring : SonarQube, ELK, Grafana Tests : JUnit, Xray, automatisation des tests Profil recherché Expérience solide en développement Big Data et architectures distribuées. Maîtrise de Spark, Kafka et de l'écosystème Hadoop. Bonne culture DevOps et intégration continue. Expérience des environnements Agile/Scrum. Esprit d'équipe, capacité à challenger les besoins et à être force de proposition. Sens de la qualité, de l'automatisation et de l'amélioration continue. Atouts Expérience sur des projets de traitement de données à forte volumétrie. Sensibilité aux problématiques de performance, scalabilité et fiabilité des plateformes Data. Mission idéale pour un profil souhaitant intervenir sur un environnement Big Data moderne, au sein d'une équipe agile mature et orientée qualité.

Contexte Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet. MISSIONS Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka. Profil recherché : Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants : - Architecture Kafka et Confluent ; - Installation et administration de plateformes Kafka ; - Sécurisation des échanges ; - Performance et tuning ; - Mise en œuvre de connecteurs Kafka Connect ; - Industrialisation et automatisation des déploiements ; - Supervision et exploitation ; - Accompagnement des équipes projet et transfert de compétences. - Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...; L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise. Environnement technique - technologique Environnement Socle Kafka : - Distribution Kafka Confluent et Strimzy - Langages de scripting et de developpement : Shell, Python, Json, - Systeme d'exploitation : Linux Redhat Autres environnements techniques: - Base de données : PostgreSQL - Hadoop : Cloudera - Data Streaming : IBM Infosphere CdC - Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware - Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, Competences Techniques Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...) Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire Langages de scripting et de developpement : Shell, Python, Json Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop Savoir Faire et savoir-être Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation) Autonomie Capacité à travailler en équipe Esprit d'analyse et de synthèse