Find your next tech and IT Job or contract Apache Hive

Au sein de la DSI Corporate d'un grand groupe bancaire, la direction informatique fournit l'ensemble des solutions applicatives pour les entités opérationnelles et les directions centrales du siège. Dans ce cadre, nous recherchons un Data Engineer Hadoop / PySpark pour faire évoluer le Datalake du domaine. En lien étroit avec les équipes de production applicative et DevOps, vous prendrez en charge les évolutions techniques des flux de données et la mise en œuvre de nouvelles ingestions. Missions Ingestion & Data Prep : Mettre en œuvre de nouvelles alimentations de données et réaliser les travaux de préparation et transformation (Data Prep). Maintenance & Évolution : Maintenir et faire évoluer les pipelines de données existants (PySpark, Shell scripting). Interface DevOps : Structurer et transmettre à l'équipe DevOps les demandes relatives aux évolutions d'infrastructure et de plateforme. Documentation : Rédiger des spécifications techniques claires et précises.

Notre client dans le secteur Banque et finance recherche un/une support risque de marché AWS H/F Description de la mission : Contexte de la mission et livrables associés : Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux (pre-trade, post-trade, risques) dans un contexte dynamique, innovant et international. L'équipe émettrice du cahier des charges de cette mission est la « filière Transversale Risk et GMD » de capital Market IT pour un accompagnement au Support Applicatif des risques de marché. La mission consiste à supporter les activités du suivi et de gestion des risques de marché (PnL, Var, Greeks, Stress, Market data, Pricing setups & Referentials, Standard Approach), et tout particulièrement sur la plateforme MASAI – support applicatif L'équipe Support MASAI repose sur l'organisation suivante: - 7p sur le support MASAI -- 4/3 Paris/Singapour Elle couvre la plage horaire suivante : WW : 2am-7pm CET (en shift) - spécifique Paris : 9am-7pm (en shift) La mission se compose de 2 axes de support : - Le support de la plateforme de production, des activités de production opérées sur cette plateforme et l'ensemble des utilisateurs . - Le support / accompagnement au programme MASAï, programme d'investissement pluriannuel qui a pour ambition la refonte complète du SI des Risques de marché Perimetre applicatif : - Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana / Promotheus et prochainement Cloud AWS (EMR, Glacier, RedShift, S3, RDS, Dynamo, Athena, EC2, ECS, Lambda, Airflow, Cloudwatch, Glue, Kafka) - Secondaire : SQL, Unix, CTRLM Perimetre fonctionnel : - Business process : Pnl, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market - Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs: - Mondiale mais le site principal est Paris - environ 300 à 400 utilisateurs. Détails de la prestation Support applicatif risques de marché Il s'agit d'une prestation de support technique et fonctionnel (N1 et N2 voire N3) sur les systèmes informatiques de suivi et d'analyse des risques de marché. La mission se déroulera sous la responsabilité d'un responsable d'équipe support Paris. Les contacts seront fréquents avec les multiples contributeurs IT responsables de l'implémentation des composants (Grid Pricing, Big Data, Data Analytics & UI, …) présents à Paris et Singapour Prestation attendue dans le cadre de support de production: - Garantir quotidiennement le bon fonctionnement de la production afin de délivrer les indicateurs à temps à nos clients (Risk Management, CASA, Front & Back-Office) - Collaborer avec l'ensemble des autres équipes IT (des différentes applications MRI et des systèmes contributeurs) et les pôles d'infrastructures afin de résoudre tout dysfonctionnement des applications MRI - Gérer les incidents et les demandes (technique/fonctionnel) - Participer à la gestion du PSI - Réaliser toutes les activités planifiées en HNO et les astreintes - Fonctionner en accord avec les dispositifs de support à l'international (SGP, NY, HK, …) - Rédiger la documentation, les procédures opérationnelles et les support de formation (en anglais) - Saisir et suivre le backlog de tickets et réaliser des reporting périodiques sur les activités de support - Contribuer au processus d'amélioration continu incluant la mise en place d'un processus de revue opérationnel et de qualité - Suivre les plans d'actions des problèmes jusqu'à leur clôture - Participer aux différentes instances de gouvernance du Run (Daily, WMC, Release meeting, …) - Contribuer à la gestion quotidienne de l'équipe de support MRI Les applications market risk seront déployées sur l'ensemble des sites à l'international et est utilisée par l'ensemble de la filière. Livrables attendus: - Morning check, - Monitoring : batchs, application, infrastructure - Extraction reporting en batch et sur demande d'utilisateur - Documentation support à jour en langue anglaise - Contribution au processus d'amélioration continu et à la réduction des problèmes (ITIL) . - Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée , …) - Contribution aux supports pour les différentes instances de gouvernance produits à temps - Suivi des plans d'actions d'amélioration continue de l'équipe - Tickets maintenance à jour et correctement escaladés à la MOE - Cadrage et spécifications des besoins du support - Retour d'expériences des phases d'UAT et autre parallèles run - Participation aux weekends de déploiement et autres activités. Compétences / Qualités indispensables : aws Informations concernant le télétravail : Oui — 2 jours/semaine

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Nous recherchons pour un de nos clients basé en IDF, un Analyste/Ingénieur Big Data Scala - Spark pour une mission freelance (longue visibilité) ContexteDans le cadre d'un appel d'offres , notre client recherche un Analyste / Ingénieur Big Data Scala - Spark pour renforcer une équipe en charge de la gestion et de l'exploitation d'une plateforme Big Data. Démarrage : Début novembre 2026 Missions :Au sein de l'équipe, vous interviendrez principalement sur : Le maintien en condition opérationnelle des traitements Big Data. Le suivi de production et l'exploitation quotidienne des flux de données. L'analyse et la correction des incidents. La fiabilisation et l'amélioration de la qualité des données. L'analyse technique de traitements existants. La compréhension et la reprise de développements conçus par d'autres équipes afin d'en assurer les corrections et évolutions.

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Je recherche un Ingénieur Big Data Hadoop / Cloudera CDP pour intervenir sur la construction, l'administration et l'évolution de plateformes Hadoop dans un contexte Agile et DevOps. Votre missionVous souhaitez évoluer au sein d'un environnement Big Data de grande envergure et contribuer à l'évolution de plateformes stratégiques ? Vous participerez également à l'amélioration des Data Services et serez force de proposition sur les évolutions techniques et les bonnes pratiques. Vos principales responsabilitésDéployer et installer des clusters Hadoop Cloudera CDP. Administrer et maintenir les plateformes Big Data en production. Installer, configurer et faire évoluer les composants Hadoop. Réaliser les montées de version des distributions et composants. Assurer le monitoring, la supervision et l'optimisation des clusters. Gérer la sécurité des plateformes (Kerberos, Ranger/Sentry, gestion des accès). Mettre en place les environnements de développement, recette et test. Assurer le support technique de niveau N2/N3. Automatiser les déploiements via Ansible, Jenkins et les outils CI/CD. Participer à l'amélioration continue des plateformes et aux projets d'évolution. Environnement techniqueBig Data Cloudera Data Platform (CDP) Hadoop HDFS Spark Hive Kafka ZooKeeper Hue Anaconda Administration & Sécurité Cloudera Manager Ambari Kerberos Ranger / Sentry Linux (RedHat, CentOS) DevOps Jenkins Ansible Git CI/CD Méthodologies Agile Scrum SAFe Kanban DevOps Profil recherchéVous justifiez d'une expérience significative dans l'administration de plateformes Big Data et maîtrisez les environnements Hadoop. Vous possédez notamment : Une solide expérience sur Cloudera CDP. Une bonne maîtrise de l'administration de clusters Hadoop. Une expérience des installations, upgrades et migrations de plateformes. Une bonne connaissance des problématiques de sécurité (Kerberos, Ranger/Sentry). Une expérience des outils d'automatisation et de CI/CD. Une excellente maîtrise des environnements Linux. Les qualités qui feront la différenceEsprit d'analyse et de synthèse. Autonomie et sens des responsabilités. Curiosité technique et veille technologique. Force de proposition. Excellent relationnel et goût du travail en équipe. Anglais professionnel. Pourquoi rejoindre mon client ?Des projets Big Data à forte valeur ajoutée. Un environnement technique stimulant. Des technologies de pointe. Une équipe experte et collaborative. Une culture orientée innovation et amélioration continue. Vous souhaitez relever ce défi ? Envoyez-nous votre CV et échangeons sur votre prochain projet !

Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot