Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

Au sein de la DSI Corporate d'un grand groupe bancaire, la direction informatique fournit l'ensemble des solutions applicatives pour les entités opérationnelles et les directions centrales du siège. Dans ce cadre, nous recherchons un Data Engineer Hadoop / PySpark pour faire évoluer le Datalake du domaine. En lien étroit avec les équipes de production applicative et DevOps, vous prendrez en charge les évolutions techniques des flux de données et la mise en œuvre de nouvelles ingestions. Missions Ingestion & Data Prep : Mettre en œuvre de nouvelles alimentations de données et réaliser les travaux de préparation et transformation (Data Prep). Maintenance & Évolution : Maintenir et faire évoluer les pipelines de données existants (PySpark, Shell scripting). Interface DevOps : Structurer et transmettre à l'équipe DevOps les demandes relatives aux évolutions d'infrastructure et de plateforme. Documentation : Rédiger des spécifications techniques claires et précises.

Notre client dans le secteur Banque et finance recherche un/une support risque de marché AWS H/F Description de la mission : Contexte de la mission et livrables associés : Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux (pre-trade, post-trade, risques) dans un contexte dynamique, innovant et international. L'équipe émettrice du cahier des charges de cette mission est la « filière Transversale Risk et GMD » de capital Market IT pour un accompagnement au Support Applicatif des risques de marché. La mission consiste à supporter les activités du suivi et de gestion des risques de marché (PnL, Var, Greeks, Stress, Market data, Pricing setups & Referentials, Standard Approach), et tout particulièrement sur la plateforme MASAI – support applicatif L'équipe Support MASAI repose sur l'organisation suivante: - 7p sur le support MASAI -- 4/3 Paris/Singapour Elle couvre la plage horaire suivante : WW : 2am-7pm CET (en shift) - spécifique Paris : 9am-7pm (en shift) La mission se compose de 2 axes de support : - Le support de la plateforme de production, des activités de production opérées sur cette plateforme et l'ensemble des utilisateurs . - Le support / accompagnement au programme MASAï, programme d'investissement pluriannuel qui a pour ambition la refonte complète du SI des Risques de marché Perimetre applicatif : - Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana / Promotheus et prochainement Cloud AWS (EMR, Glacier, RedShift, S3, RDS, Dynamo, Athena, EC2, ECS, Lambda, Airflow, Cloudwatch, Glue, Kafka) - Secondaire : SQL, Unix, CTRLM Perimetre fonctionnel : - Business process : Pnl, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market - Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs: - Mondiale mais le site principal est Paris - environ 300 à 400 utilisateurs. Détails de la prestation Support applicatif risques de marché Il s'agit d'une prestation de support technique et fonctionnel (N1 et N2 voire N3) sur les systèmes informatiques de suivi et d'analyse des risques de marché. La mission se déroulera sous la responsabilité d'un responsable d'équipe support Paris. Les contacts seront fréquents avec les multiples contributeurs IT responsables de l'implémentation des composants (Grid Pricing, Big Data, Data Analytics & UI, …) présents à Paris et Singapour Prestation attendue dans le cadre de support de production: - Garantir quotidiennement le bon fonctionnement de la production afin de délivrer les indicateurs à temps à nos clients (Risk Management, CASA, Front & Back-Office) - Collaborer avec l'ensemble des autres équipes IT (des différentes applications MRI et des systèmes contributeurs) et les pôles d'infrastructures afin de résoudre tout dysfonctionnement des applications MRI - Gérer les incidents et les demandes (technique/fonctionnel) - Participer à la gestion du PSI - Réaliser toutes les activités planifiées en HNO et les astreintes - Fonctionner en accord avec les dispositifs de support à l'international (SGP, NY, HK, …) - Rédiger la documentation, les procédures opérationnelles et les support de formation (en anglais) - Saisir et suivre le backlog de tickets et réaliser des reporting périodiques sur les activités de support - Contribuer au processus d'amélioration continu incluant la mise en place d'un processus de revue opérationnel et de qualité - Suivre les plans d'actions des problèmes jusqu'à leur clôture - Participer aux différentes instances de gouvernance du Run (Daily, WMC, Release meeting, …) - Contribuer à la gestion quotidienne de l'équipe de support MRI Les applications market risk seront déployées sur l'ensemble des sites à l'international et est utilisée par l'ensemble de la filière. Livrables attendus: - Morning check, - Monitoring : batchs, application, infrastructure - Extraction reporting en batch et sur demande d'utilisateur - Documentation support à jour en langue anglaise - Contribution au processus d'amélioration continu et à la réduction des problèmes (ITIL) . - Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée , …) - Contribution aux supports pour les différentes instances de gouvernance produits à temps - Suivi des plans d'actions d'amélioration continue de l'équipe - Tickets maintenance à jour et correctement escaladés à la MOE - Cadrage et spécifications des besoins du support - Retour d'expériences des phases d'UAT et autre parallèles run - Participation aux weekends de déploiement et autres activités. Compétences / Qualités indispensables : aws Informations concernant le télétravail : Oui — 2 jours/semaine

Rejoignez-nous ! Nous recherchons un(e) Data Engineer Hadoop / PySpark pour intervenir sur une plateforme Data stratégique et contribuer aux évolutions d'un datalake. Vous serez en charge de la mise en œuvre technique de nouvelles ingestions de données, des traitements de préparation et de transformation, ainsi que de la maintenance et de l'évolution des pipelines de données. Vous travaillerez en étroite collaboration avec les équipes de production applicative et DevOps, dans un environnement Agile, dynamique et international. Ce que vous ferez : Mettre en œuvre de nouvelles ingestions de données au sein du datalake. Développer les traitements de préparation et de transformation des données. Maintenir et faire évoluer les pipelines de données en PySpark et shell scripting. Développer et optimiser les traitements de données sur la plateforme Hadoop. Exploiter Hive et SQL pour la manipulation, la transformation et l'analyse des données. Collaborer avec l'équipe DevOps et lui adresser les demandes relatives aux évolutions de la plateforme. Participer à l'intégration et au déploiement des évolutions via les outils de gestion de code source et d'intégration continue. Rédiger des spécifications techniques claires et précises. Analyser et résoudre des problématiques techniques complexes liées aux traitements et pipelines de données. Contribuer à l'amélioration continue de la plateforme et être force de proposition sur les solutions et technologies à mettre en œuvre. Votre positionnement vous permettra d'intervenir au cœur d'une plateforme Data stratégique, en interaction avec des équipes techniques multidisciplinaires et internationales.

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Nous recherchons pour un de nos clients basé en IDF, un Analyste/Ingénieur Big Data Scala - Spark pour une mission freelance (longue visibilité) ContexteDans le cadre d'un appel d'offres , notre client recherche un Analyste / Ingénieur Big Data Scala - Spark pour renforcer une équipe en charge de la gestion et de l'exploitation d'une plateforme Big Data. Démarrage : Début novembre 2026 Missions :Au sein de l'équipe, vous interviendrez principalement sur : Le maintien en condition opérationnelle des traitements Big Data. Le suivi de production et l'exploitation quotidienne des flux de données. L'analyse et la correction des incidents. La fiabilisation et l'amélioration de la qualité des données. L'analyse technique de traitements existants. La compréhension et la reprise de développements conçus par d'autres équipes afin d'en assurer les corrections et évolutions.

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Je recherche un Ingénieur Big Data Hadoop / Cloudera CDP pour intervenir sur la construction, l'administration et l'évolution de plateformes Hadoop dans un contexte Agile et DevOps. Votre missionVous souhaitez évoluer au sein d'un environnement Big Data de grande envergure et contribuer à l'évolution de plateformes stratégiques ? Vous participerez également à l'amélioration des Data Services et serez force de proposition sur les évolutions techniques et les bonnes pratiques. Vos principales responsabilitésDéployer et installer des clusters Hadoop Cloudera CDP. Administrer et maintenir les plateformes Big Data en production. Installer, configurer et faire évoluer les composants Hadoop. Réaliser les montées de version des distributions et composants. Assurer le monitoring, la supervision et l'optimisation des clusters. Gérer la sécurité des plateformes (Kerberos, Ranger/Sentry, gestion des accès). Mettre en place les environnements de développement, recette et test. Assurer le support technique de niveau N2/N3. Automatiser les déploiements via Ansible, Jenkins et les outils CI/CD. Participer à l'amélioration continue des plateformes et aux projets d'évolution. Environnement techniqueBig Data Cloudera Data Platform (CDP) Hadoop HDFS Spark Hive Kafka ZooKeeper Hue Anaconda Administration & Sécurité Cloudera Manager Ambari Kerberos Ranger / Sentry Linux (RedHat, CentOS) DevOps Jenkins Ansible Git CI/CD Méthodologies Agile Scrum SAFe Kanban DevOps Profil recherchéVous justifiez d'une expérience significative dans l'administration de plateformes Big Data et maîtrisez les environnements Hadoop. Vous possédez notamment : Une solide expérience sur Cloudera CDP. Une bonne maîtrise de l'administration de clusters Hadoop. Une expérience des installations, upgrades et migrations de plateformes. Une bonne connaissance des problématiques de sécurité (Kerberos, Ranger/Sentry). Une expérience des outils d'automatisation et de CI/CD. Une excellente maîtrise des environnements Linux. Les qualités qui feront la différenceEsprit d'analyse et de synthèse. Autonomie et sens des responsabilités. Curiosité technique et veille technologique. Force de proposition. Excellent relationnel et goût du travail en équipe. Anglais professionnel. Pourquoi rejoindre mon client ?Des projets Big Data à forte valeur ajoutée. Un environnement technique stimulant. Des technologies de pointe. Une équipe experte et collaborative. Une culture orientée innovation et amélioration continue. Vous souhaitez relever ce défi ? Envoyez-nous votre CV et échangeons sur votre prochain projet !

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming

La mission porte sur des activités de data engineering au sein d'une data fabrique. Le périmètre couvre l'ingestion de fichiers, l'analyse fonctionnelle de données, le paramétrage et le développement Informatica, ainsi que la mise en place et l'alimentation du Data Warehouse. L'environnement technique comprend SQL, KSH, Hive/Oracle et Informatica PowerCenter. Missions : - Réceptionner les contrats d'interface - Ingérer les fichiers dans la data fabrique - Analyser fonctionnellement les données - Préparer les fichiers de paramétrage - Paramétrer les traitements - Développer sous Informatica PowerCenter - Mettre en place et alimenter le Data Warehouse - Préparer les livraisons via OGC et GitLab - Mettre les développements en recette - Analyser les incidents - Corriger les incidents Profil attendu : Le profil recherché est un Data Engineer confirmé avec une expertise sur Oracle, SQL Azure et Informatica MDM. Une expérience sur Informatica PowerCenter et DBT est attendue.

Vos missions ? En tant que Data Manager Senior / Lead Data (H/F) vous serez en charge des missions suivantes: - Identifier, cadrer et prioriser les projets Data en lien avec les directions métiers et techniques. - Construire les business cases, estimer le ROI et présenter les recommandations auprès des instances de décision. - Piloter la mise en œuvre des projets : suivi des plannings, risques, budgets, qualité et adoption des solutions. - Animer et coordonner des équipes pluridisciplinaires : Data Scientists, Data Engineers, analystes et interlocuteurs métiers. - Accompagner la montée en compétences des collaborateurs, assurer leur encadrement et favoriser le partage des bonnes pratiques. - Mettre en place des cas d'usage à forte valeur ajoutée : segmentation client, scoring, recommandation, prévision, optimisation de campagnes, analyse comportementale ou NLP. - Garantir la cohérence entre les enjeux business, la gouvernance des données et les choix technologiques. - Contribuer à la feuille de route Data et à la diffusion d'une culture Data au sein de l'organisation. Vous disposez d'une solide culture technique et êtes à l'aise avec plusieurs environnements parmi : - Python, PySpark, SQL, SAS ou R ; - BigQuery, AWS, Hive ou autres environnements Cloud/Data Lake ; - Dataiku, Tableau, Looker Studio ou outils de data visualisation ; - Data Science, Machine Learning, NLP, scoring et modèles prédictifs.

Au sein de la DSI, l'entité concernée fournit aux services Technologies & Opérations les applications nécessaires à leur fonctionnement. Le consultant interviendra sur les évolutions du datalake, en lien avec l'équipe de production applicative / devops. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser la data prep/transformation - Maintenir les outils de gestion des pipelines de données - Faire évoluer les outils de gestion des pipelines de données avec Pyspark et shell scripting - Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile avec la méthodologie SCRUM Profil attendu : Le consultant doit avoir une excellente maîtrise de la plateforme Hadoop ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit et à l'oral est requise pour les échanges avec les interlocuteurs basés à Porto. Une expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM, est attendue.

Nous recherchons un Data Engineer confirmé pour rejoindre l'équipe de la Direction des Systèmes d'Information au sein d'un grand groupe industriel. Vous serez responsable de la conception, du développement et de la maintenance d'un datalake stratégique, en travaillant étroitement avec les équipes de production applicative et DevOps pour mettre en œuvre des solutions de traitement de données robustes et performantes. Votre mission s'inscrit dans un environnement technologique moderne et agile. Vous participerez à l'évolution continue d'une plateforme données complexe, contribuerez à l'architecture des pipelines ETL et assurerez la qualité et la fiabilité des ingestions de données. L'environnement de travail est collaborative, dynamique et fondé sur les bonnes pratiques d'ingénierie logicielle (versioning, intégration continue, tests automatisés). Le datalake traite des volumes de données significatifs et nécessite une expertise technique pointue. Vous aurez l'occasion de travailler sur des sujets variés : conception de schémas de données, optimisation des performances, debugging en environnement distribué, et exploration de nouvelles technologies pour améliorer la stack existante. Responsabilités : - Mettre en œuvre et industrialiser de nouvelles ingestions de données, en respectant les standards de qualité et de performance du datalake - Concevoir et développer des transformations de données complexes en PySpark et Hive, optimisées pour les environnements Hadoop - Maintenir, documenter et faire évoluer les outils et scripts de gestion des pipelines de données (PySpark, shell scripting Unix/Linux) - Collaborer avec l'équipe DevOps pour l'évolution et l'optimisation de l'infrastructure de la plateforme données - Rédiger des spécifications techniques détaillées et participer à la validation des livrables avec les parties prenantes - Identifier et proposer des améliorations technologiques pour maintenir la compétitivité de la plateforme - Travailler en méthodologie Agile/Scrum, participer aux cérémonies d'équipe et contribuer à l'amélioration continue - Assurer le debugging et la résolution d'incidents en production, en coordination avec les équipes de support

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l'industrialisation de traitements de données à grande échelle. Vous aurez pour mission missions La conception et le développement de pipelines de données batch. L'alimentation de datamarts réglementaires Risque et Finance. L'alimentation des systèmes de reporting financiers et risques. L'intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc. La mise en place de contrôles de qualité, cohérence et complétude des données. L'optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes. L'industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring. La réalisation des tests unitaires et des TNR. La documentation technique et la mise à jour des référentiels de données. La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données. La participation aux cérémonies Agile et aux réunions projets. La contribution aux activités de Run quotidien et mensuel. Environnement technique Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.