Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Pour l'un de nos clients nous recherchons un data engineer confirmé pour intégrer une équipe risque et finance. Missions : Contribuer aux évolutions des projets Risque et Finance Concevoir et développer des pipelines batch Big Data pour l’alimentation des datamarts réglementaires et des outils de reporting Intégrer des données issues de sources multiples (core banking, bases de données, fichiers partenaires) Mettre en œuvre des contrôles qualité et de complétude des données Optimiser la performance et la robustesse des traitements sur de fortes volumétries Industrialiser et déployer les traitements (CI/CD, orchestration, monitoring) Réaliser les tests unitaires et de non-régression Produire et maintenir la documentation technique et les référentiels de données Garantir le respect des exigences réglementaires, de sécurité et de confidentialité des données Participer aux rituels agiles et aux activités de Run (quotidien et mensuel)

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Contexte Au sein d’une direction des systèmes d’information nationaux et européens d'un acteur majeur du secteur banco-financier, le service en charge des plateformes data conçoit, maintient et fait évoluer les systèmes d’information au service d’activités critiques telles que la politique monétaire, les opérations de marché, la gestion des risques, la conformité et la stabilité financière. Vous interviendrez dans un DataLab rattaché aux applications de marché, au cœur des usages data des équipes métiers (marchés, risques, conformité). Objectifs de la mission Vous interviendrez principalement sur : La fin de réalisation et la maintenance évolutive d’un laboratoire data existant L’enrichissement des cas d’usage métiers liés aux opérations de marché, aux risques et à la politique monétaire Les travaux de cadrage et de structuration d’un gisement de données, en lien avec les besoins métiers Périmètre fonctionnel et technique Sources de données Flux issus de systèmes Front, Back et Décisionnels Marché Plateformes de trading et systèmes décisionnels associés Plateforme Data Cloudera Hive Environnements Python et R SAS Viya Outils de restitution et d’analyse Power BI SAS Viya Missions principales Data Engineering & DataLab Développement et maintenance de traitements de données sous Cloudera / Hive Conception et optimisation de requêtes Hive Manipulation, préparation et transformation de données volumineuses Développement de scripts et notebooks Python pour l’analyse, l’exploration et l’enrichissement des données Contribution à la structuration et à l’alimentation des gisements de données Support aux usages métiers Accompagnement des utilisateurs métiers dans l’exploitation des données Contribution aux laboratoires analytiques (Python / R / SAS Viya) Participation à la mise à disposition de jeux de données exploitables pour des analyses prospectives Appui à la création et à l’évolution des cas d’usage data liés aux opérations de marché, aux risques et à la politique monétaire Maintenance et évolution Participation à la maintenance corrective et évolutive du DataLab Prise en compte des nouveaux besoins utilisateurs Contribution à la qualité, à la fiabilité et à la traçabilité des données Documentation des traitements et des jeux de données

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

🎯 Contexte Au sein de la direction IT Data Management & BI , vous intégrez l’équipe Big Data & API / Squad Financing & Risk . L’équipe développe et maintient un datalake , utilisé comme plateforme de données par les équipes IT et métiers (finance, risque). 🚀 Missions En tant que Data Engineer , vous intervenez sur le datalake FinLake avec les responsabilités suivantes : Assurer la gestion de la production (suivi des flux, incidents, performance) Réduire et maîtriser la dette technique Analyser l’ architecture existante et proposer des évolutions Réaliser les développements Big Data liés aux projets métiers Participer aux déploiements et à l’industrialisation des traitements 🛠️ Environnement technique Big Data : Spark, PySpark, Scala, Hadoop (on-premise) Data & requêtage : Hive, SQL/HQL, Starburst, Indexima Scripting : Unix / Bash DevOps & industrialisation : Jenkins, CI/CD, XLDeploy, XLRelease Outils projet : Jira

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

Contexte : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (FinLake). Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. Missions : L'objectif de la mission est d'assurer le rôle de Data Engineer du FinLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

Dans un contexte Data & BI à forts enjeux, vous intervenez au sein d’une équipe Big Data & API , rattachée à une squad Financing & Risk , en charge du développement et de l’exploitation d’un datalake utilisé comme plateforme data centrale par les équipes IT et métiers. En tant que Data Engineer , vous jouez un rôle clé dans la gestion, l’évolution et la fiabilité de cette plateforme. Vos principales missions sont les suivantes : Assurer la gestion de la production du datalake (suivi, incidents, stabilité des traitements) Prendre en charge la dette technique et contribuer à l’amélioration continue de la plateforme Analyser l’architecture existante et proposer des évolutions techniques pertinentes Réaliser les développements Big Data liés aux projets en cours et à venir Participer à l’industrialisation et aux déploiements via les chaînes CI/CD Vous évoluez dans un environnement technique Big Data on-premise , au sein d’une équipe travaillant en interaction avec des équipes IT et métiers, sur des sujets à forte valeur ajoutée.

Rejoignez Mon client banque assurance à Paris pour une mission stratégique au cœur de la plateforme Data du Groupe. Au sein de la squad « Restitutions Réglementaires », vous jouerez un rôle clé dans la mise en conformité et la valorisation des données assurantielles. Votre mission Sous un mode de travail hybride (3 jours sur site), vous piloterez la constitution des déclaratifs réglementaires (FICOVIE, FATCA, ECKERT, etc.). Votre intervention débutera par le chantier prioritaire FICOVIE , en exploitant des sources Big Data et décisionnelles complexes. Environnement Technique & Défis Vous évoluerez dans un écosystème On-Premise (MapR) exigeant : Core : Java 11, Spark, SparkSQL, Hive et Shell. Streaming & Batch : Maîtrise de Kafka (MaprES) pour l'optimisation des flux. DevOps & CI/CD : GitLab, Jenkins, Docker, Kubernetes et ArgoCD. Méthodologie : Agilité à l'échelle (SAFe) via JIRA.

Pour accompagner un de nos clients, nous recherchons un profil en tant que Développeur Data : Les travaux à réaliser sont les suivants : Prendre en charge l’évolution des données et des développements existants pour l’alimentation du Datalake, en fonction des besoins métiers. Assurer un rôle de Lead Tech (spécifier techniquement les tâches, fournir des requêtes de référence, effectuer une revue de code). Mise en place des extractions à partir de ces données. Réaliser le support N2. Garantir la tenue des délais de livraison. Garantir la maintenabilité de la plateforme, de ses performances et de son exploitabilité. Quels sont les outils à maitriser ? Forte capacité à structurer l'activité JIRA . Développement d'extractions avec SQL et scripting Shell . Python spark, Hive . En complément, une présence sur site à Lyon est requise, à raison de 3 jours par semaine.

Description détaillée Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Contexte Dans un environnement data stratégique à forte volumétrie, le groupe consolide et fait évoluer sa plateforme Big Data afin de soutenir la montée en charge des usages data & analytics. Le poste est centré sur la robustesse, la performance, la sécurité et l’industrialisation d’une plateforme Cloudera opérée en production. Mission principale ✔️ Définir et faire évoluer l’architecture technique de la plateforme Data (on-premise, hybride ou cloud selon le contexte) ✔️ Administrer et optimiser les environnements Cloudera et leurs composants clés (HDFS, Hive, Spark, Kafka, Impala, YARN…) ✔️ Assurer la disponibilité, la sécurité, la résilience et les performances des clusters en production ✔️ Concevoir les architectures de stockage et de calcul distribués adaptées aux besoins ✔️ Déployer les bonnes pratiques d’industrialisation : automatisation, supervision, capacity planning ✔️ Travailler en transverse avec les équipes data engineering, sécurité et exploitation ✔️ Contribuer aux arbitrages technologiques et à la feuille de route plateforme ✔️ Anticiper les enjeux de scalabilité, de tuning et de maîtrise des coûts

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Introduction & Résumé Nous recherchons un Data Engineer expérimenté pour rejoindre notre équipe et être responsable de la mise à disposition des données relatives aux études et projets d’intelligence artificielle. Vous aurez l’opportunité de travailler sur des technologies de pointe dans un environnement dynamique. Responsabilités En tant que Data Engineer, vous serez chargé de : Réaliser les spécifications techniques pour les flux de données (ingestion, transformation, etc.). Assurer le développement de solutions d’ingestion de données et de Data Engineering. Développer des flux (Kafka, Talend, Spark, Pyspark). Environnement Technique : Big Data, Cloudera, Hive, Spark, Pyspark, Kafka, Talend, SQL Server, PowerBI Key Requirements Formation supérieure (Bac+5 ou Ecole d’Ingénieur) spécialisée en Data. Expérience de 7 ans minimum sur un poste similaire. Parfaite maîtrise dans la conception, le développement et l’optimisation de flux. Expérience dans l'écosystème Big Data (Cloudera/Hadoop, Spark, Kafka, PySpark). Connaissance des bases de données relationnelles (SQL Server). Nice to Have Maîtrise de Talend et compétences en Datavisualisation. Capacité à échanger en Anglais à l’écrit et à l’oral. Autonomie, capacités d’adaptation et sens de la communication. Autres Détails Localisation : Dunkerque. Télétravail : 1 jour de télétravail par semaine. Durée : Minimum 10 mois.