Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive à Paris

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte Au sein d’une direction des systèmes d’information nationaux et européens d'un acteur majeur du secteur banco-financier, le service en charge des plateformes data conçoit, maintient et fait évoluer les systèmes d’information au service d’activités critiques telles que la politique monétaire, les opérations de marché, la gestion des risques, la conformité et la stabilité financière. Vous interviendrez dans un DataLab rattaché aux applications de marché, au cœur des usages data des équipes métiers (marchés, risques, conformité). Objectifs de la mission Vous interviendrez principalement sur : La fin de réalisation et la maintenance évolutive d’un laboratoire data existant L’enrichissement des cas d’usage métiers liés aux opérations de marché, aux risques et à la politique monétaire Les travaux de cadrage et de structuration d’un gisement de données, en lien avec les besoins métiers Périmètre fonctionnel et technique Sources de données Flux issus de systèmes Front, Back et Décisionnels Marché Plateformes de trading et systèmes décisionnels associés Plateforme Data Cloudera Hive Environnements Python et R SAS Viya Outils de restitution et d’analyse Power BI SAS Viya Missions principales Data Engineering & DataLab Développement et maintenance de traitements de données sous Cloudera / Hive Conception et optimisation de requêtes Hive Manipulation, préparation et transformation de données volumineuses Développement de scripts et notebooks Python pour l’analyse, l’exploration et l’enrichissement des données Contribution à la structuration et à l’alimentation des gisements de données Support aux usages métiers Accompagnement des utilisateurs métiers dans l’exploitation des données Contribution aux laboratoires analytiques (Python / R / SAS Viya) Participation à la mise à disposition de jeux de données exploitables pour des analyses prospectives Appui à la création et à l’évolution des cas d’usage data liés aux opérations de marché, aux risques et à la politique monétaire Maintenance et évolution Participation à la maintenance corrective et évolutive du DataLab Prise en compte des nouveaux besoins utilisateurs Contribution à la qualité, à la fiabilité et à la traçabilité des données Documentation des traitements et des jeux de données

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Rejoignez Mon client banque assurance à Paris pour une mission stratégique au cœur de la plateforme Data du Groupe. Au sein de la squad « Restitutions Réglementaires », vous jouerez un rôle clé dans la mise en conformité et la valorisation des données assurantielles. Votre mission Sous un mode de travail hybride (3 jours sur site), vous piloterez la constitution des déclaratifs réglementaires (FICOVIE, FATCA, ECKERT, etc.). Votre intervention débutera par le chantier prioritaire FICOVIE , en exploitant des sources Big Data et décisionnelles complexes. Environnement Technique & Défis Vous évoluerez dans un écosystème On-Premise (MapR) exigeant : Core : Java 11, Spark, SparkSQL, Hive et Shell. Streaming & Batch : Maîtrise de Kafka (MaprES) pour l'optimisation des flux. DevOps & CI/CD : GitLab, Jenkins, Docker, Kubernetes et ArgoCD. Méthodologie : Agilité à l'échelle (SAFe) via JIRA.

Contexte Dans un environnement data stratégique à forte volumétrie, le groupe consolide et fait évoluer sa plateforme Big Data afin de soutenir la montée en charge des usages data & analytics. Le poste est centré sur la robustesse, la performance, la sécurité et l’industrialisation d’une plateforme Cloudera opérée en production. Mission principale ✔️ Définir et faire évoluer l’architecture technique de la plateforme Data (on-premise, hybride ou cloud selon le contexte) ✔️ Administrer et optimiser les environnements Cloudera et leurs composants clés (HDFS, Hive, Spark, Kafka, Impala, YARN…) ✔️ Assurer la disponibilité, la sécurité, la résilience et les performances des clusters en production ✔️ Concevoir les architectures de stockage et de calcul distribués adaptées aux besoins ✔️ Déployer les bonnes pratiques d’industrialisation : automatisation, supervision, capacity planning ✔️ Travailler en transverse avec les équipes data engineering, sécurité et exploitation ✔️ Contribuer aux arbitrages technologiques et à la feuille de route plateforme ✔️ Anticiper les enjeux de scalabilité, de tuning et de maîtrise des coûts

Profil : Data Engineer Profil expérimenté avec des connaissances dans les déclaratifs réglementaires de l'Assurance-Vie Compétences techniques requises : Maîtrise avancée de Java Spark, y compris Java 11 et SparkSQL. Connaissance approfondie de l'écosystème Big Data, en particulier Hadoop, Spark et Kafka. Expérience significative en Build et en Run dans des environnements Big Data. Utilisation avancée d'outils DevOps tels que GitLab, Jenkins, Nexus, Maven, Docker, Kubernetes, ArgoCD, Sonar, etc. Solide compréhension des pratiques Agiles/SAFe et compétence dans l'utilisation de JIRA. Excellente maîtrise de Hive et Shell pour la manipulation et la transformation de données. Expérience confirmée avec des clusters on-premise MapR, y compris la gestion et l'optimisation. Compréhension approfondie des domaines de l'assurance, en particulier Assurance vie et Prévoyance. Connaissance avancée des bases de données relationnelles et non relationnelles. Excellentes compétences de communication pour collaborer efficacement avec les équipes. Leadership technique pour encadrer et orienter les membres de l'équipe. Esprit d'initiative et capacité à résoudre des problèmes techniques complexes. Capacité à travailler dans un environnement Agile et à gérer les priorités en conséquence. Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.