Trouvez votre prochaine offre d’emploi ou de mission freelance Hbase

Consultant HBase / AWS EMRInformations générales Localisation : Nanterre (92) Télétravail : 50 % Démarrage : ASAP Durée : Longue durée Nombre de postes : Plusieurs ouvertures Contexte Dans le cadre du renforcement de ses équipes Data Platforms, notre client recherche plusieurs consultants HBase afin d'intervenir sur des plateformes Big Data critiques hébergées dans AWS. Les consultants rejoindront une équipe en charge de l'exploitation, de l'optimisation et de la fiabilisation d'environnements HBase exécutés sur AWS Elastic MapReduce (EMR). L'objectif principal est de garantir la stabilité, la performance et la disponibilité des plateformes tout en accompagnant les équipes sur les problématiques de capacité, de tuning et d'amélioration continue. MissionsRUN et exploitation HBase Assurer le maintien en condition opérationnelle des plateformes HBase Participer à l'exploitation quotidienne des clusters Analyser et résoudre les incidents de production Participer aux activités de support de niveau 2 et 3 Assurer le suivi des traitements et des performances des plateformes Performance et optimisation Identifier les goulots d'étranglement et les problèmes de performance Réaliser les analyses de capacité et les études de montée en charge Optimiser les temps de réponse et les performances globales des clusters Participer à l'amélioration continue des architectures existantes Analyser les métriques système et applicatives Administration HBase Administrer et maintenir les environnements HBase Participer aux opérations de maintenance des clusters Gérer les problématiques liées aux Region Servers Analyser les problématiques de compaction Optimiser les stratégies de stockage et d'accès aux données Participer à la gestion de la volumétrie et de la croissance des données Réaliser et superviser les opérations de Major Compaction et Minor Compaction Participer à l'optimisation des performances liées aux HFiles, WAL, MemStore et Region Splits Environnement techniqueBig Data Apache HBase HDFS ZooKeeper Cloud AWS Elastic MapReduce (EMR) Systèmes Linux Monitoring & Exploitation Supervision des clusters Analyse de performances Troubleshooting Compétences recherchéesIndispensables Bonne maîtrise de HBase Expérience en environnement de production AWS EMR (Elastic MapReduce) Analyse de performances Troubleshooting RUN critique Capacity Planning Linux Connaissances HBase valorisées Region Servers HMaster Compactions Major Compaction Minor Compaction Gestion des HFiles WAL (Write Ahead Log) MemStore Region Split Hot Regions Optimisation des lectures/écritures Répartition de charge Tuning HBase Gestion de la volumétrie Profil recherché Nous recherchons un consultant disposant d'une expérience significative sur des environnements HBase en production. Le consultant devra être capable d'intervenir sur des problématiques de RUN, de performance, de capacité et de fiabilité des plateformes, tout en étant force de proposition sur les améliorations techniques et les optimisations à mettre en œuvre. Une expérience sur AWS EMR ainsi qu'une bonne compréhension de l'écosystème Hadoop seront particulièrement appréciées.

Dans le cadre d’un renforcement d’équipe, Mon client recherche un profil expérimenté pour intégrer un dispositif existant actuellement sous-dimensionné. Le consultant interviendra sur l’administration et la gestion d’une plateforme data sous AWS, avec un rôle clé dans : La continuité opérationnelle Le transfert de connaissances Le support aux demandes spécifiques métiers Responsabilités Administrer un environnement AWS EMR avec composant HBase Assurer le maintien en conditions opérationnelles Traiter des demandes de services spécifiques (via procédures existantes) Participer activement au transfert de connaissances Travailler en collaboration avec les équipes client

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

conception/réalisation/qualification/production Big Data Description des prestations Les activités décrites seront menées principalement sur les UseCase Big data Socle Commun Topologie, Qosmik et Scipion - Concevoir, développer, qualifier les évolutions demandées. A faire de manière autonome. - Contribuer à la qualification métier des nouvelles fonctionnalités développées - Accompagner le déploiement des solutions sur la plate-forme Big Data - Optimisation des traitements en production - Assurer la maintenance corrective - Assurer le run applicatif en cas d'incidents (analyse/rattrapage)

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.