Consultant HBase / AWS EMRInformations générales Localisation : Nanterre (92) Télétravail : 50 % Démarrage : ASAP Durée : Longue durée Nombre de postes : Plusieurs ouvertures ContexteDans le cadre du renforcement de ses équipes Data Platforms, notre client recherche plusieurs consultants HBase afin d'intervenir sur des plateformes Big Data critiques hébergées dans AWS. Les consultants rejoindront une équipe en charge de l'exploitation, de l'optimisation et de la fiabilisation d'environnements HBase exécutés sur AWS Elastic MapReduce (EMR). L'objectif principal est de garantir la stabilité, la performance et la disponibilité des plateformes tout en accompagnant les équipes sur les problématiques de capacité, de tuning et d'amélioration continue. MissionsRUN et exploitation HBaseAssurer le maintien en condition opérationnelle des plateformes HBase Participer à l'exploitation quotidienne des clusters Analyser et résoudre les incidents de production Participer aux activités de support de niveau 2 et 3 Assurer le suivi des traitements et des performances des plateformes Performance et optimisationIdentifier les goulots d'étranglement et les problèmes de performance Réaliser les analyses de capacité et les études de montée en charge Optimiser les temps de réponse et les performances globales des clusters Participer à l'amélioration continue des architectures existantes Analyser les métriques système et applicatives Administration HBaseAdministrer et maintenir les environnements HBase Participer aux opérations de maintenance des clusters Gérer les problématiques liées aux Region Servers Analyser les problématiques de compaction Optimiser les stratégies de stockage et d'accès aux données Participer à la gestion de la volumétrie et de la croissance des données Réaliser et superviser les opérations de Major Compaction et Minor Compaction Participer à l'optimisation des performances liées aux HFiles, WAL, MemStore et Region Splits Environnement techniqueBig DataApache HBase HDFS ZooKeeper CloudAWS Elastic MapReduce (EMR) SystèmesLinux Monitoring & ExploitationSupervision des clusters Analyse de performances Troubleshooting Compétences recherchéesIndispensablesBonne maîtrise de HBase Expérience en environnement de production AWS EMR (Elastic MapReduce) Analyse de performances Troubleshooting RUN critique Capacity Planning Linux Connaissances HBase valoriséesRegion Servers HMaster Compactions Major Compaction Minor Compaction Gestion des HFiles WAL (Write Ahead Log) MemStore Region Split Hot Regions Optimisation des lectures/écritures Répartition de charge Tuning HBase Gestion de la volumétrie Profil recherchéNous recherchons un consultant disposant d'une expérience significative sur des environnements HBase en production. Le consultant devra être capable d'intervenir sur des problématiques de RUN, de performance, de capacité et de fiabilité des plateformes, tout en étant force de proposition sur les améliorations techniques et les optimisations à mettre en œuvre. Une expérience sur AWS EMR ainsi qu'une bonne compréhension de l'écosystème Hadoop seront particulièrement appréciées.
Dans le cadre d'un renforcement d'équipe, Mon client recherche un profil expérimenté pour intégrer un dispositif existant actuellement sous-dimensionné. Le consultant interviendra sur l'administration et la gestion d'une plateforme data sous AWS, avec un rôle clé dans : La continuité opérationnelle Le transfert de connaissances Le support aux demandes spécifiques métiers ResponsabilitésAdministrer un environnement AWS EMR avec composant HBase Assurer le maintien en conditions opérationnelles Traiter des demandes de services spécifiques (via procédures existantes) Participer activement au transfert de connaissances Travailler en collaboration avec les équipes client
Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum
conception/réalisation/qualification/production Big Data Description des prestations Les activités décrites seront menées principalement sur les UseCase Big data Socle Commun Topologie, Qosmik et Scipion - Concevoir, développer, qualifier les évolutions demandées. A faire de manière autonome. - Contribuer à la qualification métier des nouvelles fonctionnalités développées - Accompagner le déploiement des solutions sur la plate-forme Big Data - Optimisation des traitements en production - Assurer la maintenance corrective - Assurer le run applicatif en cas d'incidents (analyse/rattrapage)
Pour ce besoin d'un Développeur FullStack Python / Node.js / Vue.js, nous recherchons un profil confirmé / sénior afin de renforcer l'équipe DevCo au sein du pôle Data (secteur de l'énergie). Détails de la missionLocalisation :IDF (2 jours par semaine obligatoires sur site) TJM : 500 € Date de démarrage : ASAP Missions principalesConception & Développement : Contribuer à la conception et à la réalisation de solutions applicatives pour répondre aux besoins prioritaires d'analyse et de restitution de données. Industrialisation Data Science : Participer à l'amélioration de la capacité d'intégration et d'industrialisation des cœurs de data-science et des développements métiers dans le Système d'Information (SI). Documentation technique : Rédiger les Dossiers de conception et d'exploitation des solutions délivrées afin de garantir leur maintenabilité. Veille & Innovation : Assurer une veille technologique constante et proposer des solutions innovantes pour exploiter au mieux les données. Craftsmanship & Standards : Contribuer activement à la définition des Guidelines (bonnes pratiques de développement, d'utilisation de la plateforme et de déploiement). Compétences techniques attenduesBackend & Data (Python) : Maîtrise approfondie des langages d'analyse et de traitement de données (Python, Flask, Pandas, Plotly, etc.) en Programmation Orientée Objet (POO). Frontend & Middle (JS) : Excellente maîtrise des langages de développement front-end (SPA Vue.js, Node.js). DevOps : Pratique courante des environnements et outils d'intégration continue (GitLab, Docker, SonarQube, CheckMarx, etc.). Big Data : Bonnes connaissances des architectures Big Data (Hadoop, HBase, HDFS). Soft Skills : Capacité d'animation d'ateliers de conception, de formation et de communauté technique ; excellente communication avec les métiers.
Dans le cadre du développement et de l'évolution de sa plateforme Big Data, un grand compte du secteur bancaire recherche un Administrateur Hadoop Expert afin de renforcer son équipe Infrastructure Big Data. Vous interviendrez sur une plateforme Cloudera CDP stratégique et participerez à son administration, son évolution, son industrialisation ainsi qu'à la résolution de problématiques techniques complexes dans un environnement à forte volumétrie. Vos missionsVous intégrerez l'équipe en charge de l'administration de la plateforme Hadoop et serez responsable de : Administrer, maintenir et faire évoluer les clusters Hadoop sous Cloudera CDP. Installer, configurer et exploiter les composants de la plateforme Big Data. Garantir la disponibilité, la performance et la sécurité des infrastructures Hadoop. Participer aux montées de versions majeures des composants Cloudera. Automatiser les déploiements et opérations d'exploitation via Ansible et Terraform/Terragrunt. Assurer le support technique de niveau 2/3 et résoudre les incidents complexes. Participer aux task forces sur les problématiques critiques de production. Administrer les services Hadoop (HDFS, YARN, Hive, Spark, HBase...). Gérer les plateformes d'ingestion de données (Kafka, NiFi). Mettre en œuvre les évolutions techniques et les nouvelles fonctionnalités de la plateforme. Assurer la documentation technique, les procédures d'exploitation et le transfert de compétences. Collaborer avec les équipes Infrastructure, Data Engineering, Production et l'éditeur Cloudera. Environnement techniqueBig DataCloudera CDP 7.x Hadoop HDFS Hive Spark YARN HBase Oozie IngestionApache Kafka Apache NiFi SécuritéRanger Kerberos Knox DevOps & AutomatisationAnsible Terraform Terragrunt Jenkins Git SystèmesLinux Shell scripting MonitoringGrafana Elasticsearch / Kibana Prometheus (apprécié)
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📑 Freelance / Portage - 🏠 2 jours de télétravail / semaine -📍 Nantes - 🛠 Expérience de 4 ans minimum Nous poursuivons notre développement et recherchons actuellement un.e Business Analyst Data Marketing pour intervenir sur un projet d'un de nos clients, dans le secteur bancaire. 💻💼 Contexte : Vous interviendrez dans le cadre d'un projet de transformation du SI Marketing visant à construire des profils clients en temps réel pour répondre à de nouveaux usages digitaux. Vos principales missions : - Recueillir, analyser et formaliser les besoins des équipes métiers - Animer les ateliers de cadrage et rédiger les comptes-rendus - Rédiger les user stories et les spécifications fonctionnelles - Réaliser les analyses de données nécessaires aux différents cas d'usage - Participer à la modélisation fonctionnelle de la solution - Préparer, exécuter et suivre les campagnes de recette fonctionnelle - Assurer le suivi des demandes et des user stories via Jira et Xray - Produire la documentation projet et accompagner les utilisateurs dans la conduite du changement - Participer au traitement des incidents et à l'amélioration continue de la solution Ce que vous apportez : - Vous justifiez d'une expérience en tant que Business Analyst / AMOA Data, idéalement sur des projets Marketing - Vous êtes à l'aise avec l'analyse et l'exploration de données (SQL, MySQL, Hive, HBase, Teradata ou technologies similaires) - Vous avez une bonne compréhension des enjeux liés à la Data Marketing - Vous êtes reconnu pour vos qualités rédactionnelles, votre sens de l'analyse et votre aisance à échanger avec des interlocuteurs métiers et techniques
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📑 CDI - 🏠 2 jours de télétravail / semaine -📍 Nantes - 🛠 Expérience de 4 ans minimum Nous poursuivons notre développement et recherchons actuellement un.e Business Analyst Data Marketing pour intervenir sur un projet d'un de nos clients, dans le secteur bancaire. 💻💼 Contexte : Vous interviendrez dans le cadre d'un projet de transformation du SI Marketing visant à construire des profils clients en temps réel pour répondre à de nouveaux usages digitaux. Vos principales missions : - Recueillir, analyser et formaliser les besoins des équipes métiers - Animer les ateliers de cadrage et rédiger les comptes-rendus - Rédiger les user stories et les spécifications fonctionnelles - Réaliser les analyses de données nécessaires aux différents cas d'usage - Participer à la modélisation fonctionnelle de la solution - Préparer, exécuter et suivre les campagnes de recette fonctionnelle - Assurer le suivi des demandes et des user stories via Jira et Xray - Produire la documentation projet et accompagner les utilisateurs dans la conduite du changement - Participer au traitement des incidents et à l'amélioration continue de la solution Ce que vous apportez : - Vous justifiez d'une expérience en tant que Business Analyst / AMOA Data, idéalement sur des projets Marketing - Vous êtes à l'aise avec l'analyse et l'exploration de données (SQL, MySQL, Hive, HBase, Teradata ou technologies similaires) - Vous avez une bonne compréhension des enjeux liés à la Data Marketing - Vous êtes reconnu pour vos qualités rédactionnelles, votre sens de l'analyse et votre aisance à échanger avec des interlocuteurs métiers et techniques
Rejoignez une squad data au sein d'un grand groupe du secteur financier, en charge de la construction d'une vision client 360 en temps réel. Vous contribuerez à la modernisation de l'écosystème data marketing et à l'évolution d'une stack big data ambitieuse (Spark, Kafka, Hadoop Cloudera) dans un environnement Agile structuré. Notre client, un acteur majeur du secteur bancaire, constitue une équipe de 12 personnes autour d'une Squad Profil Client 360 pilotée par un Product Owner et un Scrum Master. L'objectif : servir des usages digitaux avancés tout en assurant la modernisation continue du système d'information et le bon fonctionnement des produits existants. Vous évoluerez dans un cadre Scrum rigoureux, fondé sur les pratiques agiles et l'amélioration continue de la qualité. En tant que Data Engineer confirmé, vous serez responsable de la conception, du développement et de la mise en production de solutions data robustes. Vous travaillerez sur des architectures de données complexes, des pipelines streaming et batch, et participerez activement à l'automatisation des tests et au déploiement en environnements multi-niveaux. Vous accompagnerez également vos pairs dans l'adoption des bonnes pratiques de développement et contribuerez au transfert progressif du patrimoine applicatif historique vers les équipes propriétaires en cible. Responsabilités : - Concevoir et développer de nouvelles fonctionnalités data (user stories) selon les critères d'acceptation définis, en respectant les règles de gestion applicables - Définir les architectures techniques des solutions de données en collaboration avec la squad - Implémenter des pipelines Spark (streaming et batch) performants et scalables, en exploitant Kafka pour l'ingestion événementielle - Développer et maintenir les API de données et les couches d'exposition (Hive, HBase, Phoenix) - Automatiser les tests (JUnit, XRay) et appliquer les principes de software craftmanship pour garantir la qualité du code - Assurer le déploiement régulier dans les différents environnements (GitLab CI/CD, Jenkins, Artifactory) - Monitorer et garantir la stabilité en production à l'aide des outils de supervision (ELK, Grafana, SonarQube) - Accompagner l'équipe dans l'amélioration continue des pratiques agiles et de la qualité du code - Participer à la migration et au transfert progressif des produits existants vers les squads cibles Télétravail : 3 jours par semaine sur site Localisation : Nantes
ContexteDans le cadre du renforcement de son équipe Data & IA, notre client recherche un Data Engineer / Administrateur Plateforme Data pour assurer l'administration, l'exploitation et l'évolution des infrastructures Data basées sur Cloudera CDP et les technologies Open Source. Vous interviendrez sur des plateformes critiques en collaboration avec les équipes applicatives, infrastructures, métiers et internationales afin de garantir la disponibilité, les performances et l'évolution des environnements Data. MissionsAdministration & ExploitationAdministrer et maintenir les plateformes Data Cloudera CDP. Garantir le maintien en condition opérationnelle des infrastructures. Superviser les plateformes et assurer le traitement des incidents. Participer aux astreintes et aux interventions hors horaires ouvrés. Optimiser les performances et la capacité des plateformes. Data EngineeringConcevoir les solutions d'ingestion de données (API). Mettre en œuvre des architectures de stockage (Hadoop, Ozone, Druid, ClickHouse...). Développer et automatiser les traitements de données. Mettre en place les tests unitaires et d'intégration. Industrialiser les traitements de nettoyage et de transformation des données. Évolution des plateformesParticiper aux migrations des clusters Hadoop Cloudera. Contribuer au déploiement des nouvelles plateformes Cloudera Data Services sous OpenShift/Kubernetes. Être force de proposition sur les évolutions techniques. Participer au design des infrastructures Data. Support & ExpertiseRésoudre les incidents complexes (Hive, Spark, Yarn...). Accompagner les équipes applicatives et métiers. Assurer un support technique de haut niveau. Participer à la documentation et au partage de connaissances. Environnement techniqueImpératifCloudera CDP 7.1.x RedHat Enterprise Linux 8 & 9 Python Java Ansible DevOps Très bonnes connaissancesHadoop Hive HBase Kafka Spark Solr Knox Ranger ZooKeeper Kerberos LDAP AppréciéesOpenShift Kubernetes Trino / Starburst Airflow Flink Maven Gradle ClickHouse Ozone Druid Profil recherchéFormation Bac+5 en informatique ou équivalent. Expérience significative sur des plateformes Big Data Cloudera. Expertise Linux RedHat. Bonne maîtrise des environnements Open Source Data. Solides compétences en automatisation (Ansible). Connaissances DevOps. Capacité à analyser et résoudre des incidents complexes. Esprit d'équipe, autonomie et bonnes capacités de communication. ConditionsCouverture de l'équipe : 8h00 – 19h00 Astreintes et interventions hors horaires ouvrés selon un planning de rotation. Niveau attendu : Confirmé / Senior (N4). Compétences clés : Cloudera CDP 7.1.x, RedHat 8/9, Hadoop, Spark, Hive, Kafka, Python, Java, Ansible, DevOps, OpenShift, Kubernetes.
