Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot
Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA
Merci de contacter Sumi Delplanque. Nous recherchons un expert Big Data confirmé pour prendre en charge l'exploitation complète et la sécurisation d'un écosystème Cloudera Data Platform (CDP) en environnement de production, avec une architecture Lakehouse déjà en place. Le cœur du besoin : administration et MCO/MCS de Cloudera Nous avons besoin de quelqu'un qui assure : L'installation et l'administration du cluster avec TLS et Kerberos (donc un environnement sécurisé, pas un POC). MCO/MCS (Maintien en Conditions Opérationnelles/de Sécurité) des services cœur : HDFS, Yarn, Zookeeper, Cloudera Manager. Des morning checks quotidiens avec rédaction de rapports synthétisés : visibilité et traçabilité sur l'état de la plateforme, pas juste un "ça marche". Le périmètre technique : une architecture Lakehouse complète Nous requérons un profil capable de couvrir toute la chaîne de valeur de la donnée : Il assure le déploiement et le MCO/MCS de l'écosystème Cloudera (Cloudera manager, services Cloudera data platform : HDFS, Yarn, Zookeeper …). C'est un poste de généraliste expert plutôt que de spécialiste pointu sur un seul outil : nous voulons une personne qui parle à toute la stack, pas plusieurs experts séparés. Les compétences transverses attendues Automatisation : Ansible pour les configs, certificats, keystores. Réduction des interventions manuelles répétitives. Process de production : incidents, ticketing, ITIL (gestion des incidents, problèmes, changements). Opération dans un cadre structuré, probablement avec des SLA contractuels. Anglais technique : pour échanger directement avec l'éditeur Cloudera (support niveau 3, escalades). DevOps : Github, Jenkins pour le versionning et les packages. Linux avancé : analyse de logs pour le traitement d'incidents. Contribution active : force de proposition sur l'exploitabilité, participation aux comités et réunions d'équipe. Ce que ça signifie en synthèse : Nous avons besoin d'un administrateur systèmes expert Big Data qui combine trois casquettes : opérationnelle (exploitation quotidienne, incidents, SLA), technique transverse (toute la stack Lakehouse Cloudera) et amélioration continue (automatisation, proposition, reporting). C'est un poste clé pour la stabilité et la sécurité d'une plateforme de données critique en production. Lieu de travail : La Défense 2 jours de télétravail par semaine (full présentiel le 1er mois)
Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation
Rattaché à l'équipe Data, vous êtes garant du bon fonctionnement, de la fiabilité et de la performance de l'écosystème Big Data de l'entreprise. Vous intervenez sur une plateforme Hadoop hybride, articulée avec des services Cloud GCP et des environnements Kubernetes-as-a-Service. Exploitation et maintien en conditions opérationnelles Vous assurez le MCO de l'écosystème Hadoop et garantissez la disponibilité, la performance et la sécurité des clusters. Vous supervisez l'état de santé des composants (HDFS, Yarn, Hive, Spark, Oozie) et contribuez à la fiabilisation du socle technique en réduisant progressivement les points de fragilité identifiés. Gestion des incidents et support N2/N3 Vous prenez en charge les incidents, menez les analyses techniques, identifiez les causes racines (RCA) et proposez les plans d'actions correctifs. Vous assurez le suivi jusqu'à résolution complète et maintenez la documentation technique associée. Amélioration continue et automatisation Vous contribuez aux chantiers d'amélioration de la plateforme (performance, architecture, déploiements) et développez ou optimisez les scripts d'automatisation en Python, Shell ou Ansible. Vous participez aux évolutions de l'écosystème et aux projets de transformation Big Data. Environnement Cloud GCP Vous participez à l'exploitation et à l'évolution des services GCP liés au Big Data (BigQuery, Dataproc, Cloud Storage), contribuez aux migrations et interconnexions entre Hadoop et GCP, et assurez le monitoring, la gouvernance ainsi que l'optimisation des coûts Cloud. Plateformes KaaS Vous administrez et exploitez les environnements Kubernetes-as-a-Service (GKE, Anthos ou équivalent interne), déployez et maintenez les services Data et applicatifs associés, surveillez les clusters et gérez ressources, namespaces et montée en charge. Vous contribuez à la sécurisation et à la standardisation des déploiements.
Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet
Au sein d'une équipe Data & Digital, vous intervenez sur le développement et l'industrialisation de solutions Big Data à forte volumétrie dans un environnement exigeant et innovant. Vous contribuerez à la conception, au développement et à l'exploitation de plateformes Data reposant sur des technologies Cloud et Big Data. Vos missionsDévelopper des applications Data et des API REST en Java/Spring. Participer aux études de faisabilité et aux choix techniques. Concevoir et implémenter des traitements Big Data. Mettre en œuvre les bonnes pratiques de qualité logicielle (TDD/BDD). Automatiser les déploiements et contribuer à l'industrialisation des environnements. Optimiser les performances applicatives et la stabilité des plateformes. Accompagner les équipes métiers et participer au support des phases de tests. Assurer le maintien en conditions opérationnelles des solutions. Profil recherchéBac+5 École d'Ingénieur ou équivalent. Expérience significative en Data Engineering et environnements Big Data. Excellente maîtrise de Java. Solides compétences sur Spark et Hadoop. Expérience des environnements Cloud AWS et/ou Azure. Bonne maîtrise de Python et/ou Scala. Expérience des API REST et du framework Spring. Environnement techniqueJava Spring Boot Spark Hadoop HDFS Oozie Scala Python AWS Azure Shell Unix Git / GitHub Containers TDD / BDD
Missions principales: Assurer le maintien en conditions opérationnelles (RUN/MCO) de la plateforme Big Data. Prendre en charge le support N3 et la résolution d'incidents complexes. Administrer et optimiser les environnements Cloudera CDH/CDP. Piloter et superviser les composants Hadoop (HDFS, YARN) et Spark. Gérer les sujets de sécurité (Kerberos, Ranger). Contribuer à l'automatisation et à l'industrialisation des opérations (Jenkins, CI/CD). Apporter un leadership technique auprès des équipes. Participer aux projets d'évolution vers Azure et Databricks. Compétences requises: Indispensables : Cloudera Manager Hadoop (HDFS, YARN) Spark RUN / MCO de plateformes critiques Support N3 et gestion d'incidents Kerberos / Ranger Jenkins et outils CI/CD Linux Appréciées : Azure Databricks Scripting Shell ou Python Environnements Cloud hybrides
Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum
Je recherche un Ingénieur Big Data / Administrateur Hadoop-Cloudera (CDP) confirmé à senior pour une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l'installation de cluster · Au monitoring et à l'administration des outils Big Data · A l'administration de cluster · A l'upgrade des distributions et des composants Hadoop · A l'installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d'environnements de développement et de test · A la sécurisation des clusters Compétences techniques requises · Installation et configuration des différents distributions sur Hadoop : · Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka… · Monitoring des clusters avec Ambari, Cloudera manager, … · Administration des clusters : droits d'accès, Policy Ranger, création d'environnements… · CI/CD Ansible, Jenkins,… · Méthodes agiles : Scrum, Safe, Kanban, … Profil recherché Une expérience significative dans le cadre de projets Big Data sur une plateforme distribution Hadoop & CDP. · Anglais opérationnel et bonne aisance en communication · Capacité d'analyse et d'adaptation · Force de proposition, la veille technologique.
Je cherche pour un de client un Data Engineer Sénior (+7 ans) sur Vannes avec 3 jours sur site La mission s'effectuera dans le domaine Risques au sien de la squad en charge de la notation des entreprises. La squad est constituée d'un Product Owner, un Scrum Master et d'équipiers BA et IT. Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Tâches : - Assure le développement et l intégration des évolutions sur le périmètre des solutions de la Squad - Prépare, réalise la mise en production avec les équipes expertes; assure le SAV - Gère et maintient la documentation fonctionnelle et technique - Contribue à l assistance à l utilisation des solutions - Contribue aux séances d'affinage technique en phase de conception - Réalise une veille technologique régulière pour être au fait des dernières tendances - Contribue à alimenter le contenu du backlog pour prévoir les développements futurs - Analyse du patrimoine existant
Consultant HBase / AWS EMRInformations générales Localisation : Nanterre (92) Télétravail : 50 % Démarrage : ASAP Durée : Longue durée Nombre de postes : Plusieurs ouvertures ContexteDans le cadre du renforcement de ses équipes Data Platforms, notre client recherche plusieurs consultants HBase afin d'intervenir sur des plateformes Big Data critiques hébergées dans AWS. Les consultants rejoindront une équipe en charge de l'exploitation, de l'optimisation et de la fiabilisation d'environnements HBase exécutés sur AWS Elastic MapReduce (EMR). L'objectif principal est de garantir la stabilité, la performance et la disponibilité des plateformes tout en accompagnant les équipes sur les problématiques de capacité, de tuning et d'amélioration continue. MissionsRUN et exploitation HBaseAssurer le maintien en condition opérationnelle des plateformes HBase Participer à l'exploitation quotidienne des clusters Analyser et résoudre les incidents de production Participer aux activités de support de niveau 2 et 3 Assurer le suivi des traitements et des performances des plateformes Performance et optimisationIdentifier les goulots d'étranglement et les problèmes de performance Réaliser les analyses de capacité et les études de montée en charge Optimiser les temps de réponse et les performances globales des clusters Participer à l'amélioration continue des architectures existantes Analyser les métriques système et applicatives Administration HBaseAdministrer et maintenir les environnements HBase Participer aux opérations de maintenance des clusters Gérer les problématiques liées aux Region Servers Analyser les problématiques de compaction Optimiser les stratégies de stockage et d'accès aux données Participer à la gestion de la volumétrie et de la croissance des données Réaliser et superviser les opérations de Major Compaction et Minor Compaction Participer à l'optimisation des performances liées aux HFiles, WAL, MemStore et Region Splits Environnement techniqueBig DataApache HBase HDFS ZooKeeper CloudAWS Elastic MapReduce (EMR) SystèmesLinux Monitoring & ExploitationSupervision des clusters Analyse de performances Troubleshooting Compétences recherchéesIndispensablesBonne maîtrise de HBase Expérience en environnement de production AWS EMR (Elastic MapReduce) Analyse de performances Troubleshooting RUN critique Capacity Planning Linux Connaissances HBase valoriséesRegion Servers HMaster Compactions Major Compaction Minor Compaction Gestion des HFiles WAL (Write Ahead Log) MemStore Region Split Hot Regions Optimisation des lectures/écritures Répartition de charge Tuning HBase Gestion de la volumétrie Profil recherchéNous recherchons un consultant disposant d'une expérience significative sur des environnements HBase en production. Le consultant devra être capable d'intervenir sur des problématiques de RUN, de performance, de capacité et de fiabilité des plateformes, tout en étant force de proposition sur les améliorations techniques et les optimisations à mettre en œuvre. Une expérience sur AWS EMR ainsi qu'une bonne compréhension de l'écosystème Hadoop seront particulièrement appréciées.
