Dans le cadre du développement et de l'évolution de sa plateforme Big Data, un grand compte du secteur bancaire recherche un Administrateur Hadoop Expert afin de renforcer son équipe Infrastructure Big Data. Vous interviendrez sur une plateforme Cloudera CDP stratégique et participerez à son administration, son évolution, son industrialisation ainsi qu'à la résolution de problématiques techniques complexes dans un environnement à forte volumétrie. Vos missionsVous intégrerez l'équipe en charge de l'administration de la plateforme Hadoop et serez responsable de : Administrer, maintenir et faire évoluer les clusters Hadoop sous Cloudera CDP. Installer, configurer et exploiter les composants de la plateforme Big Data. Garantir la disponibilité, la performance et la sécurité des infrastructures Hadoop. Participer aux montées de versions majeures des composants Cloudera. Automatiser les déploiements et opérations d'exploitation via Ansible et Terraform/Terragrunt. Assurer le support technique de niveau 2/3 et résoudre les incidents complexes. Participer aux task forces sur les problématiques critiques de production. Administrer les services Hadoop (HDFS, YARN, Hive, Spark, HBase...). Gérer les plateformes d'ingestion de données (Kafka, NiFi). Mettre en œuvre les évolutions techniques et les nouvelles fonctionnalités de la plateforme. Assurer la documentation technique, les procédures d'exploitation et le transfert de compétences. Collaborer avec les équipes Infrastructure, Data Engineering, Production et l'éditeur Cloudera. Environnement techniqueBig DataCloudera CDP 7.x Hadoop HDFS Hive Spark YARN HBase Oozie IngestionApache Kafka Apache NiFi SécuritéRanger Kerberos Knox DevOps & AutomatisationAnsible Terraform Terragrunt Jenkins Git SystèmesLinux Shell scripting MonitoringGrafana Elasticsearch / Kibana Prometheus (apprécié)
Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA
Pour ce besoin d'un Développeur FullStack Python / Node.js / Vue.js, nous recherchons un profil confirmé / sénior afin de renforcer l'équipe DevCo au sein du pôle Data (secteur de l'énergie). Détails de la missionLocalisation :IDF (2 jours par semaine obligatoires sur site) TJM : 500 € Date de démarrage : ASAP Missions principalesConception & Développement : Contribuer à la conception et à la réalisation de solutions applicatives pour répondre aux besoins prioritaires d'analyse et de restitution de données. Industrialisation Data Science : Participer à l'amélioration de la capacité d'intégration et d'industrialisation des cœurs de data-science et des développements métiers dans le Système d'Information (SI). Documentation technique : Rédiger les Dossiers de conception et d'exploitation des solutions délivrées afin de garantir leur maintenabilité. Veille & Innovation : Assurer une veille technologique constante et proposer des solutions innovantes pour exploiter au mieux les données. Craftsmanship & Standards : Contribuer activement à la définition des Guidelines (bonnes pratiques de développement, d'utilisation de la plateforme et de déploiement). Compétences techniques attenduesBackend & Data (Python) : Maîtrise approfondie des langages d'analyse et de traitement de données (Python, Flask, Pandas, Plotly, etc.) en Programmation Orientée Objet (POO). Frontend & Middle (JS) : Excellente maîtrise des langages de développement front-end (SPA Vue.js, Node.js). DevOps : Pratique courante des environnements et outils d'intégration continue (GitLab, Docker, SonarQube, CheckMarx, etc.). Big Data : Bonnes connaissances des architectures Big Data (Hadoop, HBase, HDFS). Soft Skills : Capacité d'animation d'ateliers de conception, de formation et de communauté technique ; excellente communication avec les métiers.
Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
Almatek recherche pour l'un de ses client, Un Expert Cloudera (RUN & MCO) / Big Data Platform Engineer sur Paris. EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme, avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on?premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d'exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on?prem / cloud) Rédaction de documentation technique, procédures d'exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI?CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d'une mission stratégique en environnement de production critique, nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on?premise existante, en phase de stabilisation, MCO et transition vers le cloud. La plateforme est en place depuis plusieurs années et fait l'objet : d'un RUN exigeant (disponibilité, performance, sécurité), d'une migration progressive des usages vers le cloud, et du remplacement d'un profil historique/fondateur de la plateforme. Ce n'est pas un rôle de : Data Engineer DBA
