Job Vacancy Consultant DataOps / Administrateur Hadoop

• Déploiement automatisé de clusters via pipelines Jenkins

• Installation et configuration des composants Hadoop via Ansible

• Adaptation des architectures selon les besoins projets (sécurité, performance, capacité)

• Contribution aux pratiques CI/CD et Infrastructure as Code

• Déploiement et administration du TDP Manager

• Mise en place de Hue pour les environnements Datalab

Le consultant est responsable de l’installation, la configuration et l’exploitation de :

• Sécurité & identités :

  • OpenLDAP

  • Kerberos

  • Ranger (politiques de sécurité)

• Stockage & calcul distribué :

  • HDFS (baie Huawei)

  • Hadoop (YARN, services core)

• Traitement & accès aux données :

  • Spark

  • Hive

• Services transverses :

  • ZooKeeper

  • PostgreSQL

Responsabilités associées :

• Gestion des dépendances inter-services

• Cohérence des versions

• Optimisation des performances et de la stabilité

• Résolution des incidents complexes

• Provisionnement de VM sous VMware

• Préparation des prérequis systèmes (OS, réseau, stockage)

• Automatisation via Ansible et scripts Bash

• Gestion des environnements DEV / RECETTE / PROD

• Mise en œuvre et maintien de la stack d’observabilité :

  • Prometheus

  • Alertmanager

  • Loki / Promtail

  • Grafana

• Définition des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

• Administration quotidienne des clusters Hadoop

• Support aux équipes projets et utilisateurs Datalab

• Gestion des incidents, demandes d’évolution et correctifs

• Montées de version

• Suivi de capacité (CPU, RAM, stockage)

• Rédaction et mise à jour de la documentation technique

• Participation active aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure

  • Équipes projets data / métiers

  • Référents sécurité

• Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme

• Forte capacité de communication transverse

• Expertise Hadoop / Big Data on-prem

• Solide expérience DataOps / DevOps

• Maîtrise de :

  • Jenkins, GitLab CI/CD, SonarQube

  • Ansible, Bash

  • VMware, Docker

  • Stack d’observabilité (Prometheus, Grafana, Loki)

• Rigueur et sens de la qualité

• Forte sensibilité aux enjeux de sécurité

• Capacité d’anticipation (supervision, performance, capacité)

• Autonomie et esprit d’équipe

• Aisance dans des environnements complexes et critiques

• Forte interdépendance des composants Hadoop

• Exigences élevées en matière de sécurité (Kerberos, Ranger)

• Enjeux de performance et de disponibilité

• Nécessité d’une coordination transverse permanente

• Déploiement automatisé de clusters via pipelines Jenkins

• Installation et configuration des composants Hadoop via Ansible

• Adaptation des architectures selon les besoins projets (sécurité, performance, capacité)

• Contribution aux pratiques CI/CD et Infrastructure as Code

• Déploiement et administration du TDP Manager

• Mise en place de Hue pour les environnements Datalab

Le consultant est responsable de l’installation, la configuration et l’exploitation de :

• Sécurité & identités :

  • OpenLDAP

  • Kerberos

  • Ranger (politiques de sécurité)

• Stockage & calcul distribué :

  • HDFS (baie Huawei)

  • Hadoop (YARN, services core)

• Traitement & accès aux données :

  • Spark

  • Hive

• Services transverses :

  • ZooKeeper

  • PostgreSQL

Responsabilités associées :

• Gestion des dépendances inter-services

• Cohérence des versions

• Optimisation des performances et de la stabilité

• Résolution des incidents complexes

• Provisionnement de VM sous VMware

• Préparation des prérequis systèmes (OS, réseau, stockage)

• Automatisation via Ansible et scripts Bash

• Gestion des environnements DEV / RECETTE / PROD

• Mise en œuvre et maintien de la stack d’observabilité :

  • Prometheus

  • Alertmanager

  • Loki / Promtail

  • Grafana

• Définition des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

• Administration quotidienne des clusters Hadoop

• Support aux équipes projets et utilisateurs Datalab

• Gestion des incidents, demandes d’évolution et correctifs

• Montées de version

• Suivi de capacité (CPU, RAM, stockage)

• Rédaction et mise à jour de la documentation technique

• Participation active aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure

  • Équipes projets data / métiers

  • Référents sécurité

• Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme

• Forte capacité de communication transverse

• Expertise Hadoop / Big Data on-prem

• Solide expérience DataOps / DevOps

• Maîtrise de :

  • Jenkins, GitLab CI/CD, SonarQube

  • Ansible, Bash

  • VMware, Docker

  • Stack d’observabilité (Prometheus, Grafana, Loki)

• Rigueur et sens de la qualité

• Forte sensibilité aux enjeux de sécurité

• Capacité d’anticipation (supervision, performance, capacité)

• Autonomie et esprit d’équipe

• Aisance dans des environnements complexes et critiques

• Forte interdépendance des composants Hadoop

• Exigences élevées en matière de sécurité (Kerberos, Ranger)

• Enjeux de performance et de disponibilité

• Nécessité d’une coordination transverse permanente