Offre de mission Expert haadoop

Expert Hadoop (Cloudera CDP) maîtrisant Ansible pour participer à la construction de notre nouvelle plateforme Big data.

Pour la mission suivante :

Onpremise :
Participer à l’automatisation de l’infrastructure Bigdata ( basée sur le logiciel de l’éditeur Cloudera CDP 7.1) s’appuyant sur TERRAFORM et ANSIBLE
- Extension automatisée des clusters Bigdata avec l’ajout de nouveaux datanodes
- Patching et Upgrade logiciel automatisé
- Ajout de nouveau services ( Archivage, stockage objet, authentification forte..)
- Mise en œuvre de l’infrastructure de secours
- Maintien de la production en conditions opérationnelles

Technologie UNIX
Linux
Shell
Python
Ansible
Open source
SSL
Redhat
Agile Scrum
Terraform

Expertises complémentaires
Hadoop
HDFS
Oozie
Zookeeper
Ranger
Knox
Kerberos
LDAP
Hbase
Kafka
Cloudera Manager
Spark
Hive
Nifi


L’objectif du programme LUCID est la mise en œuvre d’une nouvelle offre de service BIGDATA

Cette nouvelle offre de service doit :
- Être Industrielle avec différents environnements distincts ( DEV, INT, Homol, PROD, DR)
- Être Sécurisée, afin d’accueillir des données de tout type C1, C2, C3
- Être Résiliente, avec de la haute dispo sur l’ensemble des composants
- Être Secourue avec un DR distant
- Permettre le partage des données, de manière sécurisée, entre n’importe quelle équipe du client afin :
o Que chacun puisse travailler sur les données les plus fraîches
o Qu’il n’y ait pas de multiples copies des même données au sein du datalake

Mais cette offre de service doit aussi permettre de réduire le time to market à quelques minutes concernant chaque nouveau use case à mettre en œuvre.

Pour cela nous constitué 2 équipes :
- Une équipe dont le rôle est :
o le déploiement et le maintien en condition opérationnelles des différents environnements bigdata
o d’une manière entièrement automatisée, infrAsCode, s’appuyant sur Terraform et Ansible
 en se basant sur des Vms Openstack, du block storage, des load balancers ainsi que des serveurs physiques
o Cette équipe est experte sur les technologie Terraform, Ansible et Hadoop

- Une équipe dont le rôle est :
o Le développement d’API permettant aux utilisateurs de
 Créer et gérer des ressources Hadoop (Répertoires HDFS, BDD Hive, BDD Hbase, Queues Yarn, Topics Kafka..) sur n’importe quel cluster
 En quelques minutes
 En mode self service
o Ces API :
 Sont Développées en langage python
 Sont Hébergées sur Kubernetes
 S’appuient sur un orchestrateur qui est Apache AIRFLOW, lui-même en python
 Et font appel a des playbooks Ansible pour exécuter les commandes sur les différents clusters Hadoop

o Cette équipe est donc experte sur les technologie Python et Ansible