Offre d'emploi Développeur  Data Python SQL Shell Spark

CONTEXTE :

Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop.          L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement  des utilisateurs                                    

MISSIONS

Rattaché au responsable Big Data, le profil aura pour principales missions :

- de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)

- d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)

- de mettre en place des extractions à partir de ces données,

- d’assurer le support niveau 2,

- de faire appliquer les consignes aux utilisateurs,

- de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes

- de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité

Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée.

Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner.

Dans le même ordre d'idée, quelques attendus :

- Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets

- Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation

- Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe

- Optimisation des traitements de la plateforme et ceux des utilisateurs

Livrables attendus                                                               

"Code source documenté

Plan de tests / fiches de test

Bilan

Bordereau de livraison

Manuel d’installation

Dossier d’exploitation

JIRA documentée"                                                                

Environnement technique - technologique                                                           

"• Cloudera Hadoop

• Hive, impala

• Python

• SQL

• Shell

• Spark

• VBA

• GIT

• Jupyter

• Linux

• JIRA"           

Compétences techniques                                                               

Connaisance Cloudera Hadoop, Hive, Impala                                                                     

Développement Python                                                       

Requêtage SQL                                                                     

Développement Shell                                                          

Développement Spark (Scala)                                                          

Utilisation de GIT                                                      

Agilité (méthodes Kanban et/ou Scrum)                                                     

Compétence liée à l'environnement                                                           

Connaissance de l'écosystème de la protection sociale