Contractor job Développeur Big Data

Contexte de la mission :

Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions.

Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais.

Missions principales :

• Développement & évolution du Data Lake :
  
  
  
  • Gérer les évolutions des flux et des données à intégrer
  
  
  • Faire évoluer les développements existants d’alimentation
  
  
  • Maintenir les traitements d’ingestion et de transformation
  
  
  • Concevoir des extractions de données pour répondre aux besoins métiers
  
  
  
  


• Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter


• Expertise technique & structuration :
  
  
  
  • Rédaction des spécifications techniques
  
  
  • Fourniture de requêtes SQL de référence
  
  
  • Revue de code
  
  
  • Structuration et pilotage via JIRA
  
  
  • Documentation des processus et accompagnement des utilisateurs
  
  
  • Encadrement de profils juniors (alternants, stagiaires)
  
  
  
  


• Performance & optimisation :
  
  
  
  • Optimiser les traitements et requêtes
  
  
  • Améliorer la performance et l’exploitabilité
  
  
  • Contribuer à la maintenabilité globale
  
  
  • Réaliser du reverse engineering dans une architecture héritée complexe
  
  
  
  


• Support & accompagnement :
  
  
  
  • Assurer le support de niveau 2
  
  
  • Faire respecter les bonnes pratiques
  
  
  • Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients)
  
  
  
  


• Gouvernance & conformité :
  
  
  
  • Veiller au respect des modèles de données
  
  
  • Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards