Job position Développeur Big Data
Share this job
Organisation
Dans le cadre de ses activités liées au traitement de données volumineuses, une organisation recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans la gestion d'une plateforme Hadoop.
Objectif de la mission
- Réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, notamment la mise en place d'extractions et l'accompagnement des utilisateurs.
Description de la mission
Le candidat, rattaché au responsable en charge du traitement de données volumineuses, sera principalement chargé de :
- Prendre en charge l'évolution des flux de données et reprendre les développements existants pour leur alimentation, en faisant évoluer ceux-ci selon les besoins. (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)
- Définir la spécification technique des tâches, fournir des requêtes de référence, réaliser des revues de code, et accompagner d’éventuels alternants ou stagiaires.
- Mettre en place des processus d'extraction à partir des données.
- Assurer le support de niveau 2.
- Faire respecter les consignes d’utilisation auprès des utilisateurs.
- Garantir le respect des délais de livraison dans un environnement exigeant.
- Contribuer à la maintenabilité, la performance et l’exploitabilité de la plateforme.
Il veillera également à respecter l’utilisation des modèles référencés ou leur évolution, en collaboration avec la Direction Technique et la Gouvernance des Données.
Le profil doit posséder des compétences avérées en communication, diplomatie, capacité d’intégration, partage de connaissances, documentation, et accompagnement des utilisateurs.
Candidate profile
Compétences et expériences requises :
- Développement de traitements d'alimentation, avec une forte capacité à structurer l'activité à l'aide d'outils tels que JIRA. Mise en place et rédaction de processus, y compris la création de guides et l'accompagnement des utilisateurs. Pilotage opérationnel de certains sujets pour assurer leur bon déroulement.
- Expertise dans le développement d'extractions de données via SQL et scripting Shell avancé, notamment pour automatiser les tâches répétitives.
- Capacité à analyser et à réaliser du reverse engineering dans une architecture héritée complexe, en identifiant rapidement les enjeux et solutions potentiels.
- Optimisation des traitements de la plateforme, ainsi que ceux réalisés par les utilisateurs, afin d'améliorer la performance et l'efficacité.
- Aptitude à communiquer aisément, en vulgarisant les sujets techniques pour des interlocuteurs variés tels que développeurs, bureaux d'études, qualifieurs ou clients (Groupes de protection sociale). La connaissance de Power BI et SAS constitue un atout supplémentaire.
Exemples de livrables attendus :
- Code source documenté
- Plan et fiches de tests
- Bilan de l'étude ou du projet
- Bordereau de livraison
- Manuel d’installation
- Dossier d’exploitation
- Documentation JIRA
Environnement technique :
- Hadoop Cloudera
- Hive
- Impala
- Python
- Shell
- Spark
- Linux
- SQL
- VBA
- Git
- Jupyter
Connaissances complémentaires :
Une bonne compréhension de l’écosystème de la protection sociale, notamment en retraite complémentaire, serait un avantage appréciable.
Apply to this job!
Find your next career move from +800 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Développeur Big Data
Codezys