Offre d'emploi Data Engineer | Pyspark | Databricks | Azure

Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ».

Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier

Il participe également à la construction du socle technique Big Data.

Il a pour missions principales :

· De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment :

· passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données)

· consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake

· les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …)

· De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets)

· De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4)

Selon son profil, le Développeur Big Data pourra même :

· piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global

· De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe

· De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)

· D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)