Mission freelance [SCH] Data Engineer Hadoop - 1965

Au sein de la DSI, l’entité concernée fournit aux services Technologies & Opérations les applications nécessaires à leur fonctionnement. Le consultant interviendra sur les évolutions du datalake, en lien avec l’équipe de production applicative / devops.

Missions :
- Mettre en œuvre de nouvelles ingestions de données
- Réaliser la data prep/transformation
- Maintenir les outils de gestion des pipelines de données
- Faire évoluer les outils de gestion des pipelines de données avec Pyspark et shell scripting
- Adresser à l’équipe devops les demandes relatives aux évolutions de la plateforme
- Rédiger des spécifications techniques claires et précises
- Travailler dans un environnement agile avec la méthodologie SCRUM

Profil attendu :
Le consultant doit avoir une excellente maîtrise de la plateforme Hadoop ainsi que du développement en Python/PySpark et Hive. Une bonne connaissance de SQL, GIT, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l’anglais à l’écrit et à l’oral est requise pour les échanges avec les interlocuteurs basés à Porto. Une expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM, est attendue.