Offre d'emploi Data Engineer AWS

Nous recherchons pour l’un de nos clients un Data Engineer AWS.

Contexte de la mission :

Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone.

Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme.

Missions :

- Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés.
- Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients.
- Mettre en place des dashboards sur Quicksight pour visualiser les résultats.
- Développer une API Flask et exposer les calculs via Swagger.
- Exploration des données via AWS Athena.
- Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers.
- Scheduler des jobs via CloudWatch et StepFunctions.
- Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops
- Mise en place de WebApps sur Azure pour héberger nos API Flask.
- Collaborer avec nos clients pour présenter nos calculs et les accompagner.

Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.