Mission freelance Data Engineer

Cherry Pick est à la recherche d'un Data Engineer pour l'un de ses clients.

Missions :

Pour remplir à bien sa mission, ce Data Engineer Expérimenté devra :

-Apporter une expertise sur la constitution de datasets & KPIs

-Aider l’équipe à prendre les meilleurs choix techniques

-Assurer la qualité des traitements et des données

-Comprendre un modèle de données et s'en servir

-Etre capable de transformer une donnée brut en un dataset utilisable

-Etre capable de créer des KPIs à partir des données du Datalake

- Maitriser et controler la qualité de code

- Faire des peer reviews / peer programming

-Maîtriser les modèles de données et les outils de transformation                       

-Mettre en place des indicateurs de mesure de qualité sur chaque développement engagé

pour assurer la bonne mise à disposition de la donnée

Notre stack technique (non exhaustive) est la suivante :

-Datalake : S3 (AWS), Glue (AWS)

-Transfo : Airflow, PySpark (obligatoire), DBT (Facultatif)

-Intégration : Github Actions

-Versionning : GitHub

Livrables

-Réalisation de spécifications techniques

-Développement

-Tests unitaires

-CI/CD