Job Vacancy Tech Lead / Senior Data Engineer Python Spark AWS

Je recherche un profil senior Data Engineer avec une évolution rapide vers un poste de Tech Lead.

Points clés :

• Solides connaissances et pratique en Python (design, tests, processus de développement, etc.)

• Data Engineering : architecture big data / modélisation / optimisation / environnement distribué

• Connaissance du cloud AWS ; un niveau intermédiaire minimum est requis, avec une expérience pratique

• Bon esprit d'équipe et capacité d'adaptation

• Bonnes compétences en communication en anglais

L'objectif est de développer une plateforme basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans les différents pays où le client opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant d'accéder à des vues standardisées et transversales de ces indicateurs.

Outre ses responsabilités techniques, le data engineer veillera au respect des directives du groupe concernant l'utilisation du cadre interne et l'architecture. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des solutions communes pour la plateforme.

Le rôle du data engineer senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme :

• Ingestion des données

• Traitement et normalisation des données.

• Distribution des données aux différentes parties prenantes.

• Construire et améliorer le cadre commun, notamment en matière de surveillance, de CI/CD, de tests, de performances, de résilience, de pratiques de développement et de qualité du code.