Job Vacancy Data Engineer AWS

Expérience requise : 5 à 10 ans

Anglais obligatoire

Compétences recherchées :

• Data Engineer AWS (S3, Glue, Athena, Python)

Tâches à traiter :

• Compréhension des données scientifiques dans le domaine pharma CMC

• Clarification des besoins avec les parties prenantes, estimation de l’effort pour la planification PI

• Bonne connaissance des pratiques Lean & Agile

• Ingénierie de données AWS : S3, Glue (Jobs/Workflows), Athena

• Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement

• Modélisation de données : modèles de domaine harmonisés, schémas en étoile/flocon, gestion des métadonnées

• Optimisation SQL : amélioration des performances sous Athena, conception de requêtes optimisées en coût, stratégies de partitionnement/pruning

• Tests et qualité : tests unitaires/intégration pour les pipelines, frameworks de qualité des données

• Documentation et transfert de connaissances : runbooks, diagrammes d’architecture, planification et exécution du KT

• Expérience en migration : stratégie de fonctionnement parallèle, planification du cutover, backfill, rapprochement des données