Le poste Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans/sal
Partager cette offre
Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans
Anglais obligatoire
Compétences recherchées :
Data Engineer AWS (S3, Glue, Athena, Python)
Tâches à traiter :
Understanding of scientific data in the pharma CMC space
Requirements clarification with stakeholders, effort estimation for PI planning
Good knowledge of Lean & Agile practices
AWS data engineering: S3, Glue (Jobs/Workflows), Athena
ETL/ELT development: Python, Glue ETL, schema evolution, partitioning
Data modeling: harmonized domain models, star/snowflake schemas, metadata management
SQL optimization: Athena performance tuning, cost-aware query design, partition/pruning strategies
Testing and quality: unit/integration tests for pipelines, DQ frameworks
Documentation and KT: runbooks, architecture diagrams, KT planning and execution
Migration experience: parallel-run strategy, cutover planning, backfill, data reconciliation
Profil recherché
AWS data engineering: S3, Glue (Jobs/Workflows), Athena
Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement
Modélisation des données : modèles de domaine harmonisés, schémas en étoile/flocon de neige, gestion des métadonnées
Optimisation SQL : réglage des performances Athena, conception de requêtes optimisée pour les coûts, stratégies de partitionnement/élagage
Tests et qualité : tests unitaires et d’intégration pour les pipelines, frameworks de qualité des données
Documentation et transfert de connaissances : manuels d’exploitation, diagrammes d’architecture, planification et exécution du transfert de connaissances
Expérience de migration : stratégie d’exécution parallèle, planification de la bascule, remplissage des données, réconciliation des données
Environnement de travail
AWS data engineering: S3, Glue (Jobs/Workflows), Athena
Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement
Modélisation des données : modèles de domaine harmonisés, schémas en étoile/flocon de neige, gestion des métadonnées
Optimisation SQL : réglage des performances Athena, conception de requêtes optimisée pour les coûts, stratégies de partitionnement/élagage
Tests et qualité : tests unitaires et d’intégration pour les pipelines, frameworks de qualité des données
Documentation et transfert de connaissances : manuels d’exploitation, diagrammes d’architecture, planification et exécution du transfert de connaissances
Expérience de migration : stratégie d’exécution parallèle, planification de la bascule, remplissage des données, réconciliation des données
Postulez à cette offre !
Trouvez votre prochaine mission parmi +9 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans/sal
WorldWide People
