Job position Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans/sal
Share this job
Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans
Anglais obligatoire
Compétences recherchées :
Data Engineer AWS (S3, Glue, Athena, Python)
Tâches à traiter :
Understanding of scientific data in the pharma CMC space
Requirements clarification with stakeholders, effort estimation for PI planning
Good knowledge of Lean & Agile practices
AWS data engineering: S3, Glue (Jobs/Workflows), Athena
ETL/ELT development: Python, Glue ETL, schema evolution, partitioning
Data modeling: harmonized domain models, star/snowflake schemas, metadata management
SQL optimization: Athena performance tuning, cost-aware query design, partition/pruning strategies
Testing and quality: unit/integration tests for pipelines, DQ frameworks
Documentation and KT: runbooks, architecture diagrams, KT planning and execution
Migration experience: parallel-run strategy, cutover planning, backfill, data reconciliation
Candidate profile
AWS data engineering: S3, Glue (Jobs/Workflows), Athena
Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement
Modélisation des données : modèles de domaine harmonisés, schémas en étoile/flocon de neige, gestion des métadonnées
Optimisation SQL : réglage des performances Athena, conception de requêtes optimisée pour les coûts, stratégies de partitionnement/élagage
Tests et qualité : tests unitaires et d’intégration pour les pipelines, frameworks de qualité des données
Documentation et transfert de connaissances : manuels d’exploitation, diagrammes d’architecture, planification et exécution du transfert de connaissances
Expérience de migration : stratégie d’exécution parallèle, planification de la bascule, remplissage des données, réconciliation des données
Working environment
AWS data engineering: S3, Glue (Jobs/Workflows), Athena
Développement ETL/ELT : Python, Glue ETL, évolution de schémas, partitionnement
Modélisation des données : modèles de domaine harmonisés, schémas en étoile/flocon de neige, gestion des métadonnées
Optimisation SQL : réglage des performances Athena, conception de requêtes optimisée pour les coûts, stratégies de partitionnement/élagage
Tests et qualité : tests unitaires et d’intégration pour les pipelines, frameworks de qualité des données
Documentation et transfert de connaissances : manuels d’exploitation, diagrammes d’architecture, planification et exécution du transfert de connaissances
Expérience de migration : stratégie d’exécution parallèle, planification de la bascule, remplissage des données, réconciliation des données
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer AWS (S3, Glue, Athena, Python) 5 à 10 ans/sal
WorldWide People
