Job Vacancy DATA ENGINEER AWS

Nous recherchons un DATA ENGINEER AWS pour un démmarage mission en début d'année

Compétences techniques requises pour candidater :

Expérience significative sur AWS (S3, EMR, EKS, EC2, Lambda, Athena...)

Maîtrise avancée de Spark Scala, Python et SQL

Mission :

Maintenir la plateforme en conditions opérationnelles :

• Garantir la disponibilité des données et des services de la plateforme,

• Assurer la communication avec les utilisateurs de la plateforme,

• Répondre aux demandes de données (données ad hoc, analyses d’anomalies),

• Développer les correctifs et évolutions nécessaires,

• Contribuer à la qualité des données et à l’industrialisation de leur exploitation.

Concevoir et développer des services et pipelines de données fiables et performants :

• Mettre en place des flux de données (acquisition, transformation, export),

• Concevoir et modéliser les données,

• Développer et optimiser les pipelines de transformation,

• Réaliser les tests unitaires et d’intégration,

• Garantir la qualité des développements via les revues de code,

• Ordonnancer et gérer les dépendances entre traitements,

• Déployer sur l’ensemble des environnements,

• Enrichir et maintenir la documentation de la plateforme.

Profil recherché :

• Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données,

• Capacité à collaborer avec une pluralité d'interlocuteurs en même temps,

• Excellent esprit d’équipe,

• Capacité d'adaptation,

• Maitrise impérative de : Spark Scala, Python et SQL,

• Expérience significative sur AWS.

Apprécié :

• Connaissance de Dataiku,

• Méthodologie Scrum/Safe,

• Airflow