Job Vacancy Data Engineer AWS expérimenté

Dans le cadre du renforcement de l'équipe Data de notre client, nous recherchons un(e) Data Engineer AWS expérimenté(e) (5 à 7 ans d’expérience minimum), capable d’intervenir sur des plateformes data à forte volumétrie et à forts enjeux de performance, de sécurité et de coûts.

• Contrôler et garantir la disponibilité des données et des services

• Assurer le suivi des traitements et la gestion des incidents

• Répondre aux demandes de données ad hoc et analyser les anomalies

• Développer des correctifs et des évolutions si nécessaire

• Contribuer à la qualité des données et à l’industrialisation de la plateforme

• Communiquer avec les utilisateurs et accompagner les équipes

• Concevoir et mettre en place des flux de données (acquisition, transformation, exposition)

• Développer des pipelines robustes et performants (batch et temps réel)

• Réaliser des modélisations de données adaptées aux usages métiers

• Mettre en place les traitements sur différents formats (CSV, XML, JSON, Parquet)

• Ordonnancer les traitements et gérer les dépendances (Airflow)

• Développer et maintenir des flux temps réel via Kafka (MSK)

• Réaliser les tests unitaires et d’intégration

• Participer aux revues de code et veiller au respect des standards

• Gérer les déploiements sur l’ensemble des environnements

• Enrichir et maintenir la documentation technique

Environnement technique

• AWS : S3, EMR, EKS, EC2, Lambda, Athena

• Spark (Scala), Python, SQL

• Kafka

• Airflow

• Dataiku

• GitLab & GitLab CI

• Terraform