Offre d'emploi Data Engineer AWS – Data Platform & Lakehouse
Île-de-France
AVA2I
Partager cette offre
Dans le cadre d’un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l’évolution d’une Data Platform destinée à alimenter des solutions métiers et des cas d’usage IA.
La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse.
MissionsParticiper à la définition et à l’évolution de l’architecture de la Data Platform et du Lakehouse.
Concevoir, développer et optimiser des pipelines d’ingestion et de transformation de données.
Développer des jobs Data avec AWS Glue, Spark et PySpark.
Intégrer les services AWS dédiés au Data Management.
Développer et maintenir des API en Java 17/21 avec Spring Boot.
Traiter des données internes et provenant de fournisseurs externes.
Traduire les besoins fonctionnels en solutions techniques fiables et évolutives.
Participer à la mise en place d’un environnement Data Lab.
Industrialiser les développements et les déploiements avec des pipelines CI/CD.
Mettre en place les tests automatisés et les contrôles de qualité du code.
Garantir la sécurité, la performance et la maintenabilité des solutions.
Participer aux mises en production.
Assurer le support de production en cas d’incident majeur.
Produire et maintenir la documentation technique.
AWS : S3, Glue et services Data associés
Data Engineering : Spark, PySpark et Hadoop
Lakehouse : Apache Iceberg et Trino
Développement : Java 17/21 et Spring Boot
Bases de données : PostgreSQL et Oracle
Tests : JUnit 5 et Mockito
CI/CD : GitLab CI
Qualité et gestion des dépendances : SonarQube, Maven et Artifactory
Conteneurisation : Docker et Kubernetes
GitOps et déploiement : Argo CD
Formats : JSON, YAML et XML
Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint
Profil recherché
Expérience confirmée en Data Engineering et Data Management.
Maîtrise du développement de pipelines AWS Glue en PySpark.
Expérience dans la conception ou l’évolution d’une Data Platform sur AWS.
Bonne maîtrise du développement Java et Spring Boot.
Connaissance des architectures Data Lake et Lakehouse.
Expérience des environnements de production et des pratiques DevOps/DataOps.
Capacité à traduire des besoins fonctionnels en solutions techniques.
Autonomie, rigueur, esprit d’analyse et sens du travail en équipe.
Une expérience bancaire ou dans un environnement réglementé serait appréciée.
Anglais professionnel obligatoire.
Environnement de travail
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer AWS – Data Platform & Lakehouse
AVA2I