Job Vacancy Data Engineer AWS – Data Platform & Lakehouse
Ile-de-France
AVA2I
Share this job
Dans le cadre d’un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l’évolution d’une Data Platform destinée à alimenter des solutions métiers et des cas d’usage IA.
La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse.
MissionsParticiper à la définition et à l’évolution de l’architecture de la Data Platform et du Lakehouse.
Concevoir, développer et optimiser des pipelines d’ingestion et de transformation de données.
Développer des jobs Data avec AWS Glue, Spark et PySpark.
Intégrer les services AWS dédiés au Data Management.
Développer et maintenir des API en Java 17/21 avec Spring Boot.
Traiter des données internes et provenant de fournisseurs externes.
Traduire les besoins fonctionnels en solutions techniques fiables et évolutives.
Participer à la mise en place d’un environnement Data Lab.
Industrialiser les développements et les déploiements avec des pipelines CI/CD.
Mettre en place les tests automatisés et les contrôles de qualité du code.
Garantir la sécurité, la performance et la maintenabilité des solutions.
Participer aux mises en production.
Assurer le support de production en cas d’incident majeur.
Produire et maintenir la documentation technique.
AWS : S3, Glue et services Data associés
Data Engineering : Spark, PySpark et Hadoop
Lakehouse : Apache Iceberg et Trino
Développement : Java 17/21 et Spring Boot
Bases de données : PostgreSQL et Oracle
Tests : JUnit 5 et Mockito
CI/CD : GitLab CI
Qualité et gestion des dépendances : SonarQube, Maven et Artifactory
Conteneurisation : Docker et Kubernetes
GitOps et déploiement : Argo CD
Formats : JSON, YAML et XML
Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint
Candidate profile
Expérience confirmée en Data Engineering et Data Management.
Maîtrise du développement de pipelines AWS Glue en PySpark.
Expérience dans la conception ou l’évolution d’une Data Platform sur AWS.
Bonne maîtrise du développement Java et Spring Boot.
Connaissance des architectures Data Lake et Lakehouse.
Expérience des environnements de production et des pratiques DevOps/DataOps.
Capacité à traduire des besoins fonctionnels en solutions techniques.
Autonomie, rigueur, esprit d’analyse et sens du travail en équipe.
Une expérience bancaire ou dans un environnement réglementé serait appréciée.
Anglais professionnel obligatoire.
Working environment
Apply to this job!
Find your next career move from +8,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer AWS – Data Platform & Lakehouse
AVA2I