Job Vacancy Data Engineer Senior / Expert – AWS, Spark, DBT & Iceberg – H/F

Contexte de la mission

ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l’industrialisation et l’évolution de ses solutions data.

Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d’architecture, de modélisation et d’optimisation des pipelines à grande échelle.

Vos missions

• Concevoir, développer et optimiser des pipelines de données batch, streaming et d’ingestion via API.

• Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold.

• Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg.

• Contribuer aux choix techniques et à l’évolution de l’architecture Lakehouse.

• Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR.

• Orchestrer les workflows ETL/ELT avec Airflow.

• Mettre en œuvre l’Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes.

• Garantir la disponibilité, la supervision et l’observabilité des traitements.

• Participer à la résolution des incidents et à l’amélioration continue.

• Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier.

• Veiller à la conformité des flux, notamment en matière de RGPD.