Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue à Paris

Nous recherchons un Data Engineer pour industrialiser un prototype d’application existant. Le projet implique une forte dimension infra et scalabilité , avec l’objectif de passer d’un prototype à une architecture robuste, maintenable et industrialisée. Le candidat interviendra également sur des sujets de refonte de la codebase et de préparation du déploiement en infrastructure as code . 🎯 Missions principales Industrialiser un prototype d’application data en environnement SaaS Revoir la codebase existante pour anticiper les enjeux de scalabilité Concevoir et mettre en place une architecture data robuste et évolutive Participer à la mise en place d’une approche Infrastructure as Code Construire et maintenir des pipelines de données fiables et scalables Travailler sur des problématiques d’architecture cloud et d’industrialisation Collaborer avec des interlocuteurs techniques (profil très orienté tech) 🛠 Stack technique Cloud : AWS (GCP apprécié mais non obligatoire) IaC : Terraform Orchestration : Airflow Langage : Python Environnement : SaaS / Data Engineering / Infra scalable

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers