Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue à Paris

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Au sein d'une équipe de 7 ML Engineers , vous serez l'expert Infrastructure dédié au pôle ML. Votre mission est de bâtir, maintenir et faire évoluer la stack technique permettant de propulser des systèmes de Machine Learning scalables et fiables. Vous ferez le pont entre le monde du DevOps et celui de la Data Science pour garantir l'efficacité opérationnelle des pipelines de production. Missions : Gestion de l’Infrastructure : Maintenir et optimiser la stack infrastructure dédiée au ML en respectant l'état de l'art et les bonnes pratiques AWS. Automatisation (IaC) : Provisionner et gérer les ressources via Terraform pour assurer la reproductibilité des environnements. Orchestration de Workflows : Piloter et configurer les pipelines de données complexes et les workflows ML via Apache Airflow (MWAA). Support Projets Spécifiques : Collaborer avec l'équipe sur l'intégration d'outils avancés comme les bases de données vectorielles (Vectiroeilles), Open Search et l'indexation. Cycle de vie ML : Mettre en place des serveurs dédiés MLFlow pour le suivi de l'entraînement des modèles et optimiser les phases de prédiction. Exploitation SageMaker : Utilisation intensive d'Amazon SageMaker pour l'entraînement et le déploiement de modèles.