Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue

Objectifs et livrables Ta mission sera de Garantir la robustesse de la plateforme (DRP, PCA) Monitorer et prendre des actions proactives de management de la plateforme de stockage (Storage Lens, Cloudtrails) Assurer le support et l'accompagnement sur S3, Glue, Unity Catalog Déployer de nouvelles ressources infra via Terraform et maintenir l'existant Etroite collaboration avec les ops engineer de notre team infra centrale et notre staff ops Accompagner et former Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe Participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Gouvernance automatisée (Data contract registry, access management) Déploiement de Unity catalog et activations de ses nouvelles features (lineage, managed tables etc.)

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Contexte Dans le cadre de la modernisation d’une plateforme data, vous concevez et mettez en œuvre des architectures cloud-native orientées événements sur AWS. L’objectif est de remplacer les traitements batch par des pipelines distribués, temps réel ou quasi temps réel, robustes et scalables. Missions principales Vous définissez des architectures data serverless event-driven, concevez des pipelines d’ingestion et de transformation distribués et mettez en place des systèmes découplés basés sur la messagerie en garantissant la scalabilité, la résilience et l’optimisation des coûts. Vous transformez les flux ETL batch en pipelines cloud-native, implémentez les patterns asynchrones (retry, DLQ, idempotence, gestion des timeouts) et industrialisez les déploiements via l’Infrastructure as Code et la CI/CD. Vous déployez le monitoring, le logging et le tracing afin de suivre la performance, la latence et la qualité des flux. Compétences clés Solide expérience des architectures event-driven et des systèmes distribués, de l’event sourcing et du message brokering, de la gestion du backpressure et de la latence ainsi que de la transformation distribuée et du traitement de gros volumes. Ce poste n’est pas orienté BI, reporting ou data engineering batch classique Positionnement Rôle transverse avec une forte interaction avec les équipes data, cloud, DevOps et applicatives, impliquant une responsabilité importante sur les choix techniques et les bonnes pratiques. Synthèse Profil d’architecte data AWS spécialisé en serverless et en architectures orientées événements, capable de concevoir des pipelines distribués scalables et résilients.

Au sein d'une équipe de 7 ML Engineers , vous serez l'expert Infrastructure dédié au pôle ML. Votre mission est de bâtir, maintenir et faire évoluer la stack technique permettant de propulser des systèmes de Machine Learning scalables et fiables. Vous ferez le pont entre le monde du DevOps et celui de la Data Science pour garantir l'efficacité opérationnelle des pipelines de production. Missions : Gestion de l’Infrastructure : Maintenir et optimiser la stack infrastructure dédiée au ML en respectant l'état de l'art et les bonnes pratiques AWS. Automatisation (IaC) : Provisionner et gérer les ressources via Terraform pour assurer la reproductibilité des environnements. Orchestration de Workflows : Piloter et configurer les pipelines de données complexes et les workflows ML via Apache Airflow (MWAA). Support Projets Spécifiques : Collaborer avec l'équipe sur l'intégration d'outils avancés comme les bases de données vectorielles (Vectiroeilles), Open Search et l'indexation. Cycle de vie ML : Mettre en place des serveurs dédiés MLFlow pour le suivi de l'entraînement des modèles et optimiser les phases de prédiction. Exploitation SageMaker : Utilisation intensive d'Amazon SageMaker pour l'entraînement et le déploiement de modèles.

Nous recherchons plusieurs AWS Data Engineers Seniors pour renforcer une équipe Data Platform . 🎯 Contexte de la mission Vous intégrerez une équipe en charge de la plateforme Data , avec des enjeux forts de scalabilité, industrialisation et fiabilité des flux de données . Les missions s’inscrivent dans un environnement cloud moderne, orienté bonnes pratiques et performance. ⚙️ Missions principales Concevoir, développer et maintenir des pipelines de données robustes et scalables . Contribuer à l’évolution de la plateforme Data . Mettre en place et maintenir l’ infrastructure as code . Participer à l’industrialisation des traitements (CI/CD, containerisation). Travailler en collaboration avec les équipes Data, Produit et Architecture. Être force de proposition sur les choix techniques et les optimisations.

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise. Missions principales Concevoir, développer et optimiser des pipelines de données à grande échelle. Mettre en œuvre des flux batch , streaming et ingestion via API . Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold). Développer et industrialiser les pipelines via DBT , Spark et Iceberg . Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise. Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent). Orchestrer les workflows ETL/ELT via Airflow . Mettre en œuvre l’ Infrastructure as Code ( Terraform ). Exécuter les traitements dans des environnements conteneurisés ( Docker , Kubernetes ). Garantir la disponibilité, la supervision et l’observabilité des traitements. Participer à la gestion des incidents et à l’amélioration continue. Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés). Documenter les architectures, pipelines et règles métier. Garantir la conformité des flux, notamment dans le cadre RGPD .