Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue

Je cherche pour un de mes client un Expert Data Engineering / DevOps AWS sur Plaisir Démarrage souhaité : ASAP Localisation : Plaisir Rythme : 3 jours sur site / semaine, 2 jours en télétravail Expérience requise : minimum 10 ans Langues : Français : échanges DSI / métiers Anglais : documentation et communication avec les filiales Contexte de la mission Dans le cadre de la mise en place de la dataplateforme SAO , un grand groupe industriel du secteur aéronautique recherche un expert Data Engineering / DevOps AWS capable de : Finaliser un premier use case d’ingestion de données ERP vers la dataplateforme. Industrialiser l’ingestion d’environ 120 tables. Automatiser les flux entre les couches Raw Data et Standardized . Accompagner la montée en compétence des équipes internes juniors. Documenter les travaux réalisés et sécuriser l’exploitabilité de la solution Attendus de la mission : Le profil devra intervenir sur la conception, l’industrialisation et l’accompagnement des équipes . 1. Volet Data Engineering AWS Analyse des besoins métiers autour des produits data Contribution aux spécifications fonctionnelles et techniques Conception d’architectures data adaptées à AWS Mise en place de pipelines d’ingestion robustes et automatisés Ingestion de données structurées, semi-structurées et non structurées Industrialisation des flux ERP / datalake vers la dataplateforme Automatisation du passage Raw Data → Standardized Production ou validation des data products Mise en place des bonnes pratiques de sécurité, scalabilité et conformité 2. Volet DevOps / industrialisation Mise en place ou optimisation des processus CI/CD Gestion des environnements DEV / PREPROD / PROD Déploiements non régressifs de data products Versioning du code, des schémas et de la data Supervision technique des traitements Pilotage des tests techniques, métiers, performance et sécurité Assistance au démarrage et suivi post-mise en production 3. Volet documentation / transfert de compétences Rédaction de la documentation projet, technique et utilisateur Rédaction des modes opératoires et cahiers de recette Transfert de compétences auprès des équipes internes Accompagnement des équipes juniors Digit SAO et Data Engineering Reporting hebdomadaire et remontée des risques / points d’avancement

Présence sur site 3j/semaine Mission Construire et maintenir des pipelines de données fiables et scalables sur AWS et Snowflake. Responsabilités Développer des pipelines ETL/ELT Participer à une intégration d'SAP Intégrer et transformer les données Modéliser les données (data warehouse) Optimiser les performances et les coûts Assurer la qualité des données (tests, monitoring) Orchestrer les workflows (Airflow ou équivalent) Collaborer avec les équipes data et métier Stack technique AWS (S3, Glue, Lambda, Redshift) SAP Snowflake SQL Python Airflow / dbt / Git Profil Expérience en data engineering Bonne maîtrise SQL et modélisation Expérience cloud (AWS) Autonomie, rigueur Bonus Docker CI/CD Expérience data lake / lakehouse

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Nous recherchons un Data Engineer pour industrialiser un prototype d’application existant. Le projet implique une forte dimension infra et scalabilité , avec l’objectif de passer d’un prototype à une architecture robuste, maintenable et industrialisée. Le candidat interviendra également sur des sujets de refonte de la codebase et de préparation du déploiement en infrastructure as code . 🎯 Missions principales Industrialiser un prototype d’application data en environnement SaaS Revoir la codebase existante pour anticiper les enjeux de scalabilité Concevoir et mettre en place une architecture data robuste et évolutive Participer à la mise en place d’une approche Infrastructure as Code Construire et maintenir des pipelines de données fiables et scalables Travailler sur des problématiques d’architecture cloud et d’industrialisation Collaborer avec des interlocuteurs techniques (profil très orienté tech) 🛠 Stack technique Cloud : AWS (GCP apprécié mais non obligatoire) IaC : Terraform Orchestration : Airflow Langage : Python Environnement : SaaS / Data Engineering / Infra scalable

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers