Contractor job LEAD DATA ORCHESTRATION ENGINEER | APACHE AIRFLOW & AWS
France
Net technologie
Share this job
Pour un grand acteur de l'industrie automobile, nous recherchons un(e) Lead Data Orchestration Engineer Senior, expert(e) Apache Airflow et AWS MWAA, pour piloter l'optimisation et l'évolution d'une plateforme d'orchestration Data à grande échelle.
🎯 Objectif de la mission
Faire évoluer une plateforme d'orchestration Data critique afin d'améliorer sa scalabilité, sa résilience, son observabilité et ses coûts d'exploitation, tout en étudiant une éventuelle migration vers une architecture cible plus adaptée.
🚀 Vos missions
✔️ Auditer, optimiser et faire évoluer l'architecture Apache Airflow / AWS MWAA
✔️ Améliorer les performances et la scalabilité d'une plateforme de plus de 200 DAGs en production
✔️ Optimiser les mécanismes d'exécution : Scheduler, Executors, Pools, Triggers, Deferrable Operators
✔️ Faire évoluer les DAG Factories dynamiques et les mécanismes de génération automatisée des DAGs
✔️ Renforcer la résilience des flux : Retry Strategies, Dead Letter Queues, Circuit Breakers, isolation des traitements
✔️ Mettre en place une observabilité de bout en bout : monitoring, métriques, dashboards et alerting
✔️ Sécuriser les environnements : gestion des secrets, IAM et bonnes pratiques AWS
✔️ Étudier les alternatives à AWS MWAA : Airflow sur ECS/EKS, Astronomer, Dagster, Prefect
✔️ Définir une architecture cible et piloter une éventuelle migration d'orchestrateur
✔️ Optimiser les coûts d'exploitation et réduire les délais de résolution des incidents
✔️ Définir les standards techniques : Code Reviews, Design Patterns, conventions de développement
✔️ Accompagner les équipes Dev & Ops dans leur montée en compétences et leur autonomie
Candidate profile
🛠️ Compétences techniques recherchées
🔹 Apache Airflow – Expertise indispensable (5 ans minimum)
🔹 AWS MWAA / Google Cloud Composer – Expérience significative
🔹 Airflow Architecture & Performance Tuning
🔹 AWS : SQS, SNS, Secrets Manager, CloudWatch, IAM
🔹 Python avancé : Custom Operators, Sensors, Plugins
🔹 DAG Factories / Dynamic DAG Generation
🔹 Scalabilité / Résilience / Observabilité
🔹 ECS / EKS / Astronomer / Dagster / Prefect
🔹 Monitoring / Alerting / Incident Management
🔹 Terraform / Infrastructure as Code – Apprécié
👤 Profil recherché
🎓 5 ans d'expérience minimum sur Apache Airflow, avec une expérience significative sur une plateforme managée telle qu'AWS MWAA ou Google Cloud Composer.
💻 Expérience confirmée dans l'exploitation et l'optimisation de plateformes Airflow à grande échelle (200+ DAGs).
🏗️ Capacité à concevoir des architectures d'orchestration robustes, évolutives et économiquement optimisées.
🔄 Une expérience de migration entre orchestrateurs constitue un véritable atout.
🤝 Leadership technique, capacité à définir des standards et à accompagner des équipes Dev & Ops.
🎯 Autonomie, esprit d'analyse, force de proposition et capacité à piloter un programme d'amélioration technique.
Working environment
🏢 Environnement technique
⚙️ Apache Airflow • AWS MWAA • Python • AWS • ECS • EKS • SQS • SNS • CloudWatch • Secrets Manager • IAM • Terraform • Astronomer • Dagster • Prefect • Data Orchestration
📅 Démarrage : ASAP / Immédiat
📍 Localisation : France
🏠 Télétravail : Modalités à confirmer
⏳ Durée : 6 mois minimum
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
LEAD DATA ORCHESTRATION ENGINEER | APACHE AIRFLOW & AWS
Net technologie