Offre d'emploi Data Airflow expert

Mission: Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA.

Contexte de la mission

La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Un audit technique approfondi a été conduit début 2026, suivi d'une phase de remédiation qui a permis de stabiliser les fondations.

La mission porte aujourd'hui sur la phase d'optimisation et de sécurisation durable de la plateforme : passage à l'échelle, renforcement de l'observabilité, étude d'une infrastructure cible plus adaptée, et montée en compétence des équipes.

Objectifs de la mission

La mission se structure autour de quatre axes :

Axe 1 — Optimisation architecturale
Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays).

Axe 2 — Sécurisation et résilience
Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique.

Axe 3 — Étude et migration vers une infrastructure cible
L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent.

Axe 4 — Autonomie des équipes
Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme.

Profil recherché

Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).

Compétences techniques requises :

Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators

Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production)

Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM

Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée

Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante

Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux

Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité

Python avancé (plugins custom, operators, sensors)

Infrastructure as Code (Terraform) — connaissance souhaitée

Compétences transverses :

Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions)

Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops)

Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting)

Autonomie et force de proposition

Missions principales

Axe 1 — Optimisation architecturale

Faire évoluer la DAG Factory existante : enrichissement, patterns avancés, maintenabilité

Piloter la migration des dépendances inter-DAGs vers des mécanismes natifs Airflow (Datasets)

Optimiser les performances au parse-time et runtime (mise en cache, suppression des appels coûteux)

Mettre en place la validation automatisée des DAGs en CI/CD (parse test, linting, tests d'intégration)

Axe 2 — Sécurisation et résilience

Implémenter une politique de rotation des secrets

Mettre en place le routage différencié des alertes par type d'incident et par criticité

Piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs)

Renforcer l'isolation réseau et le durcissement de la configuration

Finaliser et maintenir les runbooks d'incidents (classification, escalade, post-mortem)

Axe 3 — Étude et migration vers une infrastructure cible

Réaliser un benchmark des alternatives à AWS MWAA au regard de nos contraintes (multi-pays, volumétrie, séparation Dev/Ops, coûts)

Produire une recommandation argumentée avec analyse coûts/bénéfices, risques de migration, et plan de transition

Piloter la migration vers l'infrastructure retenue (POC, migration progressive, bascule production)

Garantir la continuité de service pendant la transition

Axe 4 — Autonomie des équipes

Lancer et piloter le programme de formation sur l'orchestration (Dev + Ops, ~10 personnes)

Constituer la méta-équipe plateforme (vision unifiée Dev + Ops sous un leadership technique commun)

Accompagner l'évolution des profils Dev → Data Engineers et Ops → DataOps

Évaluer l'internalisation progressive de profils techniques clés

Compétences techniques