Craftman data
Mission: Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA. Contexte de la mission La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Un audit technique approfondi a été conduit début 2026, suivi d'une phase de remédiation qui a permis de stabiliser les fondations. La mission porte aujourd'hui sur la phase d'optimisation et de sécurisation durable de la plateforme : passage à l'échelle, renforcement de l'observabilité, étude d'une infrastructure cible plus adaptée, et montée en compétence des équipes. Objectifs de la mission La mission se structure autour de quatre axes : Axe 1 — Optimisation architecturale Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays). Axe 2 — Sécurisation et résilience Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique. Axe 3 — Étude et migration vers une infrastructure cible L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent. Axe 4 — Autonomie des équipes Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme. Profil recherché Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production) Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité Python avancé (plugins custom, operators, sensors) Infrastructure as Code (Terraform) — connaissance souhaitée Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions) Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops) Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting) Autonomie et force de proposition Missions principales Axe 1 — Optimisation architecturale Faire évoluer la DAG Factory existante : enrichissement, patterns avancés, maintenabilité Piloter la migration des dépendances inter-DAGs vers des mécanismes natifs Airflow (Datasets) Optimiser les performances au parse-time et runtime (mise en cache, suppression des appels coûteux) Mettre en place la validation automatisée des DAGs en CI/CD (parse test, linting, tests d'intégration) Axe 2 — Sécurisation et résilience Implémenter une politique de rotation des secrets Mettre en place le routage différencié des alertes par type d'incident et par criticité Piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs) Renforcer l'isolation réseau et le durcissement de la configuration Finaliser et maintenir les runbooks d'incidents (classification, escalade, post-mortem) Axe 3 — Étude et migration vers une infrastructure cible Réaliser un benchmark des alternatives à AWS MWAA au regard de nos contraintes (multi-pays, volumétrie, séparation Dev/Ops, coûts) Produire une recommandation argumentée avec analyse coûts/bénéfices, risques de migration, et plan de transition Piloter la migration vers l'infrastructure retenue (POC, migration progressive, bascule production) Garantir la continuité de service pendant la transition Axe 4 — Autonomie des équipes Lancer et piloter le programme de formation sur l'orchestration (Dev + Ops, ~10 personnes) Constituer la méta-équipe plateforme (vision unifiée Dev + Ops sous un leadership technique commun) Accompagner l'évolution des profils Dev → Data Engineers et Ops → DataOps Évaluer l'internalisation progressive de profils techniques clés Compétences techniques