Offre d'emploi Lead Data Orchestration Engineer (H/F) – Expert Apache Airflow & AWS

Sochaux (25)

Craftman data

Apache Airflow

AWS Cloud

Python

Publiée le 07/30/2026

Partager cette offre

Vos missionsOptimisation de la plateforme

Faire évoluer l'architecture Airflow existante.
Optimiser les performances d'exécution et les temps de traitement.
Industrialiser la génération des DAGs (DAG Factory).
Mettre en place les bonnes pratiques de développement et de CI/CD.
Optimiser les dépendances entre pipelines.

Sécurisation & Résilience

Renforcer l'observabilité de la plateforme.
Déployer des mécanismes avancés d'alerting et de supervision.
Optimiser le capacity planning.
Améliorer la gestion des secrets.
Renforcer la robustesse et la reprise automatique après incident.
Produire et maintenir les runbooks d'exploitation.

Architecture & Migration

Étudier différentes architectures d'orchestration modernes.
Réaliser des benchmarks techniques.
Concevoir une architecture cible adaptée aux besoins de montée en charge.
Piloter les Proof of Concept.
Accompagner une éventuelle migration vers une nouvelle solution.
Garantir la continuité de service durant les phases de transition.

Leadership technique

Définir les standards de développement.
Réaliser des revues de code.
Accompagner les équipes Data et DevOps.
Former les collaborateurs aux bonnes pratiques Airflow.
Participer aux décisions d'architecture.

Profil recherché

Vous justifiez d'au moins 6 ans d'expérience autour d'Apache Airflow en environnement de production.

Vous possédez une forte expérience sur des plateformes critiques nécessitant performance, résilience et industrialisation.

Une expérience de Lead technique ou d'Architecte Data Platform est fortement appréciée.

Environnement de travail

Compétences techniques indispensables

Apache Airflow (Scheduler, Executor, Pools, Triggers, Datasets…)
Python avancé
AWS
- MWAA
- CloudWatch
- IAM
- Secrets Manager
- SNS
- SQS
Optimisation de plateformes Airflow à grande échelle
Observabilité & monitoring
Gestion des incidents
CI/CD
Architecture Data Platform
Résilience des traitements
DAG Factory
Terraform (apprécié)

Compétences appréciées

Une expérience sur une ou plusieurs solutions suivantes constitue un véritable atout :

Airflow sur ECS/EKS
Astronomer
Dagster
Prefect

Une expérience de migration d'une plateforme d'orchestration vers une autre sera particulièrement valorisée.

Soft skills

Leadership technique
Excellentes capacités de communication
Sens de l'organisation
Esprit d'analyse
Force de proposition
Autonomie
Esprit d'équipe
Capacité à accompagner le changement
Goût pour le partage de connaissances

Environnement technique

Apache Airflow
Python
AWS
MWAA
ECS / EKS
CloudWatch
Secrets Manager
SNS
SQS
IAM
Terraform
CI/CD
Git

Découvrir Craftman data

20 - 99 salariés

ESN

Réinventer l’avenir : l’innovation humaine au cœur de la technologie 🚀 Quelques chiffres clés 30+ clients accompagnés 25+ experts data & IA 2.6 M€ de chiffre d’affaires 2 centres d’expertise 100+ formations par an 15% du CA investi en R&D 🧠 Notre mission Placer l’humain au cœur de la donnée pour créer des solutions intelligentes, responsables et à impact, en alliant expertise technologique, innovation et agilité. 🧩 Nos domaines d'expertise Stratégie data & gouvernance Transformation & qualité de la donnée Ingénierie Big Data Science des données & IA DevOps & automatisation Formation & acculturation data 💡 Nos services Diagnostic de maturité Roadmap IA & data IA générative & éthique Automatisation intelligente Analyse prédictive Data visualisation & UX Gouvernance & qualité des données Architecture cloud & CI/CD 👥 Notre équipe 25+ experts data 10+ spécialistes en stratégie data 5 PhD R&D 5 formateurs certifiés 🧬 Notre méthodologie Customer-centric : solutions co-construites avec nos clients Approche Agile & itérative Expertise sur toute la chaîne de valeur data Autonomisation des équipes métiers 🔁 Cycle de vie de la donnée Collecte multi-source Qualité & préparation Visualisation & dataviz Analyse prédictive & IA Déploiement automatisé (CI/CD) 🎓 Craftmandata Académie Formations inter/intra-entreprise Distanciel ou présentiel Modules sur l’IA, Cloud, DataViz... Formation de "champions métiers" 🧪 Craftmandata Lab – L’innovation concrète 15% du CA dédié à la R&D Projets internes : IA de qualité de données Détection de fraude Classification automatique NLP sur verbatims clients Suivi de la mixité & égalité Calcul de bilan carbone numérique 🛠 Notre écosystème technologique Cloud & microservices Big Data & NoSQL Machine Learning & Deep Learning VueJS, Redis, API, ELT/ETL Outils low/no-code Datalake, Data Catalog, DataViz 🌍 Nos clients & secteurs Banque | Assurance | Industrie | Énergie | Retail | Télécom | Transport

Postulez à cette offre !

Trouvez votre prochaine mission parmi +10 000 offres !

Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.

Lead Data Orchestration Engineer (H/F) – Expert Apache Airflow & AWS

Craftman data

Profil recherché

Environnement de travail

Découvrir Craftman data

Trouvez votre prochaine mission parmi +10 000 offres !

Trouvez votre prochaine mission parmi +10 000 offres !