
Partager cette offre
Bonjour,
Je suis à la recherche d’un Lead Data Engineer :
Missions principales :
• Optimiser et faire évoluer les mécanismes d’orchestration existants pour permettre le passage à l’échelle
• Réduire les coûts d’exploitation et améliorer les temps de résolution d’incidents
• Renforcer la robustesse et la résilience de la plateforme Data
• Mettre en place l’observabilité de bout en bout, l’alerting et le monitoring avancé
• Définir et appliquer les politiques de gestion et rotation des secrets
• Concevoir des mécanismes de reprise automatique et d’isolation des flux
• Étudier les alternatives à AWS MWAA (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.)
• Réaliser les recommandations d’architecture et piloter les migrations si nécessaire
• Faire évoluer les DAG Factories existantes et industrialiser les processus d’orchestration
• Mettre en œuvre les bonnes pratiques de résilience (DLQ, retry strategies, circuit breakers)
• Définir et faire respecter les standards techniques, patterns et conventions de développement
• Former et accompagner les équipes Dev et Ops vers une autonomie opérationnelle complète
• Assurer le suivi des plans d’amélioration, le reporting et la priorisation des chantiers techniques
Profil recherché
Compétences/Environnement techniques :
• Apache Airflow (5 ans minimum)
• AWS MWAA
• AWS : SQS, SNS, Secrets Manager, CloudWatch, IAM
• Scheduler, Executor, Pools, Triggers, Deferrable Operators
• Optimisation et tuning de plateformes Airflow à grande échelle (200+ DAGs en production)
• Airflow auto-hébergé sur ECS/EKS
• Astronomer
• Dagster
• Prefect
• DAG Factories dynamiques
• Python avancé (Operators, Sensors, Plugins custom)
Environnement de travail
📍 Localisation : France
🏡 Modalités : Hybrdie
🎢 Durée : Longue visibilité
👜 Statut : Freelance ou portage salarial (société référencée au syndicat du PEPS)
💰 Tarification : 450-500 euros
Découvrir STHREE SAS
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Lead Data Engineer
STHREE SAS
