
Share this job
Bonjour,
Je suis à la recherche d’un Lead Data Engineer :
Missions principales :
• Optimiser et faire évoluer les mécanismes d’orchestration existants pour permettre le passage à l’échelle
• Réduire les coûts d’exploitation et améliorer les temps de résolution d’incidents
• Renforcer la robustesse et la résilience de la plateforme Data
• Mettre en place l’observabilité de bout en bout, l’alerting et le monitoring avancé
• Définir et appliquer les politiques de gestion et rotation des secrets
• Concevoir des mécanismes de reprise automatique et d’isolation des flux
• Étudier les alternatives à AWS MWAA (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.)
• Réaliser les recommandations d’architecture et piloter les migrations si nécessaire
• Faire évoluer les DAG Factories existantes et industrialiser les processus d’orchestration
• Mettre en œuvre les bonnes pratiques de résilience (DLQ, retry strategies, circuit breakers)
• Définir et faire respecter les standards techniques, patterns et conventions de développement
• Former et accompagner les équipes Dev et Ops vers une autonomie opérationnelle complète
• Assurer le suivi des plans d’amélioration, le reporting et la priorisation des chantiers techniques
Candidate profile
Compétences/Environnement techniques :
• Apache Airflow (5 ans minimum)
• AWS MWAA
• AWS : SQS, SNS, Secrets Manager, CloudWatch, IAM
• Scheduler, Executor, Pools, Triggers, Deferrable Operators
• Optimisation et tuning de plateformes Airflow à grande échelle (200+ DAGs en production)
• Airflow auto-hébergé sur ECS/EKS
• Astronomer
• Dagster
• Prefect
• DAG Factories dynamiques
• Python avancé (Operators, Sensors, Plugins custom)
Working environment
📍 Localisation : France
🏡 Modalités : Hybrdie
🎢 Durée : Longue visibilité
👜 Statut : Freelance ou portage salarial (société référencée au syndicat du PEPS)
💰 Tarification : 450-500 euros
Discover STHREE SAS
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Lead Data Engineer
STHREE SAS
