Mission freelance Data Engineer Senior — Industrialisation & Migration Airflow / Astronomer
Montreuil (93)
LeHibou
Partager cette offre
Notre client dans le secteur Banque et finance recherche un/une Data Engineer Senior — Industrialisation & Migration Airflow/Astronomer H/F
Description de la mission :
Contexte de la mission
L'équipe data de l'organisation fonctionne actuellement sans outil d'orchestration ETL : l'ensemble des pipelines de données a été développé manuellement en Python, sans framework d'industrialisation. Dans une logique de scalabilité, de fiabilisation et de maintenabilité, la mission vise à migrer l'intégralité de l'existant vers Apache Airflow (Astronomer).
Le Data Engineer recruté sera responsable de concevoir et d'industrialiser from scratch la nouvelle architecture d'orchestration, en reprenant les pipelines Python existants pour les transformer en DAGs robustes, monitorés et déployables en continu.
Missions principales
• Auditer l'existant : cartographier les scripts Python actuels, identifier les dépendances, les points de fragilité et les priorités de migration
• Concevoir l'architecture cible Airflow / Astronomer : structure des DAGs, gestion des connexions, secrets et environnements
• Migrer progressivement les pipelines existants vers des DAGs industrialisés, testés et documentés
• Développer et maintenir des pipelines de données streaming avec Kafka ainsi que des pipelines batch / asynchrones classiques
• Mettre en place les bonnes pratiques DataOps : CI/CD des DAGs, tests, monitoring, alerting et gestion des environnements dev / staging / prod
• Travailler dans des environnements big data distribués et volumineux
• Participer à terme à l'intégration de Starburst dans l'architecture data, dans une logique de fédération de requêtes / lakehouse
• Être force de proposition sur les choix techniques et les standards de l'équipe
Compétences / Qualités indispensables :
Python avancé, Apache Airflow / Astronomer, Kafka, Kubernetes, DataOps (CI/CD, monitoring), Architecture data et industrialisation
Compétences / Qualités qui seraient un + :
Notions de bases de données graphe (type Neo4j)
Profil recherché
Profil recherché
• Expérience significative et confirmée en data engineering, avec un niveau senior
• Python avancé impératif, avec capacité à reprendre et refactorer du code existant non industrialisé
• Maîtrise solide de Airflow / Astronomer : conception de DAGs, executors, déploiement Astro
• Expérience sur Kafka pour la conception et la maintenance de pipelines de données en streaming
• Bonnes compétences en Kubernetes pour le déploiement et la gestion des workloads
• Maîtrise des pratiques DataOps : CI/CD, monitoring et industrialisation des pratiques data
• Aisance dans les environnements big data, incluant volumétrie, distribution et optimisation
• Connaissance de Starburst / Trino appréciée, dans la perspective d'une évolution de l'architecture
• Autonomie totale exigée pour reprendre un existant non structuré et le faire évoluer seul vers une architecture industrialisée
• Capacité à faire des choix d'architecture et à les défendre
• Bon relationnel pour interagir avec les équipes data existantes, notamment analysts et scientists, et faire monter l'équipe en compétence sur les nouvelles pratiques
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Senior — Industrialisation & Migration Airflow / Astronomer
LeHibou