Job Vacancy Data Engineer Airflow / Astronomer

Dans le cadre d’un programme de modernisation de sa plateforme Data, notre client recherche un Data Engineer spécialisé en orchestration de pipelines de données pour renforcer ses équipes.

La mission s’inscrit dans un projet de migration de workflows d’orchestration actuellement gérés sous Azure Data Factory (ADF) vers Astronomer / Apache Airflow 3.

Intégré au sein d’une équipe Data Engineering, vous interviendrez en renfort opérationnel auprès des équipes existantes. Rattaché au Principal Data Engineer, vous participerez activement à la migration, à la refonte et à l’optimisation des workflows et pipelines de données.

Le poste est fortement orienté delivery, avec une collaboration étroite avec les Data Engineers de l’équipe.

• Concevoir, développer et maintenir des DAGs et des pipelines de données sous Apache Airflow / Astronomer.

• Migrer et adapter les workflows d’orchestration existants vers la nouvelle plateforme.

• Modifier et faire évoluer les étapes d’ingestion des données dans Astronomer.

• Définir et mettre en œuvre les stratégies d’ordonnancement et d’orchestration des workflows.

• Adapter, si nécessaire, les flux de transformation existants sous dbt.

• Réaliser les tests techniques et fonctionnels, valider les développements et contribuer à leur mise en production.

• Rédiger la documentation technique des développements réalisés.

• Identifier et mettre en œuvre des optimisations en matière de performance, de coûts, de fiabilité et de maintenabilité.

• Assurer le transfert de compétences auprès des membres de l’équipe.