Find your next tech and IT Job or contract Apache Airflow

59 results
Contractor

Contractor job LEAD DATA ORCHESTRATION ENGINEER | APACHE AIRFLOW & AWS

Net technologie
Published on
Apache Airflow
AWS Cloud
AWS Cloudwatch

6 months
France
Pour un grand acteur de l'industrie automobile, nous recherchons un(e) Lead Data Orchestration Engineer Senior, expert(e) Apache Airflow et AWS MWAA, pour piloter l'optimisation et l'évolution d'une plateforme d'orchestration Data à grande échelle. 🎯 Objectif de la mission Faire évoluer une plateforme d'orchestration Data critique afin d'améliorer sa scalabilité, sa résilience, son observabilité et ses coûts d'exploitation, tout en étudiant une éventuelle migration vers une architecture cible plus adaptée. 🚀 Vos missions ✔️ Auditer, optimiser et faire évoluer l'architecture Apache Airflow / AWS MWAA ✔️ Améliorer les performances et la scalabilité d'une plateforme de plus de 200 DAGs en production ✔️ Optimiser les mécanismes d'exécution : Scheduler, Executors, Pools, Triggers, Deferrable Operators ✔️ Faire évoluer les DAG Factories dynamiques et les mécanismes de génération automatisée des DAGs ✔️ Renforcer la résilience des flux : Retry Strategies, Dead Letter Queues, Circuit Breakers, isolation des traitements ✔️ Mettre en place une observabilité de bout en bout : monitoring, métriques, dashboards et alerting ✔️ Sécuriser les environnements : gestion des secrets, IAM et bonnes pratiques AWS ✔️ Étudier les alternatives à AWS MWAA : Airflow sur ECS/EKS, Astronomer, Dagster, Prefect ✔️ Définir une architecture cible et piloter une éventuelle migration d'orchestrateur ✔️ Optimiser les coûts d'exploitation et réduire les délais de résolution des incidents ✔️ Définir les standards techniques : Code Reviews, Design Patterns, conventions de développement ✔️ Accompagner les équipes Dev & Ops dans leur montée en compétences et leur autonomie
View this job
Contractor

Contractor jobLead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA/sa

WorldWide People
Published on
Apache Airflow

6 months
400-520 €
France
Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA La mission se structure autour de quatre axes : Axe 1 — Optimisation architecturale Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays). Axe 2 — Sécurisation et résilience Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique. Axe 3 — Étude et migration vers une infrastructure cible L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent. Axe 4 — Autonomie des équipes Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme. Séniorité : 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer). Compétences techniques requises : Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production) Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM Connaissance d'alternatives à MWAA : Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée Expérience avec des DAG Factories dynamiques (génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité Python avancé (plugins custom, operators, sensors) Infrastructure as Code (Terraform) — connaissance souhaitée Compétences transverses : Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions) Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops) Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting) Autonomie et force de proposition
View this job
Permanent

Job VacancyEngineering Manager Data (H/F)

Pickmeup
Published on
Apache Airflow
BigQuery
DBT

70k-80k €
Paris, France
Vous prenez la responsabilité d'une équipe Data de 8 collaborateurs et contribuez à l'évolution de la plateforme Data, à la fiabilité des données et à leur exploitation par les équipes métiers. Management et développement de l'équipe Encadrer et accompagner une équipe de 8 personnes : 2 Data Engineers, 3 Analytics Engineers et 3 Data Analysts. Développer les compétences, l'autonomie et la performance collective. Accompagner les recrutements et structurer les bonnes pratiques de l'équipe. Favoriser une culture de collaboration, de qualité et d'amélioration continue. Leadership technique et Data Platform Piloter les évolutions de l'architecture et de la plateforme Data. Garantir la fiabilité, la qualité et la disponibilité des données. Accompagner l'équipe dans ses choix techniques et architecturaux. Faire évoluer les pipelines de données, les modèles et les processus de transformation. Définir et promouvoir les bonnes pratiques de Data Engineering, de modélisation et de gouvernance. Pilotage et collaboration métier Construire et prioriser la roadmap Data en lien avec les enjeux de l'entreprise. Garantir la qualité et la bonne livraison des projets. Collaborer étroitement avec les équipes Produit, Marketing, Business et Engineering. Traduire les besoins métiers en solutions Data fiables, évolutives et adaptées aux usages. Contribuer à la valorisation de la donnée au sein de l'organisation. Environnement technique : Modern Data Stack comprenant notamment BigQuery (Data Warehouse), dbt (transformation et modélisation des données) et Airflow (orchestration des pipelines). Une bonne compréhension de cet écosystème est essentielle, même si le poste ne nécessite pas de contribuer quotidiennement au développement.
View this job
Contractor
Permanent

Job VacancyLead Data Orchestration Engineer / Expert Apache Airflow & AWS

ALLEGIS GROUP
Published on
Apache Airflow
AWS Cloud
Python

3 years
40k-45k £GB
400-550 £GB
Sochaux, Burgundy-Free County
Dans le cadre du renforcement d'une équipe Data Platform dans le secteur automobile et financier, nous recherchons un Lead Data Orchestration Engineer / Expert Apache Airflow pour accompagner l'optimisation, la sécurisation et l'évolution d'une plateforme d'orchestration Data à forte volumétrie. La plateforme Apache Airflow sous AWS MWAA orchestre actuellement des pipelines de données bancaires couvrant 9 pays européens. Vous interviendrez autour de 4 axes majeurs : 1. Optimisation de la plateforme Airflow Optimisation d'une plateforme de 200+ DAGs en production Évolution et optimisation de la DAG Factory Migration des dépendances inter-DAGs vers les Datasets Airflow Optimisation des performances au parse-time et runtime Mise en place de tests automatisés des DAGs en CI/CD 2. Sécurisation & résilience Capacity planning et tuning Airflow Gestion des pools, scaling et rétention des logs Rotation des secrets Amélioration de l'observabilité et de l'alerting Mise en œuvre de mécanismes de résilience : retry strategies, DLQ, circuit breakers, isolation des flux 3. Étude et migration de la plateforme Benchmark des alternatives à AWS MWAA Étude d'architectures Airflow sur ECS/EKS, Astronomer, Dagster, Prefect Réalisation de POC et recommandation d'une architecture cible Pilotage d'une éventuelle migration jusqu'à la mise en production 4. Leadership & transmission Définition et application des standards techniques Mentorat des équipes Dev & Ops Formation d'une dizaine de collaborateurs Accompagnement des équipes vers des compétences Data Engineering / DataOps
View this job
Permanent

Job VacancyPO Data (technico-fonctionnel) H/F

S-quaar
Published on
Apache Airflow
ClickHouse
DBT

55k-60k €
Nantes, Pays de la Loire
Lieu : Nantes sud (44) Salaire : 50 K€ annuel brut Rythme : 1 journée de télétravail par semaine Nous recherchons pour notre client, un Product Owner Data Technico-Fonctionnel (H/F) dans le cadre d'une création de poste en CDI. VOS MISSIONS : Rattaché(e) directement à la Direction des Systèmes d'Information, vous intégrez une DSI à taille humaine pour piloter la vision, la roadmap et la gouvernance Data de notre client. Vos missions sont les suivantes : Pilotage stratégique et orientation de la roadmap data • Piloter la trajectoire produit : Concevoir, ajuster et prioriser la feuille de route des différents actifs et de la plateforme data en fonction de la valeur métier apportée. • Gérer le cycle de vie de la plateforme : Animer et séquencer les différents chantiers d'évolution et de structuration de l'écosystème data, incluant son volet gouvernance. • Cadrer les besoins métiers : Écouter, qualifier et hiérarchiser les demandes émanant des différentes entités de l'entreprise (réseau, animation, marketing, finance et support). Centralisation des données et unification des référentiels • Orchestrer le DataHub relationnel : Garantir la fiabilité du golden record (conseillers et clients), piloter l'identifiant pivot et centraliser la gestion des flux de leads entrants. • Alimenter l'écosystème CRM 360° : Centraliser l'historique des interactions et veiller au respect des niveaux de confidentialité pour les équipes du siège. • formaliser les contrats de données : Négocier et rédiger les data contracts avec les équipes en charge des applications et les éditeurs tiers. Déploiement d'une gouvernance des données robuste • Instaurer le catalogue de données : Mettre en œuvre et administrer le référentiel documenté, clarifier les définitions métier et identifier les data owners. • Assurer la qualité des données : Définir et surveiller des indicateurs de contrôle stricts (fraîcheur, taux de complétude, déduplication). • Veiller à la conformité réglementaire : Travailler main dans la main avec le DPO pour appliquer le RGPD (politiques de rétention, automatisation des purges, tenue du registre). Conception et mise en valeur des produits data • Industrialiser les flux : Concevoir les pipelines de données et superviser l'alimentation continue du datalake. • Moderniser la BI : Rationaliser et repenser les outils de reporting existants pour concevoir des tableaux de bord pertinents destinés au siège et au réseau. • Piloter la performance : Valider et certifier les indicateurs clés de pilotage, y compris ceux mesurant l'avancement de la trajectoire DSI. • Soutenir l'innovation IA : Préparer et structurer les jeux de données nécessaires aux cas d'usage portés par l'équipe IA Factory. Pilotage du delivery et animation agile • Spécifier les besoins : Rédiger les user stories orientées data, formaliser les spécifications techniques de flux et définir les critères de recette. • Animer les rituels de livraison : Travailler en étroite collaboration avec les data engineers et les intégrateurs, rythmer les cérémonies agiles et valider les mises en production. • Favoriser l'appropriation : Assurer la montée en compétences des utilisateurs finaux et encourager l'autonomie à travers des usages en self-service. ENVIRONNEMENT TECHNIQUE : Data & Gouvernance : Mise en place d'une plateforme Data moderne, gouvernance, qualité et observabilité des données. Compétences techniques : SQL | Data : Airflow, dbt, Snowflake, ClickHouse, Metabase, DataHub. Connaissance du RGPD et de son application aux données personnelles. PROCESS : Après un premier échange en visio avec un membre de notre équipe, vous rencontrerez : • Le Responsable des Systèmes d'information en visio • Puis un entretien final sur site avec la direction Une décision rapide est prise à l'issue des entretiens. Envoyez-nous votre profil ! Si votre expérience correspond, un membre de l'équipe vous contactera sous 24h. Au plaisir d'échanger sur votre projet, S-quaar
View this job
Contractor
Permanent

Job VacancyDéveloppeur OPS Infrastructure as Code

VISIAN
Published on
Apache Airflow
Go (language)
Python

1 year
Ile-de-France, France
ContexteLa squad Server, au sein d'une grande entreprise du secteur bancaire, a pour mission d'exposer et d'orchestrer des produits "Server", majoritairement des solutions de virtualisation d'OS, pour les usages du groupe. Elle permet le provisionnement et la gestion d'une gamme étendue de produits répondant à des besoins métiers variés. Plusieurs solutions existantes vont être rapprochées via l'opportunité du chantier en cours de passage au nouvel outil d'automatisation. Il s'agit donc d'un projet de refonte profonde aussi bien sur la stack technologique que sur les produits. Suite à ce chantier et à la migration du parc existant, plusieurs évolutions sont prévues avec la mise en œuvre de fonctionnalités attendues par les clients. Dans ce contexte, l'équipe cherche à se renforcer avec des gestionnaires de run spécialisés dans le support au développement et à l'orchestration d'infrastructure as code. La stack technologique est orientée sur Python et Terraform. MissionsDéveloppement des nouveaux correctifs pour les workflows de provisionnement et de gestion d'infrastructure as code pour le projet VMWARE as code. Mise en place de librairies standards partagées entre produits. Intégration à un nouvel outil d'automatisation (AirFlow/Terraform). Développement de nouvelles fonctionnalités avec Python, Go et Terraform. Mise à disposition de l'offre dans la marketplace interne. Outils & EnvironnementPython Terraform Go AirFlow Jira Méthodologie Scrum Anglais professionnel Conditions de travailMission au sein de la squad Server Expérience requise : au moins 3 ans dans le domaine de l'infrastructure as code (IAC) Autonomie exigée
View this job
Contractor

Contractor jobData Engineer Big Data Confirmé (H/F)

Insitoo Freelances
Published on
Apache Airflow
Data Engineering
Databricks

12 months
400-450 €
Lyon, Auvergne-Rhône-Alpes
Nous recherchons un(e) Data Engineer Confirmé(e) pour rejoindre une équipe produit agile au sein d'un acteur majeur du secteur de l'énergie. Vous évoluerez dans un environnement innovant dédié au traitement et à la valorisation de données issues d'équipements connectés et d'infrastructures à l'échelle nationale. Votre terrain de jeu : des produits data en constante évolution, traitant des volumes massifs (plus de 25 millions d'adresses et 40 millions de clients), avec un enjeu stratégique majeur de migration vers le Cloud (Databricks) à l'horizon 2027. Descriptif de la mission : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.
View this job
Contractor
Permanent

Job VacancyData Engineer GCP – BigQuery / Airflow – Lille (H/F)

ASAP TECHNOLOGIES
Published on
Apache Airflow
BigQuery
Google Cloud Platform (GCP)

1 year
30k-37k €
400-420 €
Lille, Hauts-de-France
Data Engineer GCP – BigQuery / Airflow – Lille (H/F) ASAP Tech recherche un Data Engineer GCP pour accompagner l'un de ses clients dans le maintien et l'évolution de sa plateforme data à Lezennes, dans la métropole lilloise. L'opportunité est ouverte en freelance ou en CDI, avec 2 jours de télétravail par semaine. Vous rejoindrez un environnement Google Cloud Platform, utilisé par les équipes produit et des agents IA. Votre rôle associera data engineering, exploitation de la plateforme et industrialisation, avec une forte dimension RUN. Vos missions : Concevoir, maintenir et faire évoluer les pipelines ETL/ELT, en batch ou micro-batch. Intégrer des flux de sources multiples dans le Data Lake sur GCP. Exploiter et optimiser BigQuery et Cloud Storage, notamment les performances des traitements et les coûts. Maintenir les traitements et leur orchestration avec Airflow / Cloud Composer : DAGs, planification et monitoring. Gérer les accès IAM aux projets, datasets, tables et buckets, dans le respect du principe de moindre privilège. Traiter les anomalies et les demandes récurrentes liées au fonctionnement de la plateforme. Contribuer à l'automatisation des déploiements avec Terraform ou équivalent, Git et les pipelines CI/CD. Mettre en place des métriques, logs, alertes et tableaux de bord pour renforcer l'observabilité. Participer au suivi FinOps, à la qualité et à la sécurité des données.
View this job
Contractor
Permanent

Job VacancyData Engineer Airflow / Astronomer

Raedy
Published on
Apache Airflow
DBT
Python

12 months
Ile-de-France, France
Contexte de la missionDans le cadre d'un programme de modernisation de sa plateforme Data, notre client recherche un Data Engineer spécialisé en orchestration de pipelines de données pour renforcer ses équipes. La mission s'inscrit dans un projet de migration de workflows d'orchestration actuellement gérés sous Azure Data Factory (ADF) vers Astronomer / Apache Airflow 3. Intégré au sein d'une équipe Data Engineering, vous interviendrez en renfort opérationnel auprès des équipes existantes. Rattaché au Principal Data Engineer, vous participerez activement à la migration, à la refonte et à l'optimisation des workflows et pipelines de données. Le poste est fortement orienté delivery, avec une collaboration étroite avec les Data Engineers de l'équipe. Vos principales missionsConcevoir, développer et maintenir des DAGs et des pipelines de données sous Apache Airflow / Astronomer. Migrer et adapter les workflows d'orchestration existants vers la nouvelle plateforme. Modifier et faire évoluer les étapes d'ingestion des données dans Astronomer. Définir et mettre en œuvre les stratégies d'ordonnancement et d'orchestration des workflows. Adapter, si nécessaire, les flux de transformation existants sous dbt. Réaliser les tests techniques et fonctionnels, valider les développements et contribuer à leur mise en production. Rédiger la documentation technique des développements réalisés. Identifier et mettre en œuvre des optimisations en matière de performance, de coûts, de fiabilité et de maintenabilité. Assurer le transfert de compétences auprès des membres de l'équipe.
View this job
Contractor

Contractor jobData engineer (H/F) 69

Mindquest
Published on
Apache Airflow
Dataiku
DevOps

6 months
Lyon, Auvergne-Rhône-Alpes
Contexte L'équipe ODA (Operational Data & Analytics) fait de la donnée un levier de pilotage opérationnel réel pour mon client. Elle couvre à la fois la qualité de la donnée (CMDB, référentiels), l'analytics ITSM, et l'outillage data au service des équipes opérationnelles. L'équipe est en pleine transformation technique : nous développons et déployons des applications internes destinées à la production, et nous avons besoin de renforcer notre capacité d'architecture et de déploiement, tout en gardant un lien fort avec les besoins métier ITSM. Ce poste convient à un profil technique confirmé, capable de peser sur des choix d'architecture data et système, tout en restant à l'aise pour dialoguer avec des parties prenantes métier et comprendre rapidement un besoin d'analyse. Mission Architecture & Déploiement • Être le binôme technique de notre tech lead : contribuer aux choix d'architecture data et système, et en assumer la responsabilité en son absence • Déployer et industrialiser des applications internes destinées à la production, en autonomie sur nos outils de déploiement internes • Garantir la fiabilité et la maintenabilité des pipelines et applications développés par l'équipe Data Engineering • Construire et maintenir des workflows de données (Dataiku, Airflow ou équivalent) • Contribuer à des projets de données à enjeu métier, notamment la refonte d'un algorithme de priorisation des incidents basé sur le revenu, actuellement en phase de choix d'architecture • Évaluer, cadrer et implémenter de nouvelles intégrations de sources de données Analyse & Réactivité métier • Répondre rapidement à des besoins d'analyse ad-hoc sur des données incidents, changes et autres datasets ITSM, en s'appuyant sur les outils d'IA générative pour accélérer la production de requêtes et de résultats, et en challengeant leurs résultats • Monter en compétence sur les concepts et processus ITSM (incidents, problems, changes, requests, event management) au fil des projets Outillage IA • Utiliser les outils d'IA générative pour accélérer les livrables : vibe-coding d'applications internes, génération de requêtes, documentation • Relire, challenger et corriger les productions de l'IA plutôt que de les valider sans recul • Être force de proposition sur l'intégration de l'IA dans les pratiques de l'équipe
View this job
Permanent

Job VacancyLead Data Engineer H/F

Lùkla
Published on
Apache Airflow

40k-50k €
Rouen, Normandy
Nous recrutons pour une entreprise du secteur de l'assurance un ou une Lead Data Engineer pour concevoir, fiabiliser et industrialiser sa plateforme data. Vous combinerez expertise technique, conception d'architecture et accompagnement d'équipe. Vous veillerez à la qualité, à la sécurité et à la performance des données, en lien étroit avec les équipes IT et métiers. Vos missions Pilotage et leadership Accompagner une équipe de Data Engineers et, éventuellement, d'Analytics Engineers Définir et promouvoir les bonnes pratiques en matière de qualité, de documentation, de gestion de versions et de supervision des données Jouer un rôle de référent technique et garantir la cohérence des choix d'architecture, en collaboration avec les équipes DevOps et l'architecte d'entreprise Travailler avec les équipes métiers, notamment en actuariat, finance, gestion des sinistres et marketing, ainsi qu'avec les équipes IT Data engineering Concevoir et maintenir des pipelines de données robustes et évolutifs Orchestrer les flux de données avec Apache Airflow Modéliser et structurer les bases de données selon les besoins analytiques Garantir la performance, la sécurité et la traçabilité des données Industrialisation et DevOps Mettre en œuvre les pratiques CI/CD pour les projets data Automatiser les tests, les déploiements et les contrôles qualité Collaborer avec les équipes DevOps et Réseaux sur la gestion et la sécurisation des environnements Superviser les traitements et contribuer à la gestion des incidents data
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us