Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Contexte & Enjeux Dans le cadre du passage à l'échelle de sa plateforme Data (croissance rapide de 100 à plus de 500 DAGs en production), l'environnement AWS MWAA du client subit des ralentissements majeurs et une instabilité récurrente. L'équipe technique dispose déjà d'un premier historique de recommandations, mais fait face à un effet de « balancier » : la résolution d'une anomalie en entraîne de nouvelles. L'objectif actuel est de sortir d'un mode uniquement réactif (pompier) pour reprendre la main de manière proactive sur la plateforme, comprendre les fondements infra/système, et offrir une sérénité totale sur le delivery et les déploiements. Missions & Responsabilités Le consultant aura les mains libres et la responsabilité directe de la stabilité de la plateforme Airflow, en lien étroit avec les équipes Ops et Tech Lead : Urgence & Stabilisation Immédiate (Court Terme) : Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes (No space left on device, Deadlocks BDD, blocages Virtual Hand, dérives de parsing DagBag). Isoler et corriger les comportements asynchrones non reproductibles (erreurs survenant uniquement en production liées aux dépendances de plugins). Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions. Audit Infra, Tuning & Proactivité (Moyen Terme) : Évaluer le dimensionnement global de MWAA (arbitrage et réglages des instances, scaling horizontal vs vertical des workers, allocation de mémoire/CPU, gestion des slots et de la concurrence). Mettre en place et affiner l'observabilité de l'infrastructure via AWS CloudWatch (suivi du heartbeat du Scheduler, des connexions MetaDB, de la charge des workers) pour détecter les anomalies avant la panne. Analyser l'impact du code des DAGs sur la plateforme (distinction entre temps de parsing et temps d'exécution, suppression du code top-level bloquant, accompagnement sur l'usage des DAG Factory). Pérennisation & Trajectoire Future (Long Terme) : Définir la trajectoire d'évolution infra, notamment la sortie des workers vers des conteneurs Docker pour isoler les traitements. Garantir la sécurité et la fiabilité des déploiements dans la CI/CD pour que les équipes projets puissent délivrer leurs pipelines sans risquer de déstabiliser la plateforme. Transmettre les bonnes pratiques de configuration aux équipes en place.

Cherry Pick est à la recherche d'un Expert Airflow (H/F) pour l'un de ses clients qui opère dans le secteur de l'automobile. Description🎯 Contexte de missionDans le cadre de la stabilisation d'une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d'identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement. L'intervention nécessite un véritable expert Airflow / MWAA, capable d'aller au-delà du développement de DAGs pour intervenir sur l'architecture, le paramétrage, les performances et les mécanismes internes d'Airflow. 📋 Missions principales et rôleRéaliser un diagnostic flash des incidents, dysfonctionnements et goulots d'étranglement. Identifier les causes racines des problèmes rencontrés. Mettre en œuvre des correctifs immédiats afin de restaurer la stabilité de la plateforme. Reprendre et analyser les conclusions des expertises précédentes. Auditer l'architecture, la configuration et le paramétrage de l'environnement MWAA. Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow. Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement. Analyser les logs et métriques afin d'identifier les problèmes de performance. Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d'auto-scaling MWAA. Construire une feuille de route corrective priorisée. Piloter la mise en œuvre des actions de remédiation. Mesurer l'efficacité des corrections via des KPIs de performance et de stabilité. Accompagner les équipes internes dans l'application des bonnes pratiques Airflow / MWAA. Contribuer à la pérennisation de la plateforme et à l'amélioration de son architecture. 🎯 ObjectifsCourt terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA. Moyen terme : identifier précisément les causes structurelles des dysfonctionnements. Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables. Réduire durablement le taux d'incidents et les problèmes de performance. Transférer l'expertise aux équipes en place.

Pour renforcer une équipe Data et travailler dans un contexte de création d'un "socle" / d'une "brique" data entre les applications métier et les différentes plateformes de consultation des données) ; nous recherchons un Data Engineer (ingestion et transformation de données). Parmi les activités : - Configurer les bases de données, avec stratégie de retention et classification - Documenter - Ingérer des données depuis les sources (via base de données ou API) - Modéliser les objets - transformer les objets - Reprise de l'historique des données - Stratégie de qualité et rejet/quarantaine

Contexte :Dans le cadre de plusieurs projets stratégiques autour de la Data et de l'Intelligence Artificielle, notre client recherche un Data Scientist confirmé pour reprendre, faire évoluer et industrialiser des projets et modèles existants. Dans un environnement en pleine transformation, le consultant contribuera également à la construction d'une nouvelle stack technique basée notamment sur MLflow, Airflow et Kubernetes. Missions principales :Reprendre rapidement la compréhension des projets, modèles et codes existants. Concevoir, développer et optimiser des solutions de Machine Learning. Intervenir sur des sujets LLM, IA générative et RAG. Faire évoluer les solutions existantes afin de les intégrer à la nouvelle stack technique. Participer à l'industrialisation et au déploiement des modèles. Contribuer à la mise en place et à l'amélioration des pratiques MLOps / LLMOps. Veiller à la documentation, la maintenabilité et la qualité des solutions livrées. Participer notamment à un projet d'IA visant à générer des pré-réponses aux e-mails des utilisateurs. Livrables attendus :Modèles et solutions ML/LLM développés et optimisés. Solutions industrialisées et déployées sur la nouvelle stack. Pipelines et processus MLOps / LLMOps opérationnels. Documentation technique et fonctionnelle des solutions. Code maintenable et réutilisable. Évolution des projets existants conformément aux besoins du client.

Dans le cadre d'un projet stratégique de transformation Data, nous recherchons un(e) Data Engineer. MissionsDéveloppement de modèles de données et DataMarts Construction et maintenance de pipelines ELT Orchestration des flux avec Apache Airflow Optimisation des performances et des coûts Participation aux revues de code et aux déploiements Contribution à la documentation technique Compétences indispensablesSnowflake – Expert DBT Apache Airflow SQL avancé Python Data Warehouse & DataMarts Pipelines ELT Git / CI-CD 5 ans minimum d'expérience en Data Engineering Compétences appréciéesPower BI Architecture Médaillon (Bronze / Silver / Gold) Data Fabric

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Ingénieur Junior H/F à Lille, France. Contexte : Dans le cadre du renforcement de l'équipe, intégré à la direction DELIVERY BACK, département Finance, RH et RSE, le client recherche un profil du type Data Ingénieur qui soit capable de comprendre, d'interagir et de communiquer en autonomie avec métier, de définir une conception en phase avec les visions cibles de l'entreprise (GCP (Bigquery/Airflow/cloudrun/…), RDO, git,Onestream…) et de la mettre en place (conception, développement, qualification, mise en production et maintenance). L'équipe est en agile et en pleine évolution elle est actuellement composée de 4 membres (un PO, 3 Data Ingénieurs) travaillant sur l'environnement GCP. Un rapprochement avec 2 experts EPM sur la solution Onestream est en cours Une maîtrise du SQL et l'esprit collaboratif sont impératifs, ainsi qu'une curiosité et une réelle envie de progresser et de découvrir l'environnement du Retail ainsi que ses processus autant techniques que fonctionnels Les missions attendues par le Data Ingénieur Junior H/F : Recueillir et analyser les besoins métiers afin de concevoir des solutions Data adaptées aux enjeux fonctionnels et aux architectures cibles. Concevoir et développer des pipelines et solutions Data sur GCP (BigQuery, Airflow, Cloud Run, etc.). Participer à l'ensemble du cycle de vie des solutions : conception, développement, qualification, mise en production et maintenance. Collaborer étroitement avec les équipes métiers, les Data Engineers et les experts EPM autour de la solution OneStream. Garantir la qualité, la fiabilité et la performance des données et des traitements. Participer aux rituels Agile et contribuer à l'évolution des pratiques et de l'architecture Data de l'équipe. Assurer la gestion et le versioning du code via Git et contribuer à la documentation des solutions mises en œuvre.

Rejoignez une grande entreprise du secteur automobile en tant que Lead Data Orchestration Engineer pour piloter l'optimisation et la sécurisation d'une plateforme d'orchestration Airflow critique. Vous piloterez une mission stratégique combinant expertise technique, architecture cloud et mentorat d'équipes dans un environnement à fort enjeu de continuité de service. Contexte de la mission Vous intégrez une équipe Data Platform au sein d'un groupe majeur du secteur automobile. La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données transactionnelles complexes à travers 9 pays européens. Suite à un audit technique approfondi ayant stabilisé les fondations, la mission porte désormais sur quatre axes stratégiques : optimisation architecturale et passage à l'échelle, sécurisation et résilience de bout en bout, évaluation et migration vers une infrastructure cible mieux adaptée, et montée en compétence progressive des équipes Dev et Ops. Environnement technique Plateforme actuelle : AWS MWAA avec SQS/SNS, Secrets Manager, CloudWatch et IAM ; plus de 200 DAGs en production avec DAG Factory dynamique existante. Méthodologie : approche Agile avec cycles d'optimisation, benchmarking technique et gestion de programme structurée. Périmètre : infrastructure multi-pays, multi-environnements (Dev/Ops séparés), avec enjeux forts de performance, coûts et conformité. Responsabilités : - Optimiser et faire évoluer l'architecture d'orchestration existante : enrichissement de la DAG Factory, migration vers les Datasets natifs Airflow, optimisation des performances au parse-time et runtime, mise en place de validation automatisée en CI/CD (parse test, linting, tests d'intégration) - Concevoir et implémenter une stratégie de sécurisation robuste : politique de rotation des secrets, routage d'alertes différencié par type et criticité, hardening réseau et configuration, patterns avancés de résilience (retry strategies, Dead Letter Queues, circuit breakers) - Piloter la phase d'étude et de benchmarking des alternatives à AWS MWAA (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, etc.) en regard des contraintes métier, puis élaborer une recommandation argumentée avec analyse coûts/bénéfices et plan de transition - Prendre en charge la migration vers l'infrastructure cible retenue, en garantissant continuité de service, POC validant et bascule progressive en production - Conduire le programme de formation et de montée en compétence des équipes (~10 personnes Dev et Ops), favoriser la constitution d'une méta-équipe plateforme unifiée, et accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps) - Concevoir et faire appliquer des standards techniques transverses : patterns de conception, conventions de code, processus de review et bonnes pratiques d'observabilité - Piloter le capacity planning, le tuning de...

Contexte Je recherche pour l'un de mes clients, entreprise industrielle française en pleine transformation digitale, un(e) Ingénieur(e) Data en CDI à Marseille. Cette opportunité est à pourvoir au sein de la DSI (100 collaborateurs), dans un environnement stimulant et innovant. Vous intégrerez le pôle Data et interviendrez sur des projets stratégiques de modernisation des architectures de données. Missions Rattaché(e) au Responsable de Production, vous aurez un rôle clé dans la conception, l'optimisation et la fiabilité des bases de données transactionnelles et décisionnelles. À ce titre, vos missions incluront : Concevoir et modéliser les bases de données en lien avec les chefs de projet, architectes, consultants ERP et experts décisionnels Participer à la mise en place et à l'évolution de l'entrepôt de données (Data Warehouse) et de la "Modern Data Stack" Développer et maintenir les flux de synchronisation entre systèmes (Airbyte, DBT, Airflow, Snowflake...) Assurer l'optimisation des performances des requêtes SQL/noSQL et le support aux équipes de développement Contribuer à l'adaptation du modèle de données dans le cadre du déploiement d'architectures microservices Participer au support technique de niveau 3 et à la veille technologique

TEKsystems recherche pour l'un de ses clients grand compte un(e) Data ingénieur (H/F) Les tâches : Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources Corporate identifiés (ERP, Plateformes Financières, RH, ITSM etc.). Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. Concevoir et implémenter des pipelines d'ingestion automatisés fiables et performants, garantissant l'intégrité et la fraîcheur des données. Structurer et modéliser les données dans un entrepôt de données (Data Warehouse Snowflake) de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse des différents départements Corporate. Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise pour assurer la maintenabilité et la transférabilité. Environnement technique Sources : Multiples systèmes Corporate (Systèmes Financiers, Plateformes Achats, Outils ITSM. - via APIs, exports ou connecteurs natifs). Destination : Snowflake(Data Warehouse Cloud). Orchestration : Airflow. Transformation : DBT Core / SQL, Python (Pandas/PySpark) ou équivalent. Modélisation : DrawIO, Lucidchart ou autre support outil libre. Visualisation / Restitution : Tableau. CI/CD / versioning : GitLab, GitHub. Documentation : Confluence, Jira, SharePoint.

Dans le cadres des applications à maintenir sur le périmètre finance, réglementaire et comptabilité, vous serez en charge de: Accompagner les équipes dans le traitement et le suivi de la production, Mise en place des évolutions, Suivre les Run des production, Gérer les incidents dans le respect des délais demandés, Traiter les tickets JIRA pour la maintenance des applications. Ces applications porteront sur les domaines suivants: IFRS9/ BCR. Crédit Reporting, Outil d'expertise Réseau, Calcul de provision IFRS9, Anadefi, Outil de reporting réglementaire, Outil de lutte contre le blanchiment et le financement de terrorisme, Les livrables attendus sont les suivants: Rédaction des procédures de suivi de production, Suivi du Run de Production, Traitement des incidents, Mise en oeuvre des demandes d'évolution liées à la maintenance corrective,

Je recherhce un Ingénieur DataOps Databricks Dataiku ayant minimum 6ans d' experience Mission Au sein d'une organisation Agile et DevOps, l'ITOps est le garant de l'exploitabilité, de la disponibilité et de la résilience des solutions IT, il accompagne les équipes projets dans l'intégration des exigences de production, de sécurité et d'infrastructure tout au long du cycle de vie des applications et plateformes. En complément, la dimension DataOps consiste à assurer le déploiement et l'architecture Data autour des solutions Databricks & Dataiku. Le rôle consiste à garantir la stabilité, la performance et la sécurité des environnements, en collaboration avec les équipes techniques et métiers de la direction Data & IA Cardif Attention : Je ne recherche pas un Data Engineer ni quelqu'un ayant simplement exploité ces solutions entant qu'end user, mais un profil ITOps possédant de l'expérience dans le déploiement et l'industrialisation de solutions Data, notamment Databricks et/ou Dataiku. Responsabilités principales • Administrer les environnements Databricks et Dataiku : gestion des clusters, sécurité et gouvernance (Databricks Azure, Dataiku on prem) • Automatiser le déploiement et la configuration IaC • Administrer des environnements Airflow, Starburst … et rétablir le service en cas d'incident. • Assurer la fiabilité, l'intégrité et la qualité de la plateforme en production. • Participer à la conception d'architectures data end-to-end (ingestion, stockage, transformation, exposition) et anticiper les impacts sur la production. Compétences clés Techniques • Linux (RHEL), Docker, Kubernetes / OpenShift • Databricks, Dataiku (connaissances avancées) • Airflow, Starburst, Domino AI, RASA, Collibra (un plus) • Automatisation & IaC Git, Ansible, Terraform, Helm, DigitalAI, ArgoCD • Scripting : Python, SQL, Shell, YAML • Observabilité & Monitoring: ELK, SysDig, Dynatrace, Grafana • Cloud : IBM Cloud (Cloud Principal), Azure (pour la solution Databricks) Métier & Soft skills • Analyse, diagnostic, résolution de problèmes et définir des indicateurs pertinents (SLI/SLO) • Autonomie, sens des priorités et proactivité • Capacité à anticiper les besoins futurs en matière de Data & AI et à proposer des solutions innovantes pour améliorer la fiabilité et la performance des services. Profil recherché • Expérience en DataOps, DevOps/IAOps/Architecture Data ou exploitation en production. • Maîtrise opérationnelle de Databricks et Dataiku sur des projets réels en production • Communication fluide et maitrise de l'anglais obligatoire pour un usage quotidien

Voici une version anonymisée de la mission, avec les éléments potentiellement identifiants remplacés par des mentions génériques : Contexte : Dans un contexte de transformation du patrimoine data et d'optimisation de la connaissance clients, nous cherchons un renfort sur un poste de Data Engineer Senior au sein du service Marketing Clients d'une direction Marketing/Communication Digitale et Data. Il rejoindra l'équipe Data Engineering et travaillera en proximité avec les équipes Design Authority (respect des standards d'architecture), Data Management, Informatique, Data Science et Animation. La mission principale sera de concevoir des modèles de données métiers, sur la base de nouvelles données mises à disposition par le service IT (ex : solution de centre de contact cloud, données de satisfaction client, etc.), et de les rendre accessibles via des datamarts pour servir des usages d'études, de reportings, ainsi que des besoins opérationnels tels que le ciblage. Profil : Data Engineer Senior (> 5 ans d'expérience) Missions : Conception de modèles de données Développement des datamarts (couche Gold d'un environnement Snowflake) et pipelines associés dans les différents environnements Réalisation des tests techniques Rédaction des livrables (data model, data mapping, spécification technique) Documentation

Dans le cadres des applications à maintenir sur le périmètre finance, réglementaire et comptabilité, vous serez en charge de: Accompagner les équipes dans le traitement et le suivi de la production, Mise en place des évolutions, Suivre les Run des production, Gérer les incidents dans le respect des délais demandés, Traiter les tickets JIRA pour la maintenance des applications. Ces applications porteront sur les domaines suivants: IFRS9/ BCR. Crédit Reporting, Outil d'expertise Réseau, Calcul de provision IFRS9, Anadefi, Outil de reporting réglementaire, Outil de lutte contre le blanchiment et le financement de terrorisme, Les livrables attendus sont les suivants: Rédaction des procédures de suivi de production, Suivi du Run de Production, Traitement des incidents, Mise en oeuvre des demandes d'évolution liées à la maintenance corrective,

Informations Générales TJM max : 370 € Localisation : IDF — Rythme : 2 jours sur site / 3 jours en télétravail Date de démarrage : 14/09/2026 Date de fin : 31/07/2027 Description de la Mission Au sein du pôle Data & Analytics, l'objectif principal consiste à faire évoluer les outils décisionnels clés dédiés à la gestion de l'assortiment et à en assurer le maintien en conditions opérationnelles (MCO). En vous appropriant l'architecture existante, vous interviendrez de bout en bout sur toutes les briques analytiques (modèles de prévision, optimisation de l'assortiment, KPI décisionnels). Missions quotidiennes : Gérer le traitement des nouvelles demandes (réfinement avec la Product Owner Data, développements SQL/dbt/Python, tests et recette). Analyser et résoudre les incidents techniques/bugs. Répondre aux besoins d'analyses métier ponctuelles. Faire évoluer les outils sur le fond : optimisation des performances, automatisation Airflow, alertes et documentation enrichie via LLM. Livrables Attendus Exécution & Intégration : Réalisation des tickets Jira selon les rites Agiles (développements SQL/dbt/Python, correctifs, tests, recette et déploiements). Documentation & Automatisation : Rédaction d'une documentation claire, fiable et à jour des pipelines et modèles de données (notamment via l'utilisation d'outils LLM). Analyses Métier : Extractions et analyses de données restituées de manière structurée, argumentée et pédagogique. Audit & Recommandations : Restitution de synthèses et de rapports d'audit apportant un regard critique sur l'existant afin de proposer des axes d'amélioration (performance, robustesse, alertes).

Mission Développer les pipelines de traitement et assurer l'intégration des données, en garantissant la qualité, la maintenabilité, la performance et la réutilisabilité des développements. Responsabilités principales - Réaliser les cas d'usage Data de bout en bout. - Développer et maintenir les pipelines de traitement et d'intégration des données. - Réaliser des développements maintenables, scalables, réutilisables, optimisés et performants. - Appliquer les règles de bonnes pratiques et les règles de nommage définies. - Réaliser les tests techniques automatisés : tests unitaires, tests de non-régression et traces associées. - Exploiter et déployer proprement les développements sous Git : version, repository, US ou Feature. - Produire la documentation technique à la fin de chaque sprint. - Contribuer à la modélisation des données avec la gouvernance, le Product Owner et le Data Analyst. - Accompagner les Data Analysts sur la structure des données et les modèles en base de données. - Être force de proposition, proposer des alternatives et contribuer au déblocage des sujets techniques.

Contexte de la mission Dans le cadre du renforcement d'une équipe Data intervenant sur un projet Agile, nous recherchons un Data Ingénieur confirmé (+8 ans d'expérience) pour intégrer une équipe composée de 2 Data Ingénieurs et d'un Chef de section en charge de l'orchestration (GitLab CI/CD, Docker, Airflow). La mission est prévue pour une durée initiale de 6 mois, renouvelable 6 mois, avec un démarrage idéal la dernière semaine d'août. Missions : Développer, maintenir et optimiser des pipelines ETL en Python / Pandas / SQL Participer aux cérémonies Agile (daily, sprint planning, review, rétrospective) Collaborer avec le chef de section sur les aspects d'orchestration et d'industrialisation Contribuer à la qualité du code, aux bonnes pratiques et à la documentation Assurer la fiabilité, la performance et la robustesse des traitements data Participer à l'amélioration continue de l'architecture data Travailler en coordination avec les équipes internes et les autres Data Ingénieurs Profil : 5 ans d'expérience minimum en tant que Data Ingénieur Maîtrise confirmée de Python / Pandas / SQL / ETL Capacité à intervenir dans un environnement Agile Autonomie, rigueur, sens du delivery Capacité à collaborer dans une équipe technique exigeante Intérêt pour l'orchestration (Airflow, Docker, CI/CD) Bon niveau de communication et de documentation Compétences obligatoiresPython + Pandas (confirmé) SQL (confirmé) ETL (confirmé) Pipelines de données : conception, optimisation, industrialisation Compétences appréciéesDocker Airflow CI/CD GitLab Connaissance des environnements d'orchestration