Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Missions principales : Mise en place et automatisation des services API ⇔ Plateforme. Gestion des produits Trino ( Starburst ) et Airflow . (IMPORTANT D'AVOIR DEJA TRAVAILLE SUR CES SOLUTIONS) Exploitation de Kubernetes dans un contexte data. Objectifs : Utiliser les produits sous un format as a Service ( Trino as a Service / Airflow As a Service ) Permettre aux internes de consommer les produits data Compétences requises (MANDATORY) : Expérience confirmée sur les produits Trino (Starburst) et Airflow Expertise Kubernetes dans un contexte Data Orchestration : Kubernetes / Opérateurs Kubernetes / Helm Chart Automatisation : Ansible, Terraform (apprécié) Certifications Kubernetes fortement apprécié

Mission: Lieu : IDF (sud de Paris) Démarrage souhaité : Janvier 2026 Télétravail : 2 jours par semaine Astreintes : Oui Nous recherchons trois Administrateurs Systèmes N2/N3 pour intervenir sur une plateforme Data Lake de grande envergure. Vous rejoindrez l’équipe en charge de l’administration, du maintien en conditions opérationnelles et de l’automatisation des environnements Linux/Cloudera. Il s’agit d’une mission longue et techniquement exigeante, dans un environnement moderne mêlant Big Data, automatisation, scripting et ordonnancement. Responsabilités principales Administrer et exploiter la plateforme Data Lake (environnements Cloudera & Linux) Assurer le MCO/MCS des clusters (fiabilité, disponibilité, supervision) Implémenter et maintenir des pipelines d’automatisation via AWX / Ansible Rédiger et maintenir des scripts d’administration (Python, Shell, Ansible) Participer aux phases d’industrialisation, normalisation et sécurisation des environnements Gérer les accès et l’identité via IDM / FreeIPA Exploiter et optimiser les workflows sous Airflow Participer à la gestion des incidents (N2/N3), astreintes et interventions HNO Travailler en coordination avec les équipes Data, Sécurité et Exploitation

Objectif : Renforcer l’équipe en charge du maintien en condition opérationnelle du DATAHUB en assurant un support de niveau 2-3 et l’optimisation des environnements critiques. Missions : Assurer le support N2/N3 en production sur Spark , Airflow et Starburst ( sur Kubernetes ) Participer à la gestion et résolution d’incidents , analyse des root causes. Optimiser les traitements Spark sur Kubernetes (tuning, configuration, dimensionnement). Améliorer l’orchestration Airflow et la gestion des catalogues Starburst. Contribuer à la documentation et l’amélioration continue des procédures d’exploitation. Accompagner les équipes métiers dans l’usage sécurisé et performant des plateformes.

Data Platform Product Manager - Très belle opportunité dans une Grande Maison française Un de nos importants clients recherche un Data Platform Product Manager dans le cadre d'un CDI à Paris. Le Data Platform Product Manager a pour mission de structurer et piloter le portefeuille de produits de la plateforme data. Il développe l'équipe et le modèle opérationnel permettant d'orchestrer l'intake, la priorisation et le delivery. Il assure le suivi opérationnel, budgétaire et méthodologique du portefeuille en garantissant l’alignement avec le Data Office Management, et en maximisant l’adoption et la valeur pour le Data Office et la Maison. Véritable partenaire des leaders techniques de la Data Platform, des autres pôles du Data Office et des différentes filiales, vous alignez vision, roadmaps, budgets, SLO et accompagnez les Platform Product Owners dans la mise en œuvre des méthodologies et des outils pour atteindre leurs objectifs dans le respect des délais et des exigences de qualité de la Maison. Vous jouez un rôle clé dans la stratégie produit, la gestion des risques, et la diffusion d’une culture produit au sein de la Data Platform. Principales activités : Engagement opérationnel : Pilote le portefeuille de produits Data Platform en collaboration avec le Data Office Management et en appui aux responsables de scope. Consolide le reporting et tient le release calendar Data Platform. Orchestre l’intake et le triage avec priorisation valeur/risque/coût et séquencement des dépendances inter-produits et inter-équipes. Tient à jour les roadmaps et objectifs Data Platform en lien avec la direction Data Office. Met à jour et analyse les KPIs Data Platform. Alerte sur les écarts majeurs. Anime l'équipe Data Product Management. Coordonne les plannings, suit l’avancement et propose des arbitrages en cas de conflit de capacité. Met en place et diffuse le modèle opérationnel de delivery orienté produit : spécifications / user stories, critères d’acceptation, definion of ready/done, backlog management, move2run, etc. Accompagne l'équipe Run dans la mise à jour des SLA/SLO, leur suivi cross-équipes et les moyens mis en oeuvre pour l'amélioration continue. Assure la cohérence transverse notamment avec DevEx, Data Office Management, et Data Governance. Evite les duplications et aligne standards et conventions. Sollicite et équilibre les partenaires externes stratégiques. Suivi budgétaire : Assure le suivi des budgets produits et des indicateurs de performance en alertant immédiatement sur les écarts et en proposant des solutions pragmatiques adaptées à l'horizon de temps. Collabore avec le Data Office Management pour un pilotage financier rigoureux. déploie showback, prépare le chargeback, identifie les postes de dépense inefficients ou obsolètes et propose une stratégie pour y remédier. Outils & méthodologies : Déploie des outils de pilotage (roadmaps/objectifs, reporting, tableaux de bord, gestion documentaire). Propose les bons KPIs de suivi. Alimente les outils de BI pour automatiser et croiser. Garantit le respect des méthodologies produit & projet notamment pour le delivery et identifie les écarts. Anime l’amélioration continue (retours d’expérience, post-mortems, actions correctives). Profil recherché : Diplômé Bac+5 (école d’ingénieur, université ou équivalent) avec une Expérience confirmée en gestion de produits Data (data platform / analytics engineering / data products) dans des environnements complexes. Expérience requise en mise en place d'approche produit/agile pour le delivery, stratégie d'implémentation en continu (projets en cours), accompagnement de l'équipe, des partenaires et des stakeholders. Expérience confirmée en coordination multi-produits et reporting exécutif ; capacité à arbitrer et synchroniser des roadmaps. Solide culture Data & AI Platform : Datawarehouse cloud (Snowflake), dbt, Orchestration (OpCon/Airflow), Dataviz (Power BI), Observabilité, DevEx, FinOps, MLOps/LLM. Maîtrise des pratiques gouvernance technique (Catalog/Lineage, GDPR automation) et des SLO/SLA. Expérience confirmée de management de profils Product Owner / Product Manager en collaboration avec des équipes techniques. Excellente communication écrite et orale (FR/EN), leadership transverse en organisation matricielle, sens de la pédagogie et de l’accompagnement au changement. Si cette offre vous intéresse merci de m'envoyer votre CV et je reviendrai vers vous dès que possible avec les détails.

Notre client dans le secteur Luxe recherche un/une Ingénieur Backend Python / Monitoring AzureH/F Description de la mission: Notre client est leader dans le secteur de la beauté et du luxe. Sur cette mission, vos responsabilités seront : • Développer et maintenir des applications backend robustes en Python. • Appliquer des architectures de données de type ELT pour structurer les données. • Développer et maintenir des pipelines de données avec Airflow, Logstash et des scripts Python/Spark pour la collecte et la transformation des données. • Gérer le stockage des données avec Postgres SQL, ElasticSearch, et Azure. • Utiliser Grafana pour la visualisation des données et la création de tableaux de bord. • Intégrer des solutions de monitoring et de logging avec Azure Log Analytics & Metrics. • Collaborer avec les équipes de développement, d'exploitation et de data science dans un environnement Agile Scrum et DevOps. • Utiliser GitHub pour la gestion des dépôts et des pipelines CI/CD. • Participer aux réunions de planification et de révision pour aligner les objectifs techniques avec les besoins commerciaux. Compétences techniques requises : • Maîtrise avancée de Python/Spark et d'autres langages de programmation orientés objets, et expérience avec les API REST & SOAP, Webhooks. • Expertise avancée dans Postgre SQL, ElasticSearch, et Logstash. • Connaissance approfondie des architectures de données ELT. • Expertise avancée avec les technologies Azure, notamment Azure Blob Storage, Event Hub, Azure Log Analytics & Metrics. • Compétences en développement de pipelines de données avec Airflow. • Utilisation de GitHub pour les dépôts et les pipelines CI/CD. • Connaissance autour de Apache Spark est un plus. • Anglais : Niveau intermédiaire requis. Compétences / Qualités indispensables : Python, PostgreSQL, Azure, ElasticSearch, Logstash, Airflow Compétences / Qualités qui seraient un + : Github Devops Informations concernant le télétravail : 2 jours de télétravail par semaine

Conception & développement de pipelines Implémenter de nouveaux flux de données batch et streaming . Développer des pipelines ETL / ELT en Python et Airflow pour les traitements planifiés, et via NiFi ou Kafka pour les données en temps réel. Assurer l’intégration et la mise à disposition des données dans Snowflake . Industrialisation & bonnes pratiques Participer aux revues de code , aux tests unitaires et d’intégration . Contribuer à l’ industrialisation des pipelines avec des pratiques CI/CD robustes. Maintenir la documentation technique à jour et contribuer à l’amélioration continue des process. Maintenance & optimisation Garantir la maintenance corrective et évolutive des flux existants. Participer à la mise en place du monitoring , des alertes et des bonnes pratiques d’exploitation. Optimiser les performances, la fiabilité et la qualité des traitements de données.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Tech Lead Snowflake : le Tech Lead « aura donc la charge de: 1)Co-piloter la Feature Team 2)Créer un binôme fort avec son homologue ‘Produit’ (Product Owner déjà présent). 3)Encadrer les Data Engineers : 4 externes + 1 interne 4)Assurer la mise en oeuvre des bonnes pratiques de développements (DevOps, Qualité, FinOps, etc.) 5)Contribuer au cadrage, découpage & macro-estimation des nouveaux sujets. 6)Orienter les choix techniques et de modélisation (urbanisation Snowflake, patterns Archi, etc.) 7)Livrer les produits Data (Analytics & IA) suivant les engagements de qualité et de délais pris. 8)Gérer la communication et la résolution en cas d’incidents. 9)Tenir informés ses supérieurs, voir les alerter ou demander de l’aide en cas de risque ou pb. 10)Participer aux évènements organisés à l’échelle de la DATA ou de la verticale ENGINEERING.

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l’exploitation et le support de plateformes Big Data. Contexte : Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur Kubernetes et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) La prestation visera à : Assurer le support de niveau 2 en production des plateformes mentionnées (PROD). Intervenir dans la gestion des incidents, l’analyse des root causes et la résolution. Participer à l’ optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l' optimisation de l'orchestration Airflow , à la gestion des catalogues Starburst Accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. Contribuer à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

En tant que Développeur Python spécialisé en automatisation, vous interviendrez sur la conception, le développement et l’optimisation de scripts et d’outils destinés à automatiser les processus internes. Vous contribuerez à réduire les tâches manuelles répétitives, améliorer la fiabilité opérationnelle et accélérer les workflows techniques et métiers. Vous travaillerez en collaboration directe avec les équipes techniques (Ops, Data, Infrastructure) pour identifier les besoins, proposer des solutions innovantes et garantir la performance des outils développés.

Nous recherchons une personne enthousiaste pour l'opensource dans un envrionnement de production. Cette personne aura le sens du service, un esprit d'équipe développé, et une excellente communication. Le tout accompagné d'une rigueur, notamment dans la réalisation des projets. Enfin, des qualitiés rédactionnelles sont les bienvenues. Missions : le traitement N3 des incidents de production la réalisation de projets techniques, dont notamment la qualification et l'industrialisation des briques techniques le traitement d'obsolescence le suivi des KPIs et les actions qui en découlent Les projets sur 2026 tourneront autours : finalisation des montées de versions de Mysql jusqu'à la 8.4 étude des solutions type TiDB ou Vitess étude, qualification, industrialisation des briques techniques dans Kubernetes, et notamment kafka, mysql

Dans le cadre du renforcement de la capacité de support sur la nouvelle offre DATAHUB , l’ingénieur support Data aura pour mission d’assurer le maintien en condition opérationnelle, le support de niveau 2 et l’optimisation des plateformes Apache Spark , Apache Airflow / Astronomer et Starburst (Trino) , déployées sur Kubernetes (IKS) et prochainement sur OpenShift . Le poste consiste à intervenir sur les incidents de production, analyser les causes racines, contribuer à l’optimisation des traitements et accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. L’ingénieur participera également à la documentation technique, à la mise en œuvre des bonnes pratiques d’exploitation et à l’amélioration continue de l’écosystème DataHub. Il travaillera en étroite collaboration avec les équipes Data, Infrastructure et Sécurité afin de garantir la performance, la fiabilité et la scalabilité des environnements de production.

Contexte et détails de la mission Définition du besoin La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation en data engineering En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances de data engineering • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Modalités de la prestation : Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation. Astreintes week-end et jours fériés : Non Matériel performant à fournir par le prestataire : Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir : - Un antivirus à jour et activé - Un mécanisme de chiffrement du disque activé - Un système d'exploitation à jour de ses correctifs de sécurité - Un mécanisme de verrouillage du poste activé - Un moyen de stockage sécurisé des mots de passe. Usage de la langue française : L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…). Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.

Nous cherchons un Tech Manager Data qui saura allier leadership technique et pilotage stratégique autour d’un sujet clé : l’exploitation des données issues des Property Management Systems. Ces données sont le cœur du fonctionnement : réservations, facturation, occupation, services. Ton rôle ? Les transformer en un actif stratégique fiable, pour booster la performance et la distribution des services. En tant que Tech Manager Data , tu seras : Le leader technique et managérial de deux équipes (internes & partenaires externes). Le chef d’orchestre des projets data PMS : collecte, intégration, fiabilisation et monitoring. Le binôme stratégique du Product Manager Data pour construire la roadmap et prioriser la valeur. Le garant de la fiabilité et de la performance des produits data : monitoring, alerting, optimisation FinOps/DevOps. L’ interface clé entre les équipes métiers, IT et les éditeurs PMS.

Nous recherchons pour le compte de notre client un Lead Data Engineer / Data Engineer Senior H/F pour une mission en freelance ou portage salarial de 6 mois renouvelable à pourvoir dès que possible dans le département 92 (Ile-de-France). Un début de mission en janvier 2026 peut-être envisageable. Notre client propose 2 jours de télétravail maximum par semaine. Responsabilités principales : Mise en place de standards de développement et bonnes pratiques Expertise en performance, fiabilité et scalabilité Participation à la communauté des Tech Leads avec les différentes Lines of Business de notre client Développement de flux d’ingestion

Contexte : Notre client, un grand groupe du secteur retail, déploie une plateforme Dataiku pour industrialiser la préparation et le scoring de ses modèles analytiques. Missions : Concevoir et maintenir des pipelines Dataiku Automatiser les processus de traitement et de scoring des données Garantir la qualité et la traçabilité des datasets Travailler en lien étroit avec les Data Scientists et les équipes métier Stack technique : Dataiku, Python, SQL, Airflow, Git, Docker, AWS S3 Profil recherché : Expérience confirmée sur Dataiku (projets réels en prod) Bon niveau en Python / SQL Capacité à travailler en mode agile, avec un fort sens de la communication

Nous recherchons un Data Scientist Senior (H/F) pour rejoindre l'équipe E-commerce, Marketing & Relation Clients d’un acteur du retail. 🎯 L’objectif ? Concevoir, industrialiser et améliorer des solutions de machine learning visant à optimiser la performance opérationnelle et commerciale du e-commerce : qualité des opérations, rentabilité, productivité et personnalisation client. Tu évolueras au sein du pôle Data Science Customer , dans un environnement agile, collaboratif et cloud-native , où les approches data-driven et l’innovation sont au cœur de la stratégie omnicanale du groupe. 🚀 Tes missions principales : Identifier, avec les équipes métier et opérationnelles, les cas d’usage data à fort impact business Explorer et fiabiliser les données : nettoyage, agrégation, étude ad-hoc et préparation de datasets Concevoir, implémenter et évaluer des modèles de machine learning et d’analyse prédictive Définir et conduire des protocoles de test en conditions réelles (magasins, entrepôts, plateformes logistiques) Industrialiser et maintenir les solutions dans les environnements cloud (CI/CD, monitoring, itérations) Assurer la transmission des bonnes pratiques et le mentoring de data scientists juniors Participer activement à la communauté Data Science du groupe (séminaires, retours d’expérience, veille technologique) 🔧 Environnement technique : Langages & outils : Python, SQL, Terraform, Docker, GitLab, Jenkins Cloud & Orchestration : Google Cloud Platform (GCP), Cloud Composer / Airflow, Cloud Run, BigQuery, Cloud Batch, Kubernetes Engine, Vertex AI, Cloud Storage Méthodologies : Agile / Scrum, itérations rapides, revue de code et bonnes pratiques DevOps