Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Objectif : Renforcer l’équipe en charge du maintien en condition opérationnelle du DATAHUB en assurant un support de niveau 2-3 et l’optimisation des environnements critiques. Missions : Assurer le support N2/N3 en production sur Spark , Airflow et Starburst ( sur Kubernetes ) Participer à la gestion et résolution d’incidents , analyse des root causes. Optimiser les traitements Spark sur Kubernetes (tuning, configuration, dimensionnement). Améliorer l’orchestration Airflow et la gestion des catalogues Starburst. Contribuer à la documentation et l’amélioration continue des procédures d’exploitation. Accompagner les équipes métiers dans l’usage sécurisé et performant des plateformes.

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l’exploitation et le support de plateformes Big Data. Contexte : Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur Kubernetes et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) La prestation visera à : Assurer le support de niveau 2 en production des plateformes mentionnées (PROD). Intervenir dans la gestion des incidents, l’analyse des root causes et la résolution. Participer à l’ optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l' optimisation de l'orchestration Airflow , à la gestion des catalogues Starburst Accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. Contribuer à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Data/ML Engineer – Secteur bancaire (IDF) – DISPO ASAP – MISSION LONGUE Contexte : Accélération IA – chantier Knowledge Management pour constituer une base de connaissance à partir de documents non structurés (PDF, Word, HTML). Un pipeline initial existe et doit être industrialisé pour une exécution fiable, scalable et maintenable. Objectif : Développer les pipelines d’ingestion, transformation et alimentation de la base, en assurant versioning et traçabilité . Activités : Modéliser l’architecture technique (ingestion → stockage) Développer des flux ETL modulaires (OCR, transformation, enrichissement) Standardiser le format pivot et les conventions de métadonnées Assurer l’historisation, le versioning et la traçabilité des documents Implémenter un orchestrateur (Airflow/Dagster/Prefect) si nécessaire Suivre la robustesse sur des volumes variés Collaborer avec les équipes KM et Data Science Documenter l’ensemble des flux de traitement

Bonjour, Nous recherchons pour le compte de l'un de nos clients intégrateurs un ingénieur ayant des compétences sur Control M et Airflow pour intervenir sur un projet qui a déjà démarré. Secteur d'activité client final : service public Démarrage : poste à pourvoir assez rapidement Lieu : Mission avec présence sur site La Défense + télétravail partiel Rythme de travail : temps plein Contexte de la mission : Migration de chaines d’ordonnancements Control-M vers Airflow Compétences obligatoires : Control M et Airflow

Dans le cadre du renforcement de notre capacité de support sur une nouvelle offre Data, nous recherchons des prestataires spécialisés dans l’exploitation et le support de ces plateformes. La prestation visera à : · Assurance de support de niveau 2 en production des plateformes mentionnées (PROD). · Intervention dans la gestion des incidents, l’analyse des root causes et la résolution. · Participation à l’optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst · Accompagnement des équipes métiers dans l’utilisation efficace et sécurisée des plateformes. · Contribution à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Nous recherchons un Développeur Data / BI pour renforcer l’équipe en charge de la Business Intelligence et de l’Analytics , au sein d’un environnement international dynamique et multiculturel. 🎯 Contexte de la mission : Dans le cadre de la maintenance et de l’évolution du produit BI , vous interviendrez sur les différentes couches de l’architecture data afin de garantir la fiabilité, la performance et la cohérence des traitements de données. Vous collaborerez étroitement avec les équipes Data (Paris & Budapest) 🧩 Vos principales missions : Participer activement au développement et à la maintenance du produit BI. Concevoir et maintenir les structures de bases de données et les scripts d’alimentation et de restitution (Python / dbt). Maintenir et faire évoluer l’environnement dbt . Garantir la cohérence d’ensemble des développements ELT et la qualité du code. Mettre à jour la documentation technique . Veiller à la réduction de la dette technique et à l’optimisation de l’architecture existante. Mettre en place des tests automatisés en collaboration avec l’équipe QA. Analyser les besoins métiers et proposer des solutions data adaptées. Participer activement à la vie Agile de l’équipe (Scrum).

Contexte Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable. Objectif de la mission Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.

Contexte : Notre client, un grand groupe du secteur retail, déploie une plateforme Dataiku pour industrialiser la préparation et le scoring de ses modèles analytiques. Missions : Concevoir et maintenir des pipelines Dataiku Automatiser les processus de traitement et de scoring des données Garantir la qualité et la traçabilité des datasets Travailler en lien étroit avec les Data Scientists et les équipes métier Stack technique : Dataiku, Python, SQL, Airflow, Git, Docker, AWS S3 Profil recherché : Expérience confirmée sur Dataiku (projets réels en prod) Bon niveau en Python / SQL Capacité à travailler en mode agile, avec un fort sens de la communication

Nous recherchons un Data Scientist Senior (H/F) pour rejoindre l'équipe E-commerce, Marketing & Relation Clients d’un acteur du retail. 🎯 L’objectif ? Concevoir, industrialiser et améliorer des solutions de machine learning visant à optimiser la performance opérationnelle et commerciale du e-commerce : qualité des opérations, rentabilité, productivité et personnalisation client. Tu évolueras au sein du pôle Data Science Customer , dans un environnement agile, collaboratif et cloud-native , où les approches data-driven et l’innovation sont au cœur de la stratégie omnicanale du groupe. 🚀 Tes missions principales : Identifier, avec les équipes métier et opérationnelles, les cas d’usage data à fort impact business Explorer et fiabiliser les données : nettoyage, agrégation, étude ad-hoc et préparation de datasets Concevoir, implémenter et évaluer des modèles de machine learning et d’analyse prédictive Définir et conduire des protocoles de test en conditions réelles (magasins, entrepôts, plateformes logistiques) Industrialiser et maintenir les solutions dans les environnements cloud (CI/CD, monitoring, itérations) Assurer la transmission des bonnes pratiques et le mentoring de data scientists juniors Participer activement à la communauté Data Science du groupe (séminaires, retours d’expérience, veille technologique) 🔧 Environnement technique : Langages & outils : Python, SQL, Terraform, Docker, GitLab, Jenkins Cloud & Orchestration : Google Cloud Platform (GCP), Cloud Composer / Airflow, Cloud Run, BigQuery, Cloud Batch, Kubernetes Engine, Vertex AI, Cloud Storage Méthodologies : Agile / Scrum, itérations rapides, revue de code et bonnes pratiques DevOps

Nous recherchons un Ingénieur Production expérimenté pour rejoindre une équipe projet dans le secteur bancaire. Vous interviendrez sur des environnements critiques à forte volumétrie de données. Compétences obligatoires : Apache Spark Apache Airflow CI/CD Kubernetes OpenShift Python Anglais courant Profil recherché : +7 ans d’expérience en environnement de production Bonne capacité à travailler dans un contexte exigeant et international Esprit collaboratif et sens de la communication Conditions de mission : Lieu : Paris (2 jours de télétravail/semaine) Démarrage : ASAP Durée : longue mission (renouvelable)

Dans le cadre d’une transformation digitale d’envergure au sein d’un grand acteur du retail, la Direction Data & IA renforce ses équipes pour accélérer la mise en œuvre de modèles de Machine Learning à fort impact business. Le consultant interviendra au sein d’une squad Data Science dédiée à la conception, à l’industrialisation et à l’exploitation de modèles de ML appliqués à divers cas d’usage (pricing, prévision, recommandation, fidélisation, supply chain…). Missions principales Concevoir, entraîner et déployer des modèles de Machine Learning adaptés aux besoins métiers (classification, régression, clustering, NLP, etc.) Préparer et qualifier les jeux de données (data cleaning, feature engineering, détection d’anomalies, sélection de variables) Mettre en place et maintenir les pipelines d’industrialisation (MLOps : Airflow, MLflow, Docker, CI/CD) Collaborer étroitement avec les équipes Data Engineering et Produit pour garantir la scalabilité et la performance des modèles Superviser et améliorer les modèles en production (monitoring, retraining, suivi des indicateurs) Documenter et restituer les travaux auprès des parties prenantes techniques et métiers

Dans le cadre d’un projet stratégique pour un grand acteur de l’assurance, nous renforçons notre équipe Data au sein du DataLab Groupe . Vous interviendrez sur des projets innovants de Data Science, de la R&D jusqu’à l’ industrialisation de modèles ML , avec un fort impact métier sur la lutte anti-fraude, la maîtrise des risques climatiques et la prévention des sinistres graves. Profil recherché 5+ ans d’expérience en Data Science , avec projets menés jusqu’à l’industrialisation. Forte capacité à encadrer, challenger et vulgariser auprès des équipes. Expérience en conduite du changement et interaction avec des utilisateurs métiers. Une curiosité et une veille active sur les nouvelles approches ML/IA.

Contexte Je recherche pour l’un de mes clients, entreprise industrielle française en pleine transformation digitale, un(e) Ingénieur(e) Data en CDI à Marseille. Cette opportunité est à pourvoir au sein de la DSI (100 collaborateurs), dans un environnement stimulant et innovant. Vous intégrerez le pôle Data et interviendrez sur des projets stratégiques de modernisation des architectures de données. Missions Rattaché(e) au Responsable de Production, vous aurez un rôle clé dans la conception, l’optimisation et la fiabilité des bases de données transactionnelles et décisionnelles. À ce titre, vos missions incluront : Concevoir et modéliser les bases de données en lien avec les chefs de projet, architectes, consultants ERP et experts décisionnels Participer à la mise en place et à l’évolution de l’entrepôt de données (Data Warehouse) et de la "Modern Data Stack" Développer et maintenir les flux de synchronisation entre systèmes (Airbyte, DBT, Airflow, Snowflake...) Assurer l’optimisation des performances des requêtes SQL/noSQL et le support aux équipes de développement Contribuer à l’adaptation du modèle de données dans le cadre du déploiement d’architectures microservices Participer au support technique de niveau 3 et à la veille technologique

Nous recherchons un ML Engineer confirmé pour une mission de 3 à 6 mois au sein de l’entité Data Analyse & Data Science de la Data Factory Omnicanal. Objectif : accompagner la montée en puissance des cas d’usage marketing via l’IA, tout en respectant la stratégie de jeu responsable, avec un fort focus sur l’industrialisation et la robustesse des modèles ML. Missions principales Le/la ML Engineer interviendra notamment sur : Migration de l’existant Data Science d’Hadoop vers AWS S3 et Dataiku Portage, optimisation et industrialisation des pipelines de données Mise en place et suivi des bonnes pratiques MLOps (CI/CD, monitoring, amélioration continue) Développement et déploiement de modèles ML avancés adaptés aux enjeux marketing digital Documentation et partage de bonnes pratiques Infos pratiques 📍 Lieu : île de France – 2 jours de TT / semaine 📅 Démarrage : 29/09/2025

Description de la mission : Nous recherchons un expert Big Data pour intervenir sur un projet stratégique autour du traitement et de la valorisation de données à grande échelle. Le consultant sera intégré à une équipe Data et interviendra sur la conception, l’optimisation et la mise en production de pipelines de données. Compétences attendues : Maîtrise avancée de Apache Spark (batch et streaming) Expertise sur Airflow (orchestration de workflows complexes, bonnes pratiques CI/CD) Connaissance approfondie de Superset (construction et industrialisation de dashboards) Bonnes pratiques en architecture Big Data et Data Lake Connaissances appréciées : Python, SQL, Cloud (AWS / GCP / Azure)

Dans le cadre de son initiative Big Data FR sur plateforme Open Source , GRDF recherche un Expert Spark afin de renforcer son équipe Data. L’objectif est de contribuer à la conception, à l’optimisation et au déploiement de pipelines Big Data à grande échelle, avec un focus sur la performance et la fiabilité. 🚀 Missions principales: Participer à la conception et au développement de pipelines de données distribués basés sur Spark. Optimiser la performance des traitements et garantir la scalabilité des solutions. Déployer, monitorer et maintenir les workflows de données via Airflow . Créer et améliorer des dashboards et visualisations de données avec Superset . Collaborer avec les équipes Data Engineering, Data Science et métiers pour intégrer les besoins fonctionnels dans la plateforme Big Data. Assurer une veille technologique et proposer des solutions innovantes dans l’écosystème Big Data Open Source.