Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Paris

Descriptif du poste Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) Dans le cadre du renforcement de notre capacité de support sur la nouvelle offre "DATAHUB V2", nous recherchons des prestataires spécialisés dans l'exploitation et le support de ces plateformes. Missions La prestation visera à : Assurer le maintien en condition opérationnelle en production des plateformes (Airflow, Spark, Starburst) Intervenir dans la gestion des incidents, l'analyse des root causes et la résolution Participer à l'optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst Accompagner les équipes métiers dans l'utilisation efficace et sécurisée des plateformes Contribuer à la documentation et à l'amélioration continue de l'écosystème d'exploitation

Nous recherchons un Data Scientist / ML pour rejoindre une équipe Data d’envergure, en charge de projets à fort impact pour des acteurs majeurs du retail et de l’e-commerce à l’international. Votre mission Vous participerez à la conception, au prototypage et à la mise en production d’algorithmes innovants en collaboration avec les équipes Produit, Data Engineering et Développement. Vos travaux auront un impact direct sur des milliers de vendeurs et des centaines de plateformes e-commerce à travers le monde. Sujets sur lesquels vous interviendrez Détection d’anomalies dans les prix et comportements Analyse de sentiment et priorisation des échanges critiques Estimation des délais de livraison et anticipation des ruptures de stock Développement d’agents intelligents pour accompagner les vendeurs dans la gestion de leur activité Ce que nous offrons Des projets visibles et impactants sur des plateformes e-commerce internationales Une diversité technique : séries temporelles, heuristiques, deep learning, NLP, LLM… Une grande autonomie et responsabilité dans vos projets Une collaboration étroite avec des équipes pluridisciplinaires Stack et outils Python, TensorFlow, Keras, PyTorch, Databricks, Spark, AWS (Redshift, S3…), SQL, Airflow, Delta Lake Vos responsabilités au quotidien Préparer et analyser les données, prototyper des modèles Mettre en production les algorithmes avec les équipes techniques Créer des dashboards pour suivre la performance des modèles Présenter vos résultats lors de réunions régulières et participer aux sessions de brainstorming Collaborer avec les équipes Produit et Développement pour affiner les cas d’usage et améliorer l’expérience utilisateur

Dans le cadre du projet DataBoost , nous recherchons un Analytics Engineer pour participer à la migration des rapports SAP Business Objects vers Power BI . Ce projet vise à décommissionner SAP BO en industrialisant l’intégration des données dans une architecture lakehouse moderne (Bronze → Silver → Gold), et à construire un référentiel analytics centralisé pour l’ensemble des datamarts. Vos missions consisteront à : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory (POC avec Airflow). Développer des pipelines d’intégration de données en PySpark (Spark Declarative Pipeline). Transformer et optimiser les flux de données en SQL avec le framework DBT . Développer de nouveaux indicateurs de qualité de données sur DBT. Garantir la qualité du code et le respect des normes de développement. Implémenter des tests unitaires pour assurer la fiabilité des solutions. Maintenir les outils de monitoring pour suivre les performances. Ce poste est idéal pour un professionnel souhaitant contribuer à une transformation majeure des outils BI et travailler sur une architecture data moderne .

Contexte Dans le cadre du renforcement de sa Data Platform, un acteur majeur de la gestion d’actifs quantitatifs recherche un Senior Data Engineer très opérationnel pour accompagner et faire monter en compétence une communauté de plus de 50 data engineers et data scientists. Le rôle est central : interface entre les feature teams et les équipes plateforme, avec une forte dimension technique et stratégique. MissionsSupport technique hands-on Accompagnement direct des équipes sur leurs problématiques data Développement et optimisation de pipelines end-to-end Identification et réduction de la dette technique Mise en place d’outillage (tests, automation, AI agents…) Amélioration de la Developer Experience Data Platform Evangelism Promotion et adoption quotidienne de la plateforme Partage des best practices et des standards Veille technologique et diffusion interne Animation de communauté de pratique Upskilling & Transmission Évaluation du niveau des équipes Mise en place de formations, workshops, contenus techniques Création de documentation et supports techniques Feedback & Amélioration continue Collecte des besoins utilisateurs Collaboration étroite avec les équipes plateforme Validation technique des assets produits Stack TechniqueCloud AWS (S3, EMR, Glue, Athena, Lake Formation) CloudFormation / CDK Lambda, Fargate Data Engineering Python avancé Spark / Pandas Airflow Parquet Apache Iceberg DevOps CI/CD Jenkins SonarQube Conda Infra-as-Code (idéalement CDK en Python)

Nous recherchons un Data Engineer expérimenté afin de contribuer à la fiabilité, l’automatisation et la scalabilité d’un Lakehouse data. Vous interviendrez sur la conception et l’orchestration de pipelines, l’optimisation des traitements et l’évolution de l’architecture data dans un environnement moderne basé sur AWS. Vos missions : Conception & orchestration Concevoir, développer et maintenir des pipelines Airflow pour l’ingestion et la transformation des données Mettre en place des frameworks et mécanismes d’automatisation Garantir la robustesse, la modularité et la résilience des workflows Traitement & gestion des flux Développer des composants pour le traitement de fichiers plats (CSV, JSON, Parquet…) et leur exposition via API Consommer et transformer des flux Kafka avec Spark Optimiser la performance et le partitionnement des traitements sur de gros volumes Collaboration analytique Collaborer avec les Data Analysts pour concevoir des agrégats métiers Créer et maintenir des vues Athena utilisées dans Tableau Garantir la cohérence, la fraîcheur et la traçabilité des données Évolution du Lakehouse Participer à la conception et à l’amélioration continue de l’architecture Créer et maintenir des tables de référentiel (clients, contacts, événements, interactions…) Implémenter ces référentiels avec Iceberg / Hudi Supervision & DataOps Assurer la supervision quotidienne des pipelines Mettre en place alerting et monitoring Produire et maintenir la documentation technique

Contexte : Nous recherchons un TechOps, un référent transversal garant de la qualité d’intégration, de la fiabilité opérationnelle, et de l’exploitabilité by design des solutions déployées au sein de l’équipe Infrastructure. Il participera à renforcer la fiabilité opérationnelle (RUN), l’amélioration continue, la standardisation, l’automatisation des processus d’exploitation et la montée en maturité vers les pratiques modernes de Platform Engineering. La ressource devra s’impliquer pour devenir un référent technique transverse, capitalisant sur les périmètres applicatifs et les solutions techniques. La répartition indicative des activités sera de 60 % au sein du Bureau Technique et 40 % en contributions techniques transverses (documentation, automatisation, amélioration continue, outillage). MISSIONS OBJET DE LA PRESTATION Préparation, coordination et suivi des mises en production. Contrôle et validation des livrables techniques. Intégration et paramétrage des solutions logicielles. Réalisation des tests techniques : unitaires, intégration, validation d’exploitabilité. Installation des nouveaux modules et des évolutions applicatives. Participation aux analyses d’impacts techniques. Contribution à l’évaluation des risques techniques. Vérification de la conformité aux normes de sécurité, d’architecture et d’exploitation. Respect strict des normes, standards, architectures, procédures et bonnes pratiques d’exploitation. Participation active à l’évolution des standards techniques du TechOps. - - - - - - - - - - - - Déploiement et maintien de solutions techniques et d’automatisations (scripts, pipelines CI/CD, supervision, IaC lorsque applicable). Standardisation des outils, patterns et bonnes pratiques. Contribution aux services et solutions opérées par l’équipe Platform Engineering. Production et mise à jour de la documentation technique (DEX, référentiels, procédures…). Reporting régulier auprès du responsable Infrastructure et des ISM (Integration Service Managers). Accompagnement, vulgarisation et partage de connaissances auprès des équipes internes. Participation à l’acculturation DevOps au sein du Bureau Technique. Solide rigueur technique et capacité d’analyse. Aisance rédactionnelle et esprit de synthèse. Excellente communication orale et écrite. Aptitude à vulgariser et à accompagner les équipes dans la montée en compétences. Capacité à être force de proposition et à mener une veille technologique régulière. PROFIL & ENVIRONNEMENT TECHNIQUE L’environnement technique de l’équipe d’Infrastructure est composé des éléments ci Compréhension limitée des concepts de production et DevOps, capacité à exécuter des tâches simples sous supervision (par exemple, exécution de scripts ou suivi des indicateurs de performance). Capacité à configurer des environnements de développement et de production, à utiliser des outils de gestion de version (comme Git) et à exécuter des tâches de maintenance préventive. Maîtrise des outils d'intégration et de déploiement continu (CI/CD), capacité à gérer des conteneurs (Docker, Kubernetes), et à optimiser les processus de production tout en surveillant les performances. Compétences expertes Expertise dans la gestion d'infrastructures cloud (AWS, Azure, GCP), capacité à concevoir des architectures résilientes, à implémenter des pratiques de sécurité, et à diriger des initiatives d'amélioration continue. Systèmes & Architecture Infrastructure Unix, Linux ,Windows Server ,Orchestration & Scheduling,Control-M ,supervision / Observabilité, Zabbix, Instana, Prometheus,Grafana, Kibana ,Scripting & Programmation, Shell, Python (scripting), powerShell, Python (dev),YAML,SQL,Java, NodeJS, ReactJS, Réseau & Équilibrage, HAProxy, Nginx3, API & Intégration, API REST, gestion & Analyse des Logs, Loki, Elasticsearch, Workflows & Traitements techniques, Apache Airflow ,Gestion de code (VCS) Compétences techniques essentielles (obligatoires) - - - - - - - - Systèmes & Architecture Infrastructure o Très bonne maîtrise des systèmes d’exploitation Linux et Windows Server (niveau expert). o Compréhension des environnements Unix/AIX et des mécanismes de haute disponibilité (HACMP, VCS, Windows Cluster). o Bonne compréhension des architectures d’infrastructure toutes couches (OS, réseau, middleware, API, stockage, supervision). Cloud & Modernisation o Connaissance solide des concepts Cloud (public, privé, hybride). o Compréhension des principes d’architecture Cloud (scalabilité, résilience, sécurité, patterns d’intégration). o Savoir travailler dans des environnements Cloud et accompagner la migration de solutions legacy. Automatisation & Infrastructure-as-Code o Maîtrise d’Ansible pour l’automatisation des configurations et des déploiements. o Connaissance de Terraform (IaC) pour comprendre ou valider les modèles d’infrastructure automatisée. o Connaissance de Vault pour la gestion sécurisée des secrets. o Capacité à intégrer et à standardiser les outils DevOps dans la chaîne d’exploitation. Orchestration & Traitements o Maîtrise d’Apache Airflow pour l’orchestration de workflows techniques et applicatifs. CI/CD & DevOps o Bonne connaissance des chaînes CI/CD (GitLab CI, GitHub Actions, Jenkins). o Capacité à valider l’exploitabilité d’un pipeline et à définir les prérequis techniques. o Capacité à intégrer des solutions DevOps, sans nécessairement développer des pipelines complexes. Langages & Scripting o Maîtrise d’un langage de programmation tel que Java ou Python (lecture, compréhension, validation technique). o Très bonne maîtrise du Shell (niveau expert), Python scripting et PowerShell. o Bonne maîtrise de YAML pour la lecture des configurations modernes (CI/CD, Kubernetes, Airflow). o Connaissances de base en SQL (lecture, diagnostic simple). Observabilité / Supervision / Logs o Connaissance des outils de supervision (Zabbix, Instana). o Capacité à lire et interpréter des logs via Loki, Elasticsearch, Kibana, Grafana, Prometheus. o Savoir identifier des incohérences, anomalies ou points d'amélioration sur la chaîne d’exploitabilité. Réseau, API & Équilibrage - - o Bonne compréhension du fonctionnement des API REST (consommation, contrats, validations). o Connaissance des équilibreurs de charge (HAProxy, Nginx). o Comprendre les mécanismes de SLB/GSLB (Load Balancing global/local). Écosystème applicatif & composants techniques o Compréhension des serveurs d’applications (Apache, Tomcat, JBoss). o Connaissance des systèmes de messagerie (Kafka, RabbitMQ, IBM MQ Series). o Connaissance des solutions de transferts (TOM/CFT/PeSIT). o Familiarité avec les bases de données (MS SQL, Redis, MongoDB, PostgreSQL) et leurs outils (DBeaver/SQL Manager). Les compétences optionnelles apportant un plus sont : - - - - - Maîtrise supplémentaire de langages : YAML avancé, C++, C#, HTML/CSS. Connaissance des solutions de virtualisation (VMWare, Hyper-V…). Connaissance de PostgreSQL et MongoDB (niveau opérationnel). Familiarité avec la gestion de projet et les méthodologies agiles. Compréhension plus avancée des solutions de coffre-fort (Vault, CyberArk…).

CONTEXTE : L’équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Le stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Intégration au sein de l'équipe Data Event Management Intégration au sein de l'équipe Data Event Management qui gère les trois offres de services suivantes : Offre Infra. Kafka sur ITCloud OnPremise Offre Infra. Kafka sur IBMCloud/dMZR Activités principales Construction/Déploiement/Support/MCO des offres autour de la technologie de messaging kafka Méthodologie de Travail ITIL Agile/Scrum à l'échelle Product Based Projets principaux en cours Transition vers un Nouvel Orchestrateur sur l'Offre Infra Kafka IBMCloud/dMZR basé sur Python et Airflow, Terraform Extension de l'offre Kafka sur IBMCloud/dMZR avec l'intégration du produit Lenses Migration du monitoring de l'infrastructure OnPremise de Splunk vers une solution Dynatrace combinée avec ELK Technologies Utilisées Outils administratifs: ServiceNow, Jira, Confluence Infrastructure as Code: Ansible, Terraform Langages: Bash, Java (Spring/JHipster), Python Repository: Artifactory Database: SQL Server, PostgreSQL Conteneurisation: Docker/Kubernetes Provider Cloud: ITCloud, IBMCloud Orchestration: Airflow, Autosys, BPM Versionning: Git Messaging: Kafka CI/CD: GitLab CI Operating system: Redhat Monitoring: ELK, Dynatrace, LogDNA, Sysdig Sécurité: HashiCorp Vault, Cyberarc

CONTEXTE Experience : 5 ans et plus Métiers Fonctions : Etudes & Développement, Consultant DevOps Spécialités technologiques : Big Data, gitOps, API Nous recherchons un profil orienté DevOps afin d’intégrer le projet Data de notre client. MISSIONS - Participer au déploiement et à l’exploitation des composants applicatifs sur des environnements Kubernetes / OpenShift - Mettre en œuvre et maintenir les déploiements via Helm, dans une logique GitOps à l’aide de ArgoCD - Développer et maintenir des scripts d’automatisation en Python - Intervenir sur les environnements liés aux stacks Data (Spark, DigDash, Dremio, Airflow, NiFi) en support des besoins du projet Expertise souhaitée Environnements et outils DevOps : - Bonne connaissance de Kubernetes / OpenShift - Maîtrise de Helm - Compréhension et mise en œuvre des principes GitOps - Utilisation de ArgoCD Automatisation : - Connaissance de Python pour l’implémentation de scripts d’automatisation Écosystème Data (premier niveau) : - Spark - DigDash - Dremio - Airflow - NiFi Méthodologie et outils : - Maîtrise des pratiques Agiles (Scrum) - Utilisation de l’outil Jira

Le Datahub est la plateforme centrale du système d’information d’un acteur majeur de l'épargne. Il centralise, normalise et expose l’ensemble des données pour des usages métiers critiques : calcul des commissions, génération de documents clients, finance, marketing et écosystème partenaires. En tant que Data Engineer (Renfort) , vous rejoignez une équipe de 3 personnes pour accélérer le développement, l’industrialisation et la fiabilisation des pipelines de données dans un environnement en pleine transformation. 🛠️ Stack Technique Cloud & Stockage : Azure (Azure SQL, Cosmos DB). Orchestration & ETL : Azure Data Factory (ADF). Langages : SQL (Expertise requise), Python (Azure Functions). DevOps / IaC : Terraform, Azure DevOps, SonarCloud, Snyk. Évolution : Migration vers Airflow prévue prochainement. 🎯 Vos Missions Développement de Pipelines : Concevoir, maintenir et optimiser les flux d'intégration (ingestion, transformation, normalisation) via Azure Data Factory. Expertise Data : Réaliser des transformations et agrégations de données complexes en SQL, avec un focus sur la performance et la qualité. Industrialisation : Automatiser les processus via Python (Azure Functions) et gérer l'infrastructure via Terraform. Collaboration Métier : Travailler en direct avec les équipes Finance, Marketing et Relation Client pour traduire leurs besoins en solutions techniques robustes. Qualité & Sécurité : Garantir la fiabilité des données et la propreté du code (CI/CD, tests, revues de code). 👤 Profil Recherché Expérience : Data Engineer confirmé (3 à 5 ans d'expérience minimum). Maîtrise SQL : Capacité à gérer des traitements de données volumineux et complexes. Expertise Azure : Expérience solide sur ADF et l'écosystème Cloud Microsoft. Culture Dev : Bonne connaissance de Python et des principes DevOps (Git, CI/CD, Terraform). Soft Skills : Force de proposition, capacité d’adaptation et aisance pour échanger avec des interlocuteurs non techniques. Langue : Anglais professionnel (un vrai plus pour l'environnement international). 💼 Modalités Pratiques Démarrage : Sous 1 mois (disponibilité immédiate ou courte). Durée : Visibilité sur l'année 2026. Lieu : Paris (Locaux haut de gamme). Rythme : 3 jours de présence sur site / 2 jours de télétravail (pas de full remote).

Almatek recherche pour un de ses clients, des ingenieurs DEVOPS sur Clermont Ferrand, Poitiers, Rouen, Strasbourg, Lille et Paris Le candidat exercera les tâches suivantes : • Construction des environnments (Terraform) sur le cluster OpenStack • Déploiement automatisé des outils (Ansible) • Mise en place de pipelines CI/CD (Jenkins, GitLab, Maven, Sonar, Nexus) • Supervision et suivi des systèmes d'exploitation (Prometheus, Grafana, Loki, Promtail) • Échanges réguliers avec les équipes qui ont fait le développement Compétences attendues : • Requises : commandes système et réseau Linux, Cloud public ou privé, Ansible, Jenkins, Grafana • Souhaitables : Terraform, Prometheus, Openstack, Loki, Promtail, AirFlow • Appréciées : GitLab, Java, Maven, Vault, Docker, Kubernetes, Rancher, Nexus, SonarQube, Selenium, Cucumber, JMeter, ZAP Leur besoin est d’accompagner les ingénieurs de production actuels dans leur montée en compétence sur les technologies OPS. Le candidat interviendra en full présentiel les 3 premiers mois, puis pourra prétendre à 1 ou 2 jours de télétravail max. Il travaillera en binôme avec les internes pour les coacher (leur montrer de façon pratique comment utiliser certaines technologies que le candidat maitrise). Il pourra par ailleurs prendre à sa charge certaines activités de BUILD ou de RUN au sein du Centre Ops. Il sera amené à participer au projet dès son démarrage et sera donc associé à la phase de définition de l'architecture. Le candidat devra apporter son expérience et cadrer le travail de ses collègues. Une bonne expression orale et écrite ainsi que des qualités pédagogiques sont requises.

Contexte Dans le cadre du renforcement de ses plateformes data, un grand groupe industriel recherche un Data Engineer senior pour intervenir sur des sujets d’industrialisation, de fiabilisation et de montée en charge de ses pipelines data. Objectifs de la mission Concevoir, développer et maintenir des pipelines de données robustes et scalables Industrialiser les traitements data dans un environnement cloud AWS Exploiter et optimiser une plateforme Snowflake Mettre en place et améliorer les chaînes CI/CD liées aux usages data Garantir la qualité, la performance et la sécurité des flux de données Environnement technique (cœur) Cloud : AWS Data Warehouse : Snowflake Langages : Python, SQL Orchestration / ingestion : Airflow, services AWS (Glue, Lambda, S3, etc.) CI/CD : Git, pipelines automatisés Enjeux forts d’industrialisation et de bonnes pratiques DataOps Profil recherché Data Engineer confirmé / senior Expérience significative sur AWS et Snowflake À l’aise avec les environnements industrialisés et les contraintes de production Capacité à travailler avec des équipes data, IT et métiers

CONTEXTE : L’équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Le stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques