Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Bordeaux

Contexte de la mission Dans le cadre d’un programme structurant de modernisation du système d’information , nous recherchons un profil Data Engineer / DevOps senior pour renforcer une équipe existante. La mission s’inscrit au cœur du SI cible , au service de plusieurs applications critiques orientées data, intégration et services temps réel. Le poste vise à industrialiser les chaînes DevOps et à structurer les flux Data Lake dans un environnement cloud native, fortement automatisé et orienté open source . Démarrage souhaité : mai / juin Localisation : Rive gauche bordeaux, nécessite un véhicule Objectifs de la mission Le rôle est double : DevOps / Plateforme Industrialisation et sécurisation des chaînes d’intégration et de déploiement Standardisation des pratiques GitOps sur un socle Kubernetes multi‑environnements Renforcement de l’automatisation et de l’observabilité des plateformes applicatives et data Data / Streaming Accompagnement à la conception et à la standardisation des flux data temps réel Structuration d’un Data Lake orienté streaming et lakehouse Garantie de la performance, de la résilience et de la maintenabilité des flux Domaines d’intervention & compétences clés Socle Kubernetes & DevOps Orchestration : Kubernetes (Namespaces, Ingress, RBAC) GitOps : GitLab CI, Helm, ArgoCD Observabilité : Grafana, Prometheus, Loki, Tempo Sécurité CI/CD : SAST, DAST, Trivy Environnements : OpenStack Écosystème Data & Data Lake Streaming & CDC : Kafka, Debezium Processing : Spark SQL, Airflow Lakehouse : Apache Iceberg Query Engine : Trino (PrestoSQL) Stockage objet : Ceph (ou équivalent) Micro‑services & APIs Runtimes : Java / Quarkus, Python API Management : Kong Protocoles : MQTT (atout) Optimisation des performances applicatives et data Livrables attendus (exemples) Socle & automatisation Mise en place d’architectures ArgoCD (Application of Applications) Catalogue de Charts Helm industrialisés Bibliothèque de pipelines GitLab CI/CD standardisés et sécurisés Data & Streaming Provisionnement automatisé des clusters Kafka et connecteurs Debezium Configuration optimisée de Trino sur stockage objet Mise en place des DAGs Airflow pour l’orchestration des traitements Documentation & MCO Dashboards de supervision avancés Rédaction du Dossier d’Architecture Technique (DAT) Rédaction de Runbooks MCO / PRA Définition de standards techniques et bonnes pratiques cloud native Profil recherché Expérience confirmée (5 à 8 ans minimum) en DevOps, Data Engineer ou Platform Engineer Très bonne maîtrise de Kubernetes et des pratiques GitOps Expérience concrète sur des plateformes Kafka et Data Lake À l’aise dans des contextes SI complexes et structurants Capacité à travailler en collaboration étroite avec équipes de développement, architectes et chefs de projet Autonomie, rigueur, sens de l’industrialisation

Contexte Dans le cadre du renforcement de ses équipes Data, notre client recherche un Data Engineer avec une forte appétence pour le reporting et la valorisation de la donnée. L’objectif est de structurer, industrialiser et exploiter les données afin de produire des indicateurs fiables et utiles aux métiers. Missions Concevoir, développer et maintenir des pipelines de données robustes et scalables Assurer la collecte, transformation et mise à disposition des données Participer à la modélisation des données (datawarehouse / datamart) Mettre en place et optimiser les flux via des outils d’orchestration Collaborer avec les équipes métiers pour comprendre les besoins en reporting Développer et alimenter des tableaux de bord et reportings Garantir la qualité, la fiabilité et la performance des données Participer à l’industrialisation des traitements (CI/CD, bonnes pratiques) Environnement technique Cloud : GCP (idéalement) ETL / Orchestration : Airflow, DBT Langages : Python BI / Reporting : Power BI, Tableau ou équivalent Data : SQL, modélisation data