Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow à Marseille

L’objectif principal est la conception et la mise en œuvre d’un Data Lake moderne sur GCP , basé sur une architecture Médaillon (Bronze / Silver / Gold) et s’appuyant sur Apache Iceberg , avec la capacité de détacher une brique autonome pour certains clients manipulant des données sensibles. Missions principalesArchitecture & Data Platform Concevoir et mettre en place un Data Lake sur GCP basé sur Apache Iceberg Définir et implémenter une architecture Médaillon (ingestion, transformation, exposition) Participer aux choix d’architecture pour une brique data autonome dédiée aux données sensibles Contribuer à l’ internalisation de la plateforme data (design, outillage, bonnes pratiques) Data Engineering Développer des pipelines d’ingestion pour : Données capteurs issues de drones Données tabulaires associées Gérer des pics de charge importants (jusqu’à 10 Go ingérés simultanément) Garantir la disponibilité rapide des données après les vols d’essai Mettre en place des contrôles de qualité, traçabilité et gouvernance des données Data & Analytics Préparer les données pour des cas d’usage de maintenance prédictive Optimiser les performances de lecture et d’écriture (partitionnement, schéma, versioning) Collaborer avec les équipes data science / métier Sécurité & conformité Travailler dans un contexte habilitable (données sensibles, clients spécifiques) Appliquer les contraintes de sécurité et de cloisonnement des données

Contexte Dans le cadre de l’exploitation et de l’évolution d’une plateforme Big Data à grande échelle, un acteur majeur recherche un expert technique orienté Data Engineering / DataOps. La mission s’inscrit au sein d’un centre d’expertise dédié aux plateformes data, dans un environnement hybride combinant infrastructures on-premise et cloud public. L’objectif principal est d’assurer la disponibilité, la fiabilité et l’automatisation des environnements Datalake, tout en accompagnant les équipes projets dans leurs usages data. Missions Assurer le maintien en conditions opérationnelles des plateformes Datalake Gérer les incidents, demandes d’exploitation et support aux utilisateurs Participer aux déploiements sur les différents environnements (intégration, pré-production, production) Contribuer à l’automatisation et à l’industrialisation des processus Mettre en œuvre des solutions d’orchestration et de déploiement Participer à l’amélioration continue des outils et pratiques d’exploitation Collaborer avec les équipes techniques et les parties prenantes métiers Assurer le reporting et la communication opérationnelle Livrables attendus Exploitation et supervision opérationnelle des plateformes Documentation technique et procédures d’exploitation Scripts et automatisations de déploiement Améliorations continues des processus DataOps Support technique aux équipes projets Environnement technique Cloud & Infrastructure AWS · Microsoft Azure · Environnements hybrides on-prem / cloud Big Data & Data Engineering Kafka · Kafka Connect · Spark · Starburst · Dataiku Orchestration & Automatisation Kubernetes · Helm · Terraform · Ansible · Airflow CI/CD & DevOps GitLab CI/CD · Jenkins · Pipelines d’intégration continue Systèmes & Langages Linux · Python Profil recherché Expérience confirmée en exploitation de plateformes Big Data / Datalake Solides compétences en environnements Linux et scripting Python Maîtrise des outils d’orchestration et d’automatisation Bonne connaissance des architectures cloud et conteneurisées Expérience en CI/CD et industrialisation des déploiements Capacité à gérer des environnements critiques en production Bon relationnel et esprit d’équipe Informations complémentaires Mission orientée RUN avec contribution aux évolutions Environnement technique complexe et à forte volumétrie de données Collaboration avec équipes Data, DevOps et métiers Contexte nécessitant rigueur, autonomie et réactivité