Trouvez votre prochaine offre d’emploi ou de mission freelance Hortonworks Data Platform (HDP) à Marseille

L’objectif principal est la conception et la mise en œuvre d’un Data Lake moderne sur GCP , basé sur une architecture Médaillon (Bronze / Silver / Gold) et s’appuyant sur Apache Iceberg , avec la capacité de détacher une brique autonome pour certains clients manipulant des données sensibles. Missions principalesArchitecture & Data Platform Concevoir et mettre en place un Data Lake sur GCP basé sur Apache Iceberg Définir et implémenter une architecture Médaillon (ingestion, transformation, exposition) Participer aux choix d’architecture pour une brique data autonome dédiée aux données sensibles Contribuer à l’ internalisation de la plateforme data (design, outillage, bonnes pratiques) Data Engineering Développer des pipelines d’ingestion pour : Données capteurs issues de drones Données tabulaires associées Gérer des pics de charge importants (jusqu’à 10 Go ingérés simultanément) Garantir la disponibilité rapide des données après les vols d’essai Mettre en place des contrôles de qualité, traçabilité et gouvernance des données Data & Analytics Préparer les données pour des cas d’usage de maintenance prédictive Optimiser les performances de lecture et d’écriture (partitionnement, schéma, versioning) Collaborer avec les équipes data science / métier Sécurité & conformité Travailler dans un contexte habilitable (données sensibles, clients spécifiques) Appliquer les contraintes de sécurité et de cloisonnement des données