Trouvez votre prochaine offre d’emploi ou de mission freelance Hortonworks Data Platform (HDP)

Contexte de la mission: Dans le cadre d’un programme de modernisation et d’optimisation d’une plateforme Big Data au sein d’un grand groupe du secteur bancaire international, nous recherchons un Expert CDP (Cloudera Data Platform) disposant d’une solide expérience sur HDP (Hortonworks Data Platform). Le consultant interviendra sur la gestion et l’amélioration continue des environnements Big Data, l’automatisation des processus via Ansible, ainsi que la coordination d’équipes techniques multi-pays. Dans le cadre de cette mission, le TJM maximum est fixé à 600 €, en cohérence avec le périmètre, le niveau d’expertise attendu et les contraintes budgétaires du client. Responsabilités principales: Assurer l’amélioration continue des services sur CDP (optimisation, tuning, configuration). Gérer et résoudre les incidents de production sur les environnements HDP et CDP. Développer et maintenir les playbooks Ansible pour le déploiement et l’exploitation des clusters. Contribuer à la standardisation et à l’automatisation des processus d’exploitation. Participer à la documentation technique et à la montée en compétence des équipes locales et offshore. Compétences techniques recherchées: CDP / HDP : expertise sur la gestion des clusters, sécurité, monitoring, optimisation. Ansible / Ansible Tower : automatisation du déploiement et des opérations. CI/CD : intégration et déploiement continus dans des environnements complexes. Linux : très bonne maîtrise des environnements et scripts système. Elastic Stack et Dynatrace : supervision et suivi de la performance. LDAP / Kerberos : gestion des identités et des accès sécurisés. Expérience internationale appréciée (collaboration France / Inde). Anglais professionnel requis. Livrables attendus: Documentation technique actualisée des environnements Big Data. Playbooks Ansible fonctionnels et industrialisés. Rapports d’optimisation et recommandations d’évolution.

L’objectif principal est la conception et la mise en œuvre d’un Data Lake moderne sur GCP , basé sur une architecture Médaillon (Bronze / Silver / Gold) et s’appuyant sur Apache Iceberg , avec la capacité de détacher une brique autonome pour certains clients manipulant des données sensibles. Missions principalesArchitecture & Data Platform Concevoir et mettre en place un Data Lake sur GCP basé sur Apache Iceberg Définir et implémenter une architecture Médaillon (ingestion, transformation, exposition) Participer aux choix d’architecture pour une brique data autonome dédiée aux données sensibles Contribuer à l’ internalisation de la plateforme data (design, outillage, bonnes pratiques) Data Engineering Développer des pipelines d’ingestion pour : Données capteurs issues de drones Données tabulaires associées Gérer des pics de charge importants (jusqu’à 10 Go ingérés simultanément) Garantir la disponibilité rapide des données après les vols d’essai Mettre en place des contrôles de qualité, traçabilité et gouvernance des données Data & Analytics Préparer les données pour des cas d’usage de maintenance prédictive Optimiser les performances de lecture et d’écriture (partitionnement, schéma, versioning) Collaborer avec les équipes data science / métier Sécurité & conformité Travailler dans un contexte habilitable (données sensibles, clients spécifiques) Appliquer les contraintes de sécurité et de cloisonnement des données

Nous recherchons un Data Product Manager freelance hybride, technique et opérationnel, capable de traduire les besoins métiers en solutions concrètes et de participer activement à la réalisation de prototypes. Compétences et qualités : Technique : maîtrise avancée de SQL (idéalement BigQuery), capable de manipuler la donnée et de créer des dashboards simples (ex. Looker Studio) pour prototyper. Pragmatique : travailler en mode MVP rapide, tester et itérer rapidement. Relationnel : aisance relationnelle, capacité à fluidifier les échanges et créer du lien avec les équipes. Connaissance de GCP (Google Cloud Platform) Notions de Python (lecture et compréhension de scripts simples) Modalités Localisation : Rennes / Hybride (à définir) Démarrage : Dès que possible

Contexte Dans le cadre du renforcement d’une équipe SRE / Plateforme Cloud au sein d’un environnement complexe et critique, nous recherchons un Expert Cloud DevOps / Architecte Kubernetes & OpenShift . Le consultant interviendra sur la conception, l’industrialisation et la sécurisation de plateformes cloud natives, orientées microservices, data et haute disponibilité . Missions principales Architecture & Design Définir et valider l’architecture Cloud & Kubernetes en tant que Design Authority Élaborer les HLD (High Level Design) et LLD (Low Level Design) Concevoir l’architecture centrale et les standards de la plateforme Participer aux choix technologiques et aux roadmaps techniques Cloud & Conteneurisation Déployer et maintenir des clusters Kubernetes (AKS, EKS, OpenShift, Rancher) Expertise Red Hat OpenShift Mise en œuvre de plateformes cloud sur Azure (AKS) et AWS (EKS) Gestion des environnements hybrides / on-premise et data centers virtualisés DevOps & Automatisation Mise en place des pipelines CI/CD Automatisation des déploiements et de l’infrastructure (IaC) Accompagnement des équipes de développement sur les bonnes pratiques DevOps Sécurité & Réseau Sécurisation des plateformes Kubernetes et Cloud Gestion des secrets et identités ( HashiCorp Vault ) Architecture réseau, segmentation, politiques de sécurité Conformité, durcissement et bonnes pratiques sécurité cloud Data & Streaming Conception et intégration de Data Platforms Mise en œuvre de solutions de streaming et de data flow : Apache Kafka Apache NiFi Intégration avec des workloads data, IA et ML ( TensorFlow ) Microservices & Observabilité Architecture et exploitation d’architectures microservices Supervision, monitoring et gestion de la performance Haute disponibilité et résilience des plateformes FinOps Pilotage des coûts Cloud Optimisation des ressources et mise en place de bonnes pratiques FinOps