Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

Vous interviendrez pour un grand acteur du secteur de l’énergie, au sein d’une prestation pluridisciplinaire. Votre rôle sera de gérer, maintenir et optimiser les plateformes Big Data afin d’assurer leur performance et disponibilité. Vous travaillerez en étroite collaboration avec les équipes de développement et les analystes de données. 4. Missions principales Gérer et maintenir les plateformes de données massives. Optimiser les performances des systèmes Big Data. Assurer la qualité et la sécurité des données. Collaborer avec les équipes de développement pour intégrer les solutions de données. Surveiller et maintenir les systèmes en production. Analyser les besoins en données et proposer des solutions adaptées.

Site : Vannes, 3 jours sur site par semaine Date de démarrage : asap Nationalité et langues parlées : français Durée mission : jusqu'au 31/12/2025 Mission : intervention pour le compte du Chapitre Data à Vannes Nb années d'expérience : 5 à 7 ans Profil : Data Engineer confirmé Compétences techniques - Langage : Spark - spark streaming et batch (requis), Kafka (apprécié) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Compétences techniques souhaitées – appréciées BDD Teradata, xDI, SQL Data viz : Microstrategy

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Architecte technique Data Sa mission consistera à : - Accompagner les équipes Data en expertise sur les solutions et architectures actuelles autour des deux grandes plates-forme DATA que sont Teradata et Cloudera CDP (HDFS, Hive, Spark, Hbase,...). - Participer aux reflexions et aux études sur les trajectoires DATA (dont la trajectoire post SAS). - Apporter une expertise sur les architectures de traitement des données en temps réel (KAFKA) ainsi que leur exposition en mode API. - Accompagner la modérnisation technologique sur des solutions innovantes de type Data LakeHouse “On premise” (Storage MINIO, Compute KUB, Processisng SPARK et TRINO, Services JUPYTER) et “Cloud/GCP” (Big Query etc)

Au sein d’une DSI ou d’une équipe Data/Cloud en pleine transformation numérique, l’ingénieur Big Data / Infrastructure intervient pour concevoir, déployer et maintenir des plateformes de traitement de données à grande échelle. Il joue un rôle clé dans la fiabilité, la performance et la sécurité des environnements Big Data utilisés par les data engineers, data scientists et équipes métier. Responsabilités principales 1. Conception et mise en place de l’infrastructure Big Data Concevoir des architectures de données distribuées (Hadoop, Spark, Kafka, HDFS, NoSQL, S3…). Participer au dimensionnement des clusters, à la définition des SLA et des bonnes pratiques d’industrialisation. Déployer et configurer les services Big Data dans un contexte On-premise, Cloud (AWS/GCP/Azure) ou hybride. 2. Administration et exploitation des plateformes Assurer l’administration quotidienne des clusters : gestion des ressources, supervision, montée de version, tuning des performances. Implémenter des mécanismes de haute disponibilité, d’équilibrage de charge et d’optimisation du stockage. Réaliser des diagnostics avancés en cas de dysfonctionnement et mettre en place des correctifs durables. 3. Automatisation, CI/CD et industrialisation Développer et maintenir des pipelines d’automatisation (Terraform, Ansible, Jenkins, GitLab CI…). Standardiser les déploiements via Infrastructure as Code. Contribuer à l'amélioration continue de la plateforme, en proposant des optimisations de performance et des outils de monitoring. 4. Sécurité, conformité et gouvernance Intégrer les contraintes de sécurité : gestion des accès (Kerberos, IAM, Ranger), chiffrement, segmentation réseau. Participer à la mise en œuvre de la gouvernance Data (catalogue, lineage, qualité, traçabilité). Veiller au respect des politiques RGPD et des normes internes. 5. Support aux équipes Data et accompagnement technique Accompagner les data engineers, développeurs et data scientists dans l’utilisation des ressources Big Data. Optimiser les jobs Spark/Kafka/Hadoop pour réduire les coûts et améliorer la latence. Participer à la rédaction de documentation technique, guides d’usage et bonnes pratiques.

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

VOS RESPONSABILITES PRINCIPALES : Build – Modernisation & migrations Data Participer au design et à la construction de nouvelles plateformes Data (on-prem Cloudera / Spark / Kafka & cloud AWS/GCP). Configurer, optimiser et sécuriser les environnements Big Data (Spark tuning, Kafka connecteurs…). Travailler avec les architectes et les CloudOps sur les architectures distribuées. Mettre en place des bonnes pratiques : backup, restauration, performance, haute dispo, PCA/PRA . Intégrer pipelines & automatisations (Terraform, GitOps, ArgoCD). Animer ateliers, documentation et transfert de compétences. Run – Support N2/N3 & performance Résolution d’incidents techniques Big Data (HDFS, Spark, Kafka, Flink…). Support aux projets : création de topics Kafka, scheduling Airflow, jobs Spark, optimisation. Montée de version, patching, maintenance préventive. Participation aux astreintes (rotation). Amélioration continue & fiabilisation des environnements critiques. Application stricte du cadre ITIL V4 (incidents / problèmes / demandes).