Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System) à Paris

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Almatek recherche pour l'un de ses client, Un Expert Cloudera (RUN & MCO) / Big Data Platform Engineer sur Paris. EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme, avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on?premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on?prem / cloud) Rédaction de documentation technique, procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI?CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d’une mission stratégique en environnement de production critique, nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on?premise existante, en phase de stabilisation, MCO et transition vers le cloud. La plateforme est en place depuis plusieurs années et fait l’objet : d’un RUN exigeant (disponibilité, performance, sécurité), d’une migration progressive des usages vers le cloud, et du remplacement d’un profil historique/fondateur de la plateforme. Ce n’est pas un rôle de : Data Engineer DBA

Mission: Le consultant interviendra en expert plateforme , avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on‑premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on‑prem / cloud) Rédaction de documentation technique , procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI‑CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte)

Administateur Big Data Cloudera (RUN & MCO) - EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme , avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on‑premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on‑prem / cloud) Rédaction de documentation technique , procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI‑CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d’une mission stratégique en environnement de production critique , nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on‑premise existante, en phase de stabilisation, MCO et transition vers le cloud . La plateforme est en place depuis plusieurs années et fait l’objet : d’un RUN exigeant (disponibilité, performance, sécurité), d’une migration progressive des usages vers le cloud , et du remplacement d’un profil historique/fondateur de la plateforme.