Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Data Engineer Teradata, bases Hive, Phoenix, HDFS, API Springboot VANNES Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi) Prestation : • Assure le développement et l’intégration des évolutions sur le périmètre des solutions de la Squad • Prépare, réalise la mise en production avec les équipes expertes; assure le SAV • Gère et maintient la documentation fonctionnelle et technique • Contribue à l’assistance à l’utilisation des solutions • Contribue aux séances d'affinage technique en phase de conception • Réalise une veille technologique régulière pour être au fait des dernières tendances • Contribue à alimenter le contenu du backlog pour prévoir les développements futurs • Analyse du patrimoine existant Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Profil : • Expertise Forte sur ces technos avec une très bonne communication avec une expérience significative sur les technologies Cloudera. • La mission se déroule sur le site de Vannes et nécessitera d’être présent à minima 3 jours par semaine sur le site (dont les Mardi et Jeudi)

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Almatek recherche pour l'un de ses client, Un Expert Cloudera (RUN & MCO) / Big Data Platform Engineer sur Paris. EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme, avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on?premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on?prem / cloud) Rédaction de documentation technique, procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI?CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d’une mission stratégique en environnement de production critique, nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on?premise existante, en phase de stabilisation, MCO et transition vers le cloud. La plateforme est en place depuis plusieurs années et fait l’objet : d’un RUN exigeant (disponibilité, performance, sécurité), d’une migration progressive des usages vers le cloud, et du remplacement d’un profil historique/fondateur de la plateforme. Ce n’est pas un rôle de : Data Engineer DBA

Data Engineer Spark Scala Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Nantes ( 3 à 4 jours de télétravail) Scala, Spark, Airflow, Hive, Jenkins, Nexus, HDFS, Gitlab Le data engineer travaillera sur un datalake( MCO, évolutions fonctionnelles). Les principales tâches seront: -Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Réaliser le support N3 de la production - Réaliser la supervision des traitements - Documenter les réalisations. Nous recherchons un data engineer confirmé qui maitrise nécessairement Spark et Scala

Secteur Banque / Finance — Gestion des Risques. La mission s'inscrit au sein d'une squad dédiée à la notation des entreprises, composée d'un Product Owner, d'un Scrum Master et d'équipiers Business Analyst et IT. Le besoin consiste à accompagner la squad dans le développement et la maintenance de solutions Data, s'appuyant sur les technologies Teradata, bases Hive, Phoenix, HDFS, ainsi que sur des API développées en Spring Boot. Missions confiées : - Assurer le développement et l'intégration des évolutions sur le périmètre des solutions de la squad - Préparer et réaliser la mise en production avec les équipes expertes, et assurer le support associé (SAV) - Gérer et maintenir la documentation fonctionnelle et technique - Contribuer à l'assistance à l'utilisation des solutions - Participer aux séances d'affinage technique en phase de conception - Réaliser une veille technologique régulière sur les dernières tendances - Contribuer à l'alimentation du backlog pour anticiper les développements futurs - Analyser le patrimoine existant

Je cherche pour un de client un Data Engineer Sénior (+7 ans) sur Vannes avec 3 jours sur site La mission s'effectuera dans le domaine Risques au sien de la squad en charge de la notation des entreprises. La squad est constituée d'un Product Owner, un Scrum Master et d'équipiers BA et IT. Le besoin est d'accompagner la squad dans un contexte de développement et de maintenance de solutions Data (Teradata, bases Hive, Phoenix, HDFS) et d'API Springboot. Tâches : - Assure le développement et l intégration des évolutions sur le périmètre des solutions de la Squad - Prépare, réalise la mise en production avec les équipes expertes; assure le SAV - Gère et maintient la documentation fonctionnelle et technique - Contribue à l assistance à l utilisation des solutions - Contribue aux séances d'affinage technique en phase de conception - Réalise une veille technologique régulière pour être au fait des dernières tendances - Contribue à alimenter le contenu du backlog pour prévoir les développements futurs - Analyse du patrimoine existant

Nous recherchons un(e) Administrateur Expérimenté(e), passionné(e) par la technologie, pour travailler directement chez nos clients, en étant au cœur de leurs défis numériques. Si vous souhaitez participer à des projets d'envergure, continuer à apprendre et évoluer dans votre carrière, c'est l'occasion rêvée ! Vous aurez la charge des missions de Build et Run : RUN : • Administration et maintien en conditions opérationnelles de la plateforme Cloudera CDP • Gestion des clusters Hadoop (HDFS, YARN, Hive, Impala, Spark) via Cloudera Manager • Supervision, performance, gestion des incidents (niveau 3) • Gestion de la haute disponibilité (géo-cluster) et de la sécurité • Exploitation de Dataiku (optionnel) • Orchestration des workloads via Kubernetes BUILD : • Industrialisation des déploiements (automatisation, CI/CD) • Contribution aux évolutions d'architecture du socle Data • Mise en place et optimisation de pipelines data (Spark, Hive, Impala) • Intégration avec les environnements cloud (Azure / hybride) • Contribution au socle IA (Dataiku sur Outscale) Référence de l'offre : 1hnwz9a4s3

Dans le cadre du renforcement d'une équipe Data au sein d'une Direction Technique Informatique, nous recherchons un Ingénieur Expert Big Data Hadoop Cloudera (CDP) chargé d'assurer le maintien en conditions opérationnelles de plateformes Hadoop Cloudera en environnement Hors-Prod et Production. La mission couvre l'administration et l'exploitation des socles (supervision, gestion des incidents, optimisation des performances, capacity planning), la maintenance proactive (correctifs, mises à jour), ainsi que la rédaction de procédures et de dossiers d'architecture. Le profil interviendra également en support expertise auprès des équipes études et exploitation, et participera aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité). L'environnement technique s'articule autour de la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème élargi incluant Kafka, PostgreSQL, Kubernetes, Ansible et des outils de supervision Prometheus/Grafana. Ce poste requiert une forte autonomie, un bon esprit d'équipe et la capacité à intervenir ponctuellement en dehors des heures ouvrées.

Dans le cadre de l'évolution et de la modernisation d'un écosystème Data au sein d'une Direction Technique Informatique d'un grand acteur de la protection sociale, nous recherchons un Architecte Expert Big Data Hadoop Cloudera (CDP) pour concevoir, faire évoluer et maintenir des plateformes Big Data en environnement Hors-Prod et Production. La mission s'articule autour de trois axes majeurs : la participation aux projets d'évolution du socle Hadoop existant (évolutions logicielles et matérielles, sécurité, définition d'architecture, rédaction de dossiers), le maintien en conditions opérationnelles de la plateforme (administration, supervision, gestion des incidents, support aux équipes études et exploitation), et la contribution à un projet stratégique de nouvelle Plateforme DATA (étude d'impact, préconisation des choix techniques, définition des standards et normes, mise en œuvre et transfert de connaissances aux équipes exploitation). L'environnement technique s'appuie sur la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème complémentaire incluant Kafka, PostgreSQL, Kubernetes et Ansible. Ce poste requiert une forte autonomie, une capacité à travailler en équipe pluridisciplinaire et une disponibilité pour des interventions ponctuelles en dehors des heures ouvrées.

🎯 MISSIONS : Intégré(e) aux équipes d'un de nos clients grands comptes vos missions seront les suivantes : - Assurer la disponibilité et la stabilité des environnements (Test, Prod). - Exécuter et superviser l'installation (déploiement, bon démarrage). - Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. - Collaborer à la mise en place de la supervision incluant la documentation des dépendances. - Analyser, résoudre les incidents et suivre les plans de remédiation. - Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. - Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Connaissances techniques : - Ordonnanceur (Control M) - Déploiement continu (Gitlab, Openshift, CICD, Terraform) - SQL (Oracle, MySQL, PostgreSQL) - Monitoring (Dynatrace) - ETL Powercenter / ELT DBT - Hadoop (HDFS, Spark) - Scripts (shell, ksh) - Python - Google Cloud Platform (Big Query) - Jira, Confluence, Easyvista, Google Workspace

Tu es passionné(e) par les environnements Data à grande échelle, l’architecture technique et les plateformes Big Data ? Cette opportunité d’Architecte Technique Socles Data est faite pour toi ! 🚀 Ton challenge si tu l’acceptes : Participer à l’évolution des socles Hadoop Cloudera et des plateformes Data existantes Contribuer au maintien en conditions opérationnelles des environnements Data de production et hors production Accompagner les choix d’architecture, définir les standards techniques et rédiger les dossiers d’architecture Intervenir sur des sujets d’administration avancée, d’optimisation des performances et de résolution d’incidents complexes Participer aux projets d’évolution technique liés à la sécurité, à l’industrialisation et à l’amélioration continue des plateformes 👀 Tu as le profil idéal si : Tu disposes d’au moins 5 ans d’expérience sur des environnements Hadoop et plateformes Data Tu maîtrises l’écosystème Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, etc.) Tu possèdes une solide expérience en architecture technique , administration et exploitation de socles Big Data Tu es à l’aise avec Linux Red Hat , le scripting Shell/Python et les sujets d’automatisation Tu fais preuve d’autonomie, de rigueur et d’un excellent esprit d’analyse 📍 Localisation : Bordeaux 🏡 Rythme hybride : Présence minimale de 3 jours par semaine sur site ℹ️ Poste : Freelance ou CDI 💰 Salaire : Il n’existe pas un salaire défini puisqu’il sera à définir ensemble selon ton expérience et tes compétences 🔥 Nos petits + 🤝 Interviens sur des environnements techniques et/ou fonctionnels variés. 💜 Échange et partage tes expériences avec une équipe passionnée. 💼 Met en avant tes ambitions professionnelles. 📈 Monte en compétences grâce à un plan de développement individualisé. 🥳 Élargis ton cercle social en participant à des afterworks avec tes supers collègues. 🌿 Rejoins une société qui grandit vite mais bien (découvre nos engagements). 🚀 +250 Aleysiens nous ont rencontré et ont décidé de nous rejoindre. 🔜 La suite des évènements : Première rencontre téléphonique Faisons plus ample connaissance lors d'un entretien Échange avec un de nos référents techniques sur tes compétences et son expérience chez nous Explore tes ambitions professionnelles avec la direction Engagés pour l’inclusion et la diversité, tous nos postes sont ouverts aux personnes en situation de handicap. Aleysia, l’ESN qui te donne les clés pour réussir 🚀 Ambition, Engagement et Proximité pour une expérience {IT} Minds Connected; Rejoins-nous, on attend plus que toi !

Mission: Le consultant interviendra en expert plateforme , avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on‑premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on‑prem / cloud) Rédaction de documentation technique , procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI‑CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte)

Une opportunité idéale pour mettre votre expertise Data Engineering au service de projets stratégiques dans un environnement bancaire exigeant et innovant. Poste : Data Engineer Lieu : Villejuif Type de contrat : CDI uniquement – Poste non ouvert aux freelances, au portage salarial ni à la sous-traitance Télétravail : 2 à 3 jours de télétravail par semaine Expérience : Expérimenté Salaire : À partir de 60K selon profil Contexte : Dans le cadre du renforcement des équipes Data d’un grand compte du secteur bancaire, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des projets à forte volumétrie de données et à forts enjeux métier. Vous participerez à la conception, au développement et à l’optimisation des traitements data au sein d’environnements techniques complexes et distribués, en lien avec les équipes métiers et techniques. Missions : Concevoir, développer et maintenir des pipelines de traitement de données. Participer à l’industrialisation et à l’optimisation des flux de données. Développer et maintenir des traitements Big Data dans des environnements Hadoop/Spark. Réaliser des développements et optimisations SQL complexes sous Teradata. Assurer le suivi et l’automatisation des déploiements dans une démarche DEVOPS. Participer à l’analyse, au traitement et à la fiabilisation des données. Collaborer avec les équipes projets, les équipes d’exploitation et les équipes métiers. Contribuer à la résolution des incidents et à l’amélioration continue des plateformes Data. Participer aux phases de recette, de validation et de mise en production. Compétences attendues : Excellente maîtrise de SQL. Bonne connaissance des environnements Big Data : Spark, Hadoop, HDFS. Maîtrise de Python dans un contexte Data Engineering. Expérience sur Teradata. Bonne connaissance des environnements Unix. Connaissance des pratiques DEVOPS. Expérience dans un environnement bancaire appréciée. Capacité à évoluer sur des architectures data complexes et distribuées.

Administateur Big Data Cloudera (RUN & MCO) - EXP : +5 ans - Localisation Paris - Télétravail : 2 à 3 jours par semaine - Durée de la mission : 2 ans Mission: Le consultant interviendra en expert plateforme , avec une forte orientation RUN / MCO / N3 : Administration et exploitation de la plateforme Big Data Cloudera (CDP on‑premise) Gestion des incidents complexes (N3) et participation aux cellules de crise MCO avancé : patching, upgrades, capacity planning gestion des performances et de la disponibilité Gestion des obsolescences éditeurs (Cloudera, OpenShift, OS Linux) Automatisation des tâches d’exploitation (scripts, CI/CD, IaC) Support technique aux équipes data et projets Contribution à la migration des usages vers Azure Databricks (hybridation on‑prem / cloud) Rédaction de documentation technique , procédures d’exploitation et supports de montée en compétence Collaboration étroite avec les équipes infra, conteneurs et middleware Environnement: Big Data : Cloudera CDP (CDH, CDS), Hadoop (HDFS, YARN), Spark Conteneurs : OpenShift, Kubernetes, Docker Sécurité : Kerberos, Ranger Systèmes : Linux (RedHat) Automatisation / CI‑CD : Ansible, Jenkins / GitLab, scripts Shell / Python Cloud : Azure, Azure Databricks (migration des usages) Monitoring : Grafana, Prometheus (selon contexte) Contexte: Dans le cadre d’une mission stratégique en environnement de production critique , nous recherchons un consultant senior / expert pour intervenir sur une plateforme Big Data on‑premise existante, en phase de stabilisation, MCO et transition vers le cloud . La plateforme est en place depuis plusieurs années et fait l’objet : d’un RUN exigeant (disponibilité, performance, sécurité), d’une migration progressive des usages vers le cloud , et du remplacement d’un profil historique/fondateur de la plateforme.

Contexte du besoin L’équipe ‘Socles Data’ de la Direction Technique Informatique s’occupe de gérer les socles techniques DATA du système d’information. Ceux–ci répondent aux besoins de pilotage, de mise à disposition de tableaux de bord décisionnels, d’exploration de données, de Data science, etc. Les missions de l’équipe se traduisent par la fourniture d’outils logiciels Data industrialisés et exploitables, la rédaction de dossiers d’architecture, de normes et bonnes pratiques, la réalisation d’études, la recherche et la qualification de nouveaux outils, mais également l’administration et le maintien en conditions opérationnelles des socles DATA. Objet de la prestation Le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Big Data / Hadoop de technologie Cloudera, pour renforcer l'équipe 'Socle DATA'. Localisation : Gradignan Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI Agirc-Arrco pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées. Reporting hebdomadaire Tableau de bord Mensuel de suivi d'activités Documentations techniques: Normes, principes, dossier d’architecture, dossier d’administration, dossier d’exploitation, modes opératoires Transferts de connaissances : organisation de session de transferts de connaissances et rédaction de supports. Gestion demandes: Tickets incidents / demandes / changements dûment complétés Contribuer à la continuité de services au sein de l'équipe Environnement Socle Hadoop : Distribution Hadoop Cloudera CDP (version 7.1.9, 7.3.x ) : HDFS, YARN, Cloudera Manager, Hive, Hue, Impala, Spark, Zeppelin, Ranger, Knox, Zookeeper, Iceberg ... Langages de scripting et de developpement : Shell, Python, Spark Moteurs de requêtage : Hive, Impala, SQL, ... Systeme d'exploitation : Linux Redhat Environnement Décisionnel: Teradata, ETL Datastage , PowerBI, SAS Autres environnements techniques: Base de données : PostgreSQL Data Streaming : Kafka, IBM Infosphere CdC Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,