Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Votre recherche renvoie 15 résultats.
Freelance
CDI

Offre d'emploi
Data Engineer TERADATA ET BIGDATA

WE +
Publiée le
Apache Spark
Hadoop
HDFS (Hadoop Distributed File System)

12 mois
Île-de-France, France
• vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ
Freelance
CDI

Offre d'emploi
Data Engineer TERADATA ET DATAVIZ

WE +
Publiée le
Apache Spark
Hadoop
HDFS (Hadoop Distributed File System)

12 mois
Île-de-France, France
• vous contribuerez à la construction des solutions sous technologie Teradata, en étroite collaboration avec les autres membres de la squad et de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage, traitement et usages, mise à disposition : une expérience des environnements Unix, une forte expertise SQL et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous interviendrez à la fois sur des activités projet mais aussi sur du RUN (suite des traitements de production, analyse/résolution d’incidents, optimisations, amélioration continue). Ces interventions sont primordiales, chaque membre de la squad participe au traitement des incidents et à l’amélioration continue du périmètre applicatif.
Freelance
CDI
CDD

Offre d'emploi
DataOps & Administrateur Hadoop TJM MAX 580

Craftman data
Publiée le
Ansible
Apache Hive
Apache Spark

1 an
40k-45k €
400-580 €
Paris, France
Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité
Freelance

Mission freelance
Développeur Data (H/F) – Confirmé – Nantes

CAT-AMANIA
Publiée le
Apache Hive
Apache Spark
Artifactory

1 an
Nantes, Pays de la Loire
Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur financier, nous recherchons un Développeur Data confirmé basé à Nantes . Vous interviendrez sur des projets stratégiques liés à l’ingestion, la transformation et la valorisation des données dans un environnement Big Data. Vos missions : Développer des user stories liées à l’ingestion et transformation de données (ETL / SQL) Réaliser les tests unitaires et participer à la recette fonctionnelle Déployer les développements sur différents environnements Rédiger la documentation technique Participer à l’analyse et au chiffrage des besoins Assurer le suivi des traitements en production (run) Contribuer aux cérémonies Agile Scrum
Freelance

Mission freelance
Data Engineer GCP H/F

LOMEGARD
Publiée le
Ansible
Apache Airflow
Google Cloud Platform (GCP)

6 mois
400-480 €
Île-de-France, France
Dans le cadre d’un accroissement d’activité et afin de renforcer l’équipe Data d’un grand acteur bancaire, notre client recherche un Data Engineer GCP expérimenté. La mission s’inscrit dans un environnement Big Data / Cloud GCP en pleine transformation, avec des enjeux forts autour de l’industrialisation des pipelines, de la qualité de données et de la mise à disposition de datasets fiables pour les équipes métiers et analytiques. La mission est basée en Île-de-France (IDF) avec 2 jours de TT par semaine. Votre rôle consiste à: Mettre en place les chaînes d’ingestion, validation, croisement et enrichissement des données. Alimenter et exploiter le Data Lake GCP (GCS) et produire des agrégats (J/H/M). Développer des pipelines batch & streaming (Spark, Kafka, Scala). Industrialiser les traitements via Airflow / Composer et CI/CD. Mettre à disposition les données (API, fichiers, dashboards). Participer à la mise en production de modèles statistiques. Documenter, corriger les anomalies, assister les équipes d’exploitation. Travailler en mode Agile (Scrum/Kanban) .
CDI
Freelance

Offre d'emploi
Data Engineer Teradata/Python/Hadoop/Unix

OBJECTWARE
Publiée le
Hadoop
Python
Teradata

3 ans
40k-70k €
400-550 €
Île-de-France, France
La tribu « CRM » est en charge du parc applicatif dédié à la mise en œuvre et au suivi de l’ensemble de la relation client-banque et des outils de conformité (fraude, lutte contre le blanchiment et financement du terrorisme). La mission consiste à assurer les fonctions suivantes au sein de la Squad Conformité et Sécurité Financière : • vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ • Teradata • CONTROL-M • Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) • SQL sur SGBD relationel (Teradata) • TPT • Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea • Spark • HDFS • Python • Hadoop
Freelance
CDI

Offre d'emploi
Data Engineer Big Data/Teradata

VISIAN
Publiée le
Apache Spark
Big Data
Python

2 ans
40k-80k €
400-620 €
Paris, France
Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop
CDI
Freelance

Offre d'emploi
Ingénieur DevOps F/H

AIS
Publiée le
DevOps

1 mois
45k-48k €
240-480 €
Niort, Nouvelle-Aquitaine
🎯 MISSIONS : Intégré(e) aux équipes d'un de nos clients grands comptes vos missions seront les suivantes : - Assurer la disponibilité et la stabilité des environnements (Test, Prod). - Exécuter et superviser l'installation (déploiement, bon démarrage). - Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. - Collaborer à la mise en place de la supervision incluant la documentation des dépendances. - Analyser, résoudre les incidents et suivre les plans de remédiation. - Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. - Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Connaissances techniques : - Ordonnanceur (Control M) - Déploiement continu (Gitlab, Openshift, CICD, Terraform) - SQL (Oracle, MySQL, PostgreSQL) - Monitoring (Dynatrace) - ETL Powercenter / ELT DBT - Hadoop (HDFS, Spark) - Scripts (shell, ksh) - Python - Google Cloud Platform (Big Query) - Jira, Confluence, Easyvista, Google Workspace
CDI

Offre d'emploi
Data Engineer Teradata et Big Data H/F

CONSORT GROUP
Publiée le
Big Data
Teradata

55k-62k €
75017, Paris, Île-de-France
Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. C’est votre future équipe Les équipes de ConsortIA , sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d’information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Teradata et Big Data H/F C’est votre mission Vous êtes passionné·e par [XXX] ? Ce poste est fait pour vous. En tant que Data Engineer Teradata et Big Data , vous êtes responsable du [XXX] et [XXX] de notre écosystème : Côté build : Concevoir et développer des solutions DataMart / Datalab sur environnement Teradata Mettre en œuvre les chaînes ETL via BTEQ / TPT Développer des traitements de collecte, transformation et stockage de données sur plateforme Big Data Construire des agrégats et indicateurs (scores, datamarts) à destination des équipes Data Science Développer des pipelines de données sous environnements Spark / Hadoop / HDFS Participer à la modélisation et au design des solutions de données (bonnes pratiques Data Engineering) Industrialiser les traitements dans un contexte Unix / SQL / Teradata Utiliser les outils collaboratifs (Git, Jira, Confluence, MEGA) dans un cadre Agile Côté run : Assurer le support et la maintenance des chaînes de production Data Surveiller et optimiser les traitements batch (ordonnancement via Control-M ) Gérer les incidents de production sur les flux Teradata / Big Data Analyser et corriger les anomalies sur les traitements SQL / ETL Garantir la disponibilité et la performance des jobs data Participer à l’amélioration continue des pipelines (fiabilisation, optimisation) Assurer le support aux équipes Data Science sur les environnements de données Maintenir la documentation technique (Confluence, MEGA) Suivre les bonnes pratiques d’exploitation dans un contexte DevOps C’est votre parcours Vous avez au moins 5 ans d’expérience dans des environnements DevOps exigeants. Vous aimez concevoir et industrialiser des pipelines de données robustes sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Environnement Linux / Unix dans un contexte Agile et DevOps Maîtrise des technologies Data : Teradata, SQL, BTEQ, TPT Écosystème Big Data : Spark, Hadoop, HDFS, Python Outils d’exploitation et d’ordonnancement : Control-M Outils collaboratifs : Git, Jira, Confluence, MEGA Connaissance de solutions ETL / Data : Datastage Bonne compréhension des architectures de données et pipelines industrialisés C’est votre manière de faire équipe : Rigueur et sens de la qualité dans les traitements de données Esprit d’analyse et capacité de résolution de problèmes complexes Collaboration forte avec équipes Data, IT et métier Autonomie et sens des responsabilités en environnement de production Communication claire et esprit d’équipe Adaptabilité dans des environnements techniques évolutifs (DevOps / Big Data) Culture de l’amélioration continue et du delivery fiable C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55K € à 62K € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.
Freelance
CDI

Offre d'emploi
Ingénieur Systèmes Data

VISIAN
Publiée le
Ansible
SQL

1 an
Île-de-France, France
Missions Contrôle quotidien de la production (morning check) : En cas d’incident et/ou de retard sur les traitements et/ou les flux, s’assurer que les bonnes équipes prennent en charge le problème et que les entités sont informées dans les meilleurs délais. D’autres environnements peuvent être inclus dans cette supervision, mais la priorité reste la production. Suivi du cycle de vie des incidents de production avec les filiales, avec déclenchement d’escalade si nécessaire : Communication régulière auprès des entités pour assurer une bonne visibilité sur l’évolution des incidents. Support aux différentes équipes dans le diagnostic et la résolution des problèmes liés aux données. Préparation de rapports : incidents, événements majeurs, et propositions d’amélioration des tableaux de bord de supervision. Gestion des demandes d’infrastructure (bases de données, stockage, flux, ordonnancement, supervision, etc.) sur les différents environnements : Responsable du suivi des changements (monitoring, reporting, communication). Coordination des livraisons (toolchain CI/CD) pour les environnements de pré-production et de production, après validation des phases de test par les entités. Analyse des changements à effectuer en production et formulation de recommandations. Analyse et évaluation des incidents opérationnels afin d’optimiser les actions correctives et préventives des équipes filiales. Promotion d’une culture d’apprentissage continu et d’amélioration au sein de l’équipe. Outils IT Bonne connaissance de : Gestion des processus ITIL ServiceNow JIRA Maîtrise des éléments suivants : Logiciel Dremio (SQL) Monitoring & alerting : Dynatrace, ELK (Kibana, Grafana) Cycle de vie de développement logiciel (SDLC) Principes et rituels Agile Toolchain CI/CD (Gitlab, Jenkins, DBT…) Orchestrateurs : Autosys, Airflow, Reflections Unix (Shell) En option / appréciés : Réseaux de production (VIP, proxies, firewalls, micro-segmentation…) Outils de DataViz : Tableau, Power BI Stockage : HDFS, S3, Iceberg, Parquet
Freelance

Mission freelance
Data engineer Google cloud platform (GCP)

CAT-AMANIA
Publiée le
Apache Kafka
Apache Spark
BigQuery

6 mois
Île-de-France, France
Pour le compte d'un acteur majeur, nous recherchons un(e) Data Engineer confirmé(e) pour concevoir et déployer des chaînes de traitement de données complexes au sein d'un Datalake moderne. Vous intégrerez une équipe évoluant en mode Agile (Scrum/Kanban) avec une forte culture de l'automatisation. Vos responsabilités : Concevoir et mettre en œuvre les chaînes d’ingestion, de validation et de croisement de données. Assurer le déversement et l'enrichissement des données dans le Datalake. Produire automatiquement des agrégats (journaliers à mensuels) via la puissance du Cloud. Développer et documenter les User Stories en collaboration directe avec le Product Owner. Garantir la qualité via l'automatisation des tests fonctionnels et la correction des anomalies. Participer activement à la chaîne de delivery continue et assister les équipes d'exploitation. Profil recherché : Expertise confirmée sur la plateforme GCP (indispensable) . Maîtrise avancée de l'écosystème Spark / Scala / Kafka . Expérience solide sur les environnements conteneurisés ( GKE, Docker ) et l'Infrastructure as Code ( Terraform, Ansible ). Compétences pointues en stockage et requêtage ( BigQuery, SQL, HDFS ). Capacité à orchestrer des workflows complexes avec Airflow / Composer . Esprit collaboratif, curieux des évolutions technologiques et doté d'un excellent relationnel.
Freelance

Mission freelance
Data Engineer

Hanson Regan Limited
Publiée le
Apache NiFi
Cloudera
Hadoop

12 mois
500-650 €
Paris, France
Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil
Freelance

Mission freelance
247533/Ingénieur DataOps Ordonnanceur (Control M) Niort

WorldWide People
Publiée le
Control-M

6 mois
320-330 €
Niort, Nouvelle-Aquitaine
Ingénieur DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****) Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Des compétences d'autonomie, de force de proposition tout en ayant une bonne connaissance des contraintes de production sont indispensables. Le candidat doit avoir une posture d'amélioration continue. Le poste d'Ingénieur DataOps a pour objectif de garantir la disponibilité, la stabilité et la fiabilité des environnements de la plateforme data. Son rôle se concentre sur l'exploitabilité, l'industrialisation et l'automatisation des services. Les missions principales consistent à : ● Assurer la disponibilité et la stabilité des environnements (Test, Prod). ● Exécuter et superviser l’installation (déploiement, bon démarrage). ● Automatiser les déploiements et les pipelines (CI/CD) dans un but de fluidifier et de fiabiliser la réalisation. ● Collaborer à la mise en place de la supervision incluant la documentation des dépendances. ● Analyser, résoudre les incidents et suivre les plans de remédiation. ● Participer à la définition des Exigences Non Fonctionnelles (sécurité, performance, scalabilité) et s'assurer de leur implémentation en projet et en production. ● Garantir la conformité et la qualité des livrables (tests, documentation) et anticiper les risques. Compétence Niveau Souhaité Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace) Élémentaire (*) ETL Powercenter / ELT DBT Élémentaire (*) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) Hadoop (HDFS, Spark) Élémentaire (*) Google Cloud Platform (Big Query) Avancé (**) Déploiement continu (Gitlab, Openshift, CICD, Terraform) Avancé (**) Scripts (shell, ksh) Élémentaire (*) Python Élémentaire (*) Certification Agile / DevOps Avancé (**) Jira, Confluence, Easyvista, Google Workspace Élémentaire (*) Certification ITIL Élémentaire (*) Légende : Élémentaire (*), Avancé (**), Confirmé (***), Expert (****
Freelance

Mission freelance
[FBO] LeadTech DataOps - Niort - 1306

ISUPPLIER
Publiée le

9 mois
300-400 €
Niort, Nouvelle-Aquitaine
Nous recherchons un(e) LeadTech DataOps – Référentiels pour une mission au sein d’un grand groupe du secteur assurance / services, dans un environnement Data Office / DataOps structuré. La mission s’inscrit dans une démarche d’industrialisation des usages Data, d’unification des pratiques d’exploitation et d’amélioration continue des environnements de déploiement. LeadTech DataOps Référentiels Contexte de mission L’équipe en charge du DataOps / Services Delivery Data pilote l’homogénéité des pratiques d’exploitation, le déploiement continu (cloud et on-prem) et la fiabilisation des usages autour des référentiels de données. Le/la consultant(e) interviendra en interface avec les équipes de conception, les release managers et les équipes de production. LeadTech DataOps Référentiels Objectifs principaux Déterminer les versions des composants en coordination avec les équipes de conception et release management Garantir la disponibilité et la stabilité des environnements (dev, test, CI/CD) Documenter les dépendances pour la supervision et le diagnostic Analyser les incidents (RCA) et suivre les plans de remédiation Gérer et documenter les configurations par environnement Vérifier la complétude des livrables (tests, documentation, conformité) et identifier les risques avant mise en production Participer à la définition et au suivi des exigences non fonctionnelles (sécurité, performance, scalabilité, disponibilité) Assurer la traçabilité des changements de configuration et de versions Automatiser les déploiements et maintenir les pipelines CI/CD. LeadTech DataOps Référentiels Profil recherché Expérience significative en DevOps / Release Management Bonne connaissance des contraintes de production Leadership, autonomie, réactivité, force de proposition Bon niveau de communication et capacité à travailler en équipe avec traçabilité des actions. LeadTech DataOps Référentiels Compétences techniques attendues Control-M Monitoring : Dynatrace / Grafana / Prometheus Informatica MDM / IDQ Couche d’échange : Tibco / Kafka / API Gateway NoSQL : MongoDB Hadoop : HDFS / Spark CI/CD & déploiement continu : GitLab / OpenShift API Management / REST Jira / Confluence / Easyvista / Google Workspace
CDI

Offre d'emploi
Consultant DataOps / Administrateur Hadoop

Craftman data
Publiée le
Ansible
CI/CD
Docker

La Défense, Île-de-France
Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé , intégré à l’équipe BDP (Big Data Platform) . Le consultant interviendra sur le déploiement, l’industrialisation, l’exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP) , au service des projets data et métiers. 🎯 Rôle et responsabilités 1. Déploiement & industrialisation des clusters Big Data Déploiement automatisé de clusters via pipelines Jenkins Installation et configuration des composants Hadoop via Ansible Adaptation des architectures selon les besoins projets (sécurité, performance, capacité) Contribution aux pratiques CI/CD et Infrastructure as Code Déploiement et administration du TDP Manager Mise en place de Hue pour les environnements Datalab 2 . Administration avancée de la stack Hadoop / TDP Le consultant est responsable de l’installation, la configuration et l’exploitation de : Sécurité & identités : OpenLDAP Kerberos Ranger (politiques de sécurité) Stockage & calcul distribué : HDFS (baie Huawei) Hadoop (YARN, services core) Traitement & accès aux données : Spark Hive Services transverses : ZooKeeper PostgreSQL Responsabilités associées : Gestion des dépendances inter-services Cohérence des versions Optimisation des performances et de la stabilité Résolution des incidents complexes 3. Provisionnement & automatisation des environnements Provisionnement de VM sous VMware Préparation des prérequis systèmes (OS, réseau, stockage) Automatisation via Ansible et scripts Bash Gestion des environnements DEV / RECETTE / PROD 4. Observabilité, supervision & anticipation Mise en œuvre et maintien de la stack d’observabilité : Prometheus Alertmanager Loki / Promtail Grafana Définition des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des clusters Hadoop Support aux équipes projets et utilisateurs Datalab Gestion des incidents, demandes d’évolution et correctifs Montées de version Suivi de capacité (CPU, RAM, stockage) Rédaction et mise à jour de la documentation technique 🤝 Interaction & posture attendue Participation active aux rituels d’équipe Coordination avec : Équipes infrastructure Équipes projets data / métiers Référents sécurité Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme Forte capacité de communication transverse 🧠 Compétences clés attendues Techniques Expertise Hadoop / Big Data on-prem Solide expérience DataOps / DevOps Maîtrise de : Jenkins, GitLab CI/CD, SonarQube Ansible, Bash VMware, Docker Stack d’observabilité (Prometheus, Grafana, Loki) Méthodologiques & soft skills : Rigueur et sens de la qualité Forte sensibilité aux enjeux de sécurité Capacité d’anticipation (supervision, performance, capacité) Autonomie et esprit d’équipe Aisance dans des environnements complexes et critiques ⚠️ Points de vigilance Forte interdépendance des composants Hadoop Exigences élevées en matière de sécurité (Kerberos, Ranger) Enjeux de performance et de disponibilité Nécessité d’une coordination transverse permanente

Déposez votre CV

  • Fixez vos conditions

    Rémunération, télétravail... Définissez tous les critères importants pour vous.

  • Faites-vous chasser

    Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.

  • 100% gratuit

    Aucune commission prélevée sur votre mission freelance.

15 résultats

Contrats

Freelance CDI CDD Alternance Stage

Lieu

Télétravail

Télétravail partiel Télétravail 100% Présentiel

Taux Journalier Moyen min.

150 € 1300 € et +

Salaire brut annuel min.

20k € 250k €

Durée

0 mois 48 mois

Expérience

≤ 2 ans d’expérience 3 à 5 ans d’expérience 6 à 10 ans d’expérience > 10 ans d’expérience

Publication

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous