Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Bonjour, Nous cherchons pour notre client un Data Engineer Experimenté/Senior . Site : Saint-Denis ; 2/3 jours/semaine obligatoire sur site TJM : 500 euros Date de démarrage : 01/04/2026 Date de fin : 31/12/2028 Contexte: Nous recherchons un Data Engineer Expérimenté/Senior spécialisé en environnement Big Data OnPremise pour notre client. Dans le cadre de l’exploitation, du maintien en conditions opérationnelles et des évolutions du Data Lake OnPremise (DataStore). Le collaborateur s’intégrera dans une équipe de 14 développeurs et contribuera également aux travaux liés à la migration progressive du Data Lake vers GCP. Missions : Exploitation et maintenance des traitements Big Data : supervision, intégration des données, contrôle qualité. Développements et évolutions sur les pipelines existants (Spark, Kafka, NIFI). Optimisation des performances et maintien des services DataStore. Gestion des incidents niveau 3 : diagnostic, correction, suivi JIRA/ITZMI. Participation aux évolutions applicatives, aux travaux transverses et aux actions préparatoires à la migration Cloud.

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

Contexte: Nous recherchons un Data Engineer Expérimenté/Senior spécialisé en environnement Big Data OnPremise pour une mission dans le cadre de l'exploitation, du maintien en conditions opérationnelles et des évolutions du Data Lake OnPremise (DataStore). Le collaborateur s'intégrera dans une équipe de 14 développeurs et contribuera également aux travaux liés à la migration progressive du Data Lake vers GCP. Missions : Exploitation et maintenance des traitements Big Data : supervision, intégration des données, contrôle qualité. Développements et évolutions sur les pipelines existants (Spark, Kafka, NIFI). Optimisation des performances et maintien des services DataStore. Gestion des incidents niveau 3 : diagnostic, correction, suivi JIRA/ITZMI. Participation aux évolutions applicatives, aux travaux transverses et aux actions préparatoires à la migration Cloud. Profil : Data Engineer Tech Lead Compétences techniques requises : Spark Kafka NIFI HDFS HBase Airflow Python SQL Technologies complémentaires : Java Scala BigQuery

LeadTech DataOps Niort Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace/Grafana/Prometheus) Confirmé (***) ETL Powercenter / ELT DBT / Airflow Composer Élémentaire (*) Informatica MDM / IDQ Confirmé (***) Couche échange (Tibco / Kafka / Gateway) Confirmé (***) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) No-SQL (Mongo DB) Avancé (**) Hadoop (HDFS, Spark) Avancé (**) Compétence Niveau Souhaité Google Cloud Platform (Big Query - Cloud Run) / Terraform) Élémentaire (*) Outil de consommation Tableau Élémentaire (*) Outil de consommation Dataiku Élémentaire (*) Déploiement continu (Gitlab, Openshift, CICD) Confirmé Le Data Office de mon client définit les orientations stratégiques dans le domaine de la donnée et assure l'homogénéité et la performance de l'écosystème Data. L'équipe Data OPS de Services Delivery Data est responsable de l'unification des pratiques d'exploitation, du déploiement continu (Gitlab Cloud & On-Prem) et de l'industrialisation des usages. Objectifs et Livrables Le prestataire retenu devra contribuer aux objectifs suivants et fournir les livrables associés : Objectif Livrable Collaboration et versions Détermination des versions des composants en collaboration avec les équipes de conception et les release manager. Disponibilité et stabilité Garantie de la disponibilité et de la stabilité des environnements (développement, test, déploiement continu). Supervision et diagnostic Documentation (ou auto-documentation) des dépendances pour la supervision et le diagnostic. Analyse des incidents Rapports d'analyse des causes racines des incidents et suivi des plans de remédiation. Gestion des configurations Application et documentation des configurations spécifiques à chaque environnement. Qualité et risques Vérification de la complétude des livrables (tests, documentation, conformité) et identification des risques de mise en production. Exigences Non Fonctionnelles (ENF) Participation à la définition des ENF (sécurité, performance, scalabilité, disponibilité, etc.). Suivi et garantie des ENF Suivi des ENF des applications du SI et garantie de leur implémentation en projet et en production. Traçabilité des changements Mise en place et suivi de la traçabilité des changements de configuration et de versions. Automatisation et maintenance Automatisation des déploiements et maintenance des pipelines CI/CD. Compétences Requises Le profil recherché doit démontrer une expérience significative et des compétences avérées. Savoir-Être (Soft Skills) ● Qualité de service et communication. ● Travail collaboratif avec traçabilité des actions. ● Leadership, réactivité, disponibilité, autonomie, force de proposition. ● Bonne connaissance des contraintes de production. ● Expérience significative en DevOps et Release Management. Compétences Techniques (Hard Skills) Objectifs et livrables Ordonnanceur (Control M) Confirmé (***) Monitoring (Dynatrace/Grafana/Prometheus) Confirmé (***) ETL Powercenter / ELT DBT / Airflow Composer Élémentaire (*) Informatica MDM / IDQ Confirmé (***) Couche échange (Tibco / Kafka / Gateway) Confirmé (***) SQL (Oracle, MySQL, PostgreSQL) Élémentaire (*) No-SQL (Mongo DB) Avancé (**) Hadoop (HDFS, Spark) Avancé (**) Compétence Niveau Souhaité Google Cloud Platform (Big Query - Cloud Run) / Terraform) Élémentaire (*) Outil de consommation Tableau Élémentaire (*) Outil de consommation Dataiku Élémentaire (*) Déploiement continu (Gitlab, Openshift, CICD) Confirmé

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Nous recherchons un(e) LeadTech DataOps – Référentiels pour une mission au sein d’un grand groupe du secteur assurance / services, dans un environnement Data Office / DataOps structuré. La mission s’inscrit dans une démarche d’industrialisation des usages Data, d’unification des pratiques d’exploitation et d’amélioration continue des environnements de déploiement. LeadTech DataOps Référentiels Contexte de mission L’équipe en charge du DataOps / Services Delivery Data pilote l’homogénéité des pratiques d’exploitation, le déploiement continu (cloud et on-prem) et la fiabilisation des usages autour des référentiels de données. Le/la consultant(e) interviendra en interface avec les équipes de conception, les release managers et les équipes de production. LeadTech DataOps Référentiels Objectifs principaux Déterminer les versions des composants en coordination avec les équipes de conception et release management Garantir la disponibilité et la stabilité des environnements (dev, test, CI/CD) Documenter les dépendances pour la supervision et le diagnostic Analyser les incidents (RCA) et suivre les plans de remédiation Gérer et documenter les configurations par environnement Vérifier la complétude des livrables (tests, documentation, conformité) et identifier les risques avant mise en production Participer à la définition et au suivi des exigences non fonctionnelles (sécurité, performance, scalabilité, disponibilité) Assurer la traçabilité des changements de configuration et de versions Automatiser les déploiements et maintenir les pipelines CI/CD. LeadTech DataOps Référentiels Profil recherché Expérience significative en DevOps / Release Management Bonne connaissance des contraintes de production Leadership, autonomie, réactivité, force de proposition Bon niveau de communication et capacité à travailler en équipe avec traçabilité des actions. LeadTech DataOps Référentiels Compétences techniques attendues Control-M Monitoring : Dynatrace / Grafana / Prometheus Informatica MDM / IDQ Couche d’échange : Tibco / Kafka / API Gateway NoSQL : MongoDB Hadoop : HDFS / Spark CI/CD & déploiement continu : GitLab / OpenShift API Management / REST Jira / Confluence / Easyvista / Google Workspace

Dans le cadre de l’évolution et de l’industrialisation de sa plateforme Data multi-cloud, un acteur majeur du secteur de l’énergie recherche un Tech Lead Data senior . La mission s’inscrit au sein de la plateforme Data Groupe avec des enjeux forts de : Scalabilité Gouvernance et qualité des données Industrialisation des pipelines Fiabilité en production 🎯 Missions principales 🔹 Leadership technique Être le référent technique de la plateforme Data Définir et faire évoluer l’architecture Data Encadrer et accompagner les Data Engineers Participer aux choix technologiques et aux orientations stratégiques 🔹 Build – Industrialisation Concevoir et mettre en œuvre un Data Lake Définir, développer et automatiser les pipelines de données Mettre en place les bonnes pratiques CI/CD Garantir la performance, la robustesse et la scalabilité 🔹 Run – MCO Assurer la supervision des traitements Gérer les incidents et optimiser les processus Maintenir les environnements techniques Automatiser les tâches récurrentes 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP Contexte multi-cloud 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Airflow ⚙ Dev / DevOps Python APIs (FastAPI / Flask) Docker Terraform GitLab CI/CD Linux

Dans le cadre de la phase 2 de construction de sa plateforme Data Groupe, un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data. L’objectif est de consolider le socle technique existant, d’industrialiser les pipelines et de contribuer aux projets d’ingénierie Data & IA, tout en assurant le Run des assets déjà en production. 🎯 Missions principales 🔹 Build – Data Platform Participer à la construction et à l’évolution de la plateforme Data Concevoir et développer des pipelines de données Réaliser des POC et spiker le backlog Contribuer aux choix d’architecture en respectant les standards définis Optimiser les requêtes Amazon Redshift (point clé de la mission) 🔹 Run – Exploitation Assurer le maintien en conditions opérationnelles Superviser les traitements Garantir la performance et la stabilité des assets 🔹 Contribution IA Participer aux projets d’AI Engineering Collaborer avec les squads Data Métier Être force de proposition sur les solutions techniques 🔹 Optimisation des coûts Maîtriser les coûts des services cloud (dimension FinOps importante) 🛠 Environnement technique☁ Cloud AWS (Redshift, RDS, Lambda, SQS, SNS, API Gateway…) GCP 💾 Data & Big Data SQL / NoSQL Data Warehouse Spark / Hadoop / HDFS Scalabilité & clustering ⚙ Dev & DevOps Python APIs (FastAPI / Flask) Airflow Docker Terraform GitLab CI/CD Linux Git (code review, merge request) 📊 Outils analytiques (bonus) Tableau Dataiku Alteryx

Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé , intégré à l’équipe BDP (Big Data Platform) . Le consultant interviendra sur le déploiement, l’industrialisation, l’exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP) , au service des projets data et métiers. 🎯 Rôle et responsabilités 1. Déploiement & industrialisation des clusters Big Data Déploiement automatisé de clusters via pipelines Jenkins Installation et configuration des composants Hadoop via Ansible Adaptation des architectures selon les besoins projets (sécurité, performance, capacité) Contribution aux pratiques CI/CD et Infrastructure as Code Déploiement et administration du TDP Manager Mise en place de Hue pour les environnements Datalab 2 . Administration avancée de la stack Hadoop / TDP Le consultant est responsable de l’installation, la configuration et l’exploitation de : Sécurité & identités : OpenLDAP Kerberos Ranger (politiques de sécurité) Stockage & calcul distribué : HDFS (baie Huawei) Hadoop (YARN, services core) Traitement & accès aux données : Spark Hive Services transverses : ZooKeeper PostgreSQL Responsabilités associées : Gestion des dépendances inter-services Cohérence des versions Optimisation des performances et de la stabilité Résolution des incidents complexes 3. Provisionnement & automatisation des environnements Provisionnement de VM sous VMware Préparation des prérequis systèmes (OS, réseau, stockage) Automatisation via Ansible et scripts Bash Gestion des environnements DEV / RECETTE / PROD 4. Observabilité, supervision & anticipation Mise en œuvre et maintien de la stack d’observabilité : Prometheus Alertmanager Loki / Promtail Grafana Définition des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des clusters Hadoop Support aux équipes projets et utilisateurs Datalab Gestion des incidents, demandes d’évolution et correctifs Montées de version Suivi de capacité (CPU, RAM, stockage) Rédaction et mise à jour de la documentation technique 🤝 Interaction & posture attendue Participation active aux rituels d’équipe Coordination avec : Équipes infrastructure Équipes projets data / métiers Référents sécurité Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme Forte capacité de communication transverse 🧠 Compétences clés attendues Techniques Expertise Hadoop / Big Data on-prem Solide expérience DataOps / DevOps Maîtrise de : Jenkins, GitLab CI/CD, SonarQube Ansible, Bash VMware, Docker Stack d’observabilité (Prometheus, Grafana, Loki) Méthodologiques & soft skills : Rigueur et sens de la qualité Forte sensibilité aux enjeux de sécurité Capacité d’anticipation (supervision, performance, capacité) Autonomie et esprit d’équipe Aisance dans des environnements complexes et critiques ⚠️ Points de vigilance Forte interdépendance des composants Hadoop Exigences élevées en matière de sécurité (Kerberos, Ranger) Enjeux de performance et de disponibilité Nécessité d’une coordination transverse permanente

Localisation : Bretagne Présence sur site minimum 3 jours par semaine Candidatures locales privilégiées Contexte Au sein d’un Chapitre Data intervenant en transverse dans l’entreprise, vous contribuez à la fabrication des cas d’usage Data portés par différentes Squads métiers. Vous évoluez dans un environnement collaboratif avec des interlocuteurs variés et participez activement aux échanges avec les membres du Chapitre présents sur d’autres sites en France. Missions Participer à la définition de l’architecture Data avec les architectes et les Squads Concevoir et développer des solutions de collecte, transformation et stockage de données issues de multiples sources Développer des pipelines Spark batch et Spark Streaming Mettre en place les tests unitaires et automatisés Déployer les solutions dans les différents environnements Assurer le suivi en production et la gestion des incidents Être force de proposition et contribuer à l’amélioration continue Environnement technique Spark (batch et streaming) indispensable SQL indispensable Scala apprécié Kafka apprécié Java et Shell appréciés Stack Hadoop Cloudera HDFS, Hive, HBase, Phoenix, MongoDB Git, Jenkins, Artifactory, XL Release ELK, Grafana Méthodologie Scrum Connaissances appréciées Outils de data visualisation tels que MicroStrategy, Power BI ou Tableau Profil recherché Expérience confirmée en Data Engineering Big Data Solide maîtrise de Spark dans un environnement Hadoop / Cloudera Capacité à évoluer en contexte transverse Soft skills attendues Autonomie Adaptabilité Bonne communication Capacité à challenger les besoins Prise de lead et force de proposition