Find your next tech and IT Job or contract Hadoop

Le Bénéficiaire a en charge la solution Groupe de Restitution des données de Risques structurels et souhaite mettre en œuvre plusieurs évolutions de son socle applicatif basé sur la technologie ClickHouse. La prestation consiste à contribuer à/au(x) : - Monitoring infrastructure et diagnostics - Maintien en conditions opérationnelles de la plateforme (composants, performances, dette technique, montées de version..) - Ecriture des scripts de maintenance de l'infra (équilibrage disques, tuning système..) - Respect des exigences Sécurité et des procédures internes (remédiation des vulnérabilités, patching, CI/CD..) - Définition, estimation et planification des activités - Spécifications et documentation techniques - Support et accompagnement des coéquipiers Environnement technique/fonctionnel : - Finance bancaire (Risques structurels) - Systèmes de reporting financier,- ClickHouse

Nous recherchons quelqu’un avec de solides compétences sur SQL (notamment HIVE)..... ...... ..... ..... ..... ..... ...... ..... ..... ..... ..... ..... ... .... .. ..... ...... HADOOP (développement sur Cloudera Data Platform)...... ...... ...... ..... .. .. .. .... ..... .... .... ... ... ... Shell UNIX. ...... ....... ...... ....... ....... ..... ....... ..... ..... .... .... ....... ..... Git...... ...... ...... ...... ...... .... ..... ....... .... ... .... .... .... .... ... ... ... ... ...

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte Au sein de l’équipe Data, vous aurez la responsabilité d’assurer le bon fonctionnement, la fiabilité et la performance de l’écosystème Big Data de l’entreprise. Vous interviendrez sur un environnement Hadoop hybride, incluant des briques Cloud (GCP) et des services de Kubernetes-as-a-Service (KaaS). Missions principales Exploitation & MCO de la plateforme Big Data - Assurer la maintenance en conditions opérationnelles (MCO) de l’écosystème Hadoop. - Garantir la disponibilité, la performance et la sécurité des clusters. - Suivre l’état de santé des composants (HDFS, Yarn, Hive, Spark, Oozie, etc.). - Contribuer à la fiabilisation du socle technique et à la réduction des points de fragilité. Gestion des incidents et support de niveau 2/3 - Prendre en charge les incidents, réaliser les analyses, identifier les causes racines (RCA) et proposer des plans d’actions correctifs. - Assurer le suivi jusqu’à résolution complète. - Rédiger et maintenir la documentation technique associée. Amélioration continue & automatisation - Contribuer aux améliorations continues de la plateforme : performance, architecture, déploiements. - Mettre en place ou optimiser des scripts d’automatisation (Python, Shell, Ansible…). - Participer aux évolutions de l’écosystème et aux projets de transformation Big Data. Environnement Cloud (GCP) - Participer à l’exploitation et à l’évolution des services GCP liés au Big Data (BigQuery, Dataproc, Cloud Storage…). - Contribuer aux migrations, intégrations ou interconnexions entre Hadoop et GCP. - Assurer le monitoring, la gouvernance et l’optimisation des coûts dans GCP. Gestion et exploitation des plateformes KaaS - Administrer et exploiter les environnements Kubernetes-as-a-Service (GKE, Anthos, ou équivalent interne). - Déployer et maintenir les services Data ou applicatifs tournant sur KaaS. - Surveiller les clusters, gérer les ressources, les namespaces et la montée en charge. - Contribuer à la sécurisation et à la standardisation des déploiements. Collaboration & communication - Travailler en étroite collaboration avec les équipes Data Engineering, DevOps, Infrastructure et Sécurité. - Contribuer à garantir un niveau de service optimal pour les équipes métiers et projets. - Participer aux rituels opérationnels (briefs, comités, revues techniques…). Profil recherché Compétences techniques - Maîtrise de l’écosystème Hadoop. - Connaissance opérationnelle de GCP. - Expérience en Kubernetes / KaaS. - Compétences en automatisation (Python, Shell, Ansible…). - Connaissances en monitoring (Grafana, Prometheus, ELK…). - Compréhension des enjeux de sécurité et de gouvernance des données. Soft skills - Capacité d’analyse et résolution de problèmes complexes. - Bonne communication et esprit d’équipe. - Rigueur, sens du service et autonomie. - Proactivité dans l’amélioration continue.

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

Descriptif du poste Au sein de l'équipe informatique d'un grand groupe bancaire (350 personnes), la DSI Fonctions Centrales a en charge la gestion d'applications métiers pour le compte des clients corporate (Finance, risque, conformité, marketing, automobile, RH, ...) et des plateformes data. Elle opère pour le compte de ses clients en central, mais est également fournisseur d'applications pour l'ensemble des filiales sur ce périmètre transverse. La prestation se déroule sur le site principal au sein de la Tribe Data France. Missions principales Accompagner les projets de migration vers le Cloud interne Accompagner les équipes de développement dans les bonnes pratiques de développement en intégrant les enjeux data et sécurité Mettre en place des pratiques d'automation/industrialisation via DevSecOps Réaliser la première implémentation de Gen AI dans le contexte Data Participer à des chantiers transverses d'amélioration continue et de monitoring Participer à la définition de la stratégie Data pour le périmètre France

Vous interviendrez pour un grand acteur du secteur de l’énergie, au sein d’une prestation pluridisciplinaire. Votre rôle sera de gérer, maintenir et optimiser les plateformes Big Data afin d’assurer leur performance et disponibilité. Vous travaillerez en étroite collaboration avec les équipes de développement et les analystes de données. 4. Missions principales Gérer et maintenir les plateformes de données massives. Optimiser les performances des systèmes Big Data. Assurer la qualité et la sécurité des données. Collaborer avec les équipes de développement pour intégrer les solutions de données. Surveiller et maintenir les systèmes en production. Analyser les besoins en données et proposer des solutions adaptées.

Architecte Infrastructure / DataStage Descriptif de la mission Le bénéficiaire souhaite une prestation d'accompagnement pour des activités d'expertise et d'ingénierie des technologies BI DataStage Missions principales Mise en place de la procédure d'installation et de configuration du produit selon les requis Installation/ Configuration / optimisation / Support/ sécurisation du produit DataStage afin de coller au besoin de mise en place d'une plateforme mutualisée partagée mais cloisonnée Définition des règles d'exploitation autour de la solution DataStage/BigIntegrate afin de garantir une bonne supervision du comportement en production

Client final : secteur paiement – mission longue – environnement Cloudera CDP Nous recherchons un Administrateur Lakehouse / Administrateur Cloudera confirmé ou senior pour accompagner l’un de nos clients grands comptes dans la gestion et l’exploitation de son écosystème Big Data. 🎯 Compétences OBLIGATOIRES (critères majeurs) 👉 Maîtrise parfaite des composants Lakehouse suivants : Apache Ranger (Data Security) Apache Atlas (Gouvernance & Lineage) Spark + Apache Zeppelin (Processing) NiFi (Ingestion) Apache Impala (Analytics) Hadoop (HDFS) + Apache Kudu (Data Lake) Hue (Serving / SQL UI) ➡️ Ces compétences sont indispensables : seuls les profils maîtrisant ces briques seront retenus. 🧩 Vos responsabilités Administrer et maintenir l’écosystème Cloudera / CDP (Cloudera Manager, HDFS, Yarn, Zookeeper…). Assurer le MCO/MCS : disponibilité, performances, sécurité, supervision. Documenter les procédures d’exploitation & rédiger des rapports synthétiques. Respecter les SLA et intervenir en cas d’incident. Travailler en environnement ITIL (gestion incidents, problèmes, changements). Automatiser les déploiements via Ansible (certificats, keystores, configurations). Utiliser les outils DevOps : GitHub , Jenkins . Exploiter les environnements Linux (analyse de logs, diagnostic). Participer aux réunions d’équipe, aux projets et aux comités. Être force de proposition sur l’amélioration continue et la supervision. 🌍 Environnement technique Cloudera CDP • Cloudera Manager • HDFS • Yarn • Zookeeper Apache Ranger • Apache Atlas • Spark • Zeppelin • NiFi • Impala Hadoop • Kudu • Hue Ansible • GitHub • Jenkins • Linux 📌 Profil recherché 5 à 7+ ans en administration Big Data / Hadoop / Cloudera impératif. Très forte expertise sur les briques Lakehouse listées ci-dessus. À l’aise en production, ITIL, sécurité, automatisation. Bon niveau d’anglais (échanges éditeurs Cloudera & fournisseurs). Consultant autonome, structuré, capable de rendre compte et d’améliorer l’existant. 🚀 Disponibilité immédiate ou rapide Si vous maîtrisez Cloudera + Ranger + Atlas + Spark + NiFi + Impala + Kudu , contactez-moi directement.

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

Concevoir, développer et maintenir des pipelines de données robustes et scalables (batch et streaming). Participer à la mise en place et à l’optimisation de la plateforme Big Data (Hadoop/Spark). Intégrer, transformer et nettoyer des données issues de différentes sources (API, bases relationnelles, fichiers plats, etc.). Collaborer étroitement avec les Data Scientists et Data Analysts pour la préparation et la mise à disposition des datasets. Contribuer aux bonnes pratiques de développement, d’automatisation (CI/CD), et de gestion de la qualité des données. Assurer la documentation technique et la maintenance des flux existants. Participer à la montée en compétences de l’équipe interne sur les outils Big Data.

Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + client logistique basé à Guyancourt (ou Montpellier, Nantes) un Expert Data Hadoop/Hive/Hbase, Databricks 8 ans d’expériences + Localisation Guyancourt / Télétravail 2 à 3 jours par semaine Durée de la mission : 2 ans Mission : Création d’une équipe transverse pour : Monitorer la qualité des données : intégration fraicheur des données sur les plateformes data identifier les sources de données actuelles (cartographie SI des données) créer un backlog de contrôles à mettre en place mise en place d’indicateurs o validation de la qualité de la Data de bout en bout o pilotage des correctifs à mettre en place en amont · Dimensionner et organiser la cellule • La cellule sera en relation avec les équipes de RUN les métiers et les autres Lignes Produit Compétences requises : Hadoop/Hive/Hbase Databricks

Pour mon client bancaire, je recherche MOA / BA - Mise en place d'un Datalake Hadoop. Vous interviendrez sur les sujets liés aux métiers du Financement Structuré et du Risk Management. Recueil des besoins et animation d’ateliers avec les équipes métiers (Financing & Risk) Rédaction de spécifications fonctionnelles claires et structurées Contribution à la modélisation des données et au design fonctionnel Préparation, exécution et suivi des tests utilisateurs Présentation des livrables aux équipes métiers et rédaction de synthèses Accompagnement des utilisateurs dans la conduite du changement Suivi de la qualité de production et amélioration continue

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer GCP" pour un client dans le secteur de l'assurance Description 🧩 Contexte de la mission Au sein du Département Data Solutions, l’équipe TAI (Traitement et Analyse de l’Information) a pour objectif de préparer, transformer et mettre à disposition les données nécessaires aux applications métiers. Dans le cadre de la modernisation de la plateforme data, l’équipe lance un projet stratégique de migration des assets OnPrem vers le Cloud GCP, en s’appuyant notamment sur DataProc et BigQuery. 🎯 Objectifs et livrables Le consultant interviendra sur la migration technique des traitements data et sur l’accompagnement fonctionnel des équipes métier et techniques. 🔹 Missions fonctionnelles : Analyser et rationaliser le legacy existant pour le rendre compatible avec le Cloud GCP. Rédiger la documentation fonctionnelle de référence : Description technique et métier du SI cible. Implémentation et intégration dans le projet. Être garant de la bonne application des pré-requis techniques et fonctionnels. Maintenir une relation fluide et de confiance entre les équipes SI Source, Data Fabrik et les métiers. Mettre en place les bonnes pratiques sur DataProc et accompagner leur adoption. Accompagner la migration des projets TAI depuis la plateforme OnPrem vers DataProc. Soutenir les équipes (notamment LCB-FT) dans le développement et le déploiement des traitements. 🔹 Missions techniques ("dev") : Concevoir et développer les chaînes de traitement de données de bout en bout (depuis la source jusqu’à la consommation). Réaliser les développements conformes aux besoins métiers. Créer et industrialiser les workflows sous Control-M pour le pilotage automatisé des flux.

Contexte de la mission : Au sein de la Direction des Systèmes d’Information d’un grand groupe du secteur financier, vous intégrerez une équipe en charge du pilotage des risques structurels et du reporting financier . L’objectif de la mission est de maintenir et faire évoluer une plateforme technique basée sur la technologie ClickHouse® , en garantissant sa stabilité, ses performances et sa sécurité . Missions principales : La prestation consiste à contribuer aux activités suivantes : Surveillance et monitoring de l’infrastructure ; diagnostic des incidents et anomalies Maintien en conditions opérationnelles de la plateforme (composants, performances, dette technique, montées de version) Rédaction et exécution de scripts de maintenance de l’infrastructure (équilibrage des disques, tuning système, automatisation) Application des exigences de sécurité et des procédures internes (remédiation des vulnérabilités, patching, CI/CD) Définition, estimation et planification des activités techniques Rédaction de spécifications et documentation techniques Support et accompagnement des équipes internes dans la gestion quotidienne de la plateforme