Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot

RésuméLe poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop. Responsabilités :Participer aux task forces pour résoudre des problématiques techniques complexes. Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée. Gérer les montées de versions majeures des composants Hadoop. Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs. Gérer la collaboration avec l'éditeur Cloudera et les entités internes. Suivre le planning global de production. Must Haves :Expertise en Ansible. Expérience avec Apache NiFi. Compétence en Hadoop (Big Data). Maîtrise de Kafka. Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA). Compétence en Spark. Nice to Have :Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional). Connaissances en Terraform et Terragrunt. Autres Détails :Catégorie: Environnement technique. Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible. Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme. Type de prestation : Data Engineering Level 8.4.

🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.

📍 Contexte Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data. 🎯 Missions principales Administrer et maintenir les clusters Hadoop Cloudera CDP. Participer aux montées de version des composants Hadoop. Résoudre les incidents techniques complexes et intervenir en task force. Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt. Garantir la disponibilité, la performance et la sécurité de la plateforme. Gérer les changements (tests, rollback, mise en production). Collaborer avec Cloudera et les équipes internes. Rédiger la documentation technique. 🛠 Stack technique Big Data : Hadoop, Cloudera CDP 7.1.9, Spark Ingestion : Kafka, Apache NiFi Automatisation : Ansible, Terraform, Terragrunt, AWX Versioning / Scripting : Shell, Git, GitHub

Résumé Le Data Engineer GCP sera responsable de la conception, de la mise en œuvre et de l'optimisation des solutions de traitement de données sur GCP au sein de l'équipe Data. L'objectif principal de ce rôle est d'assurer une gestion efficace des données, d'améliorer l'accès aux données et de soutenir les processus analytiques au sein du secteur bancaire. Responsabilités : Concevoir et développer des solutions de données sur la plateforme GCP. Optimiser les requêtes et les performances des bases de données BigQuery. Collaborer avec les équipes fonctionnelles pour collecter et comprendre les exigences en matière de données. Suivre les meilleures pratiques d'ingénierie des données et assurer la qualité des données. Participer aux revues de code et aux pratiques de développement agile en utilisant Scrum. Must Haves : Expérience de 5-6 ans en ingénierie des données. Compétences solides en Python et SQL. Expérience avec BigQuery sur GCP. Connaissance des systèmes de contrôle de version, tels que Git. Expérience avec la méthodologie agile, notamment Scrum.

Date de démarrage : 14/09/2026 Durée : 12 mois renouvelables ContexteDans le cadre du renforcement de sa plateforme Data, notre client recherche un Data Engineer expérimenté afin de concevoir, développer et maintenir des solutions de traitement de données à grande échelle. Intégré à une équipe Agile (Squad), vous interviendrez sur l'ensemble du cycle de vie des produits Data, depuis la conception de l'architecture jusqu'au maintien en conditions opérationnelles des pipelines de données. Vous évoluerez en étroite collaboration avec les Architectes, le Product Owner, les Business Analysts et les équipes de production afin de garantir la disponibilité, la qualité et la performance des données au service des métiers, dans un environnement exigeant, idéalement bancaire.

ENTITE CONCERNEE Le portefeuille des "Fonctions mutualisées (DSI360)" a pour objectif de piloter et maintenir un écosystème applicatif central, garantissant la cohérence, la fiabilité et l'interopérabilité des données et des socles techniques pour l'ensemble des applications du domaine. Le portefeuille de solutions « Fonctions Mutualisées » est organisé autour de 2 activités principales : 1. La "Gestion de la donnée" qui a pour objectif répondre aux enjeux stratégiques du domaine (DPS) en termes de data (décisionnel, big data, intelligence artificielle, open data) en fournissant les données et outils nécessaires aux cas d'usage pour les différents métiers de la DPS, en particulier de la Formation Professionnelle et compétences 2. Les "Référentiels et Fonctions transverses" qui ont pour missions principales de : • Gérer les bases de données centrales (clients, paramètres, accédant) la cohérence et la traçabilité des données référentielles. • Assurer la Gestion documentaire et des courriers. Centralisation des paramètres et configurations • Documenter et industrialiser les configurations pour faciliter les déploiements et les évolutions. CONTEXTE DE LA MISSION La présente mission s'inscrit dans les activités Data de la Retraite et du Handicap de la DSI à Bordeaux et plus particulièrement dans l'équipe produit Data DL7 • Un lac de données DPS qui héberge des données sources venant du SI Opérationnel de la Direction • Des datamarts DL7 répondant à l'ensemble des usages Data de reporting et de pilotage de la retraite et du handicap • Des usages de Data hébergés sous technologie Hadoop / PySpark… • Des applications de DataViz (internes et externes) développées avec l'outil Tableau • Des usages d'exploration de la données et d'analyse Adhoc : SQL et Alteryx CONTENU DE LA MISSION Il est attendu de l'intervenant les travaux suivants : • Conception, recette, mise en production et suivi d'évolutions et correctifs. • Rédaction des user stories ou SFD des évolutions (amélioration de l'outil, évolution réglementaire, extension de périmètre) • Réalisation des plans recette et des TNR • Suivi de production et RUN : Analyse, qualification, recette des correctifs des anomalies de production • Participation aux réunions d'équipe • Accompagnement des métiers dans l'utilisation des outils Data • Réalisation/automatisation de rapports et d'indicateurs LIVRABLES ATTENDUS • Tableaux de suivi (actions, liste des Jira traités, planning…) • Stratégie de recette, cahiers et plans de tests, jeux de données • Comptes rendus d'ateliers et comités COMPETENCES RECHERCHEES • Maîtrise de la modélisation décisionnelle • Maîtrise de l'outil de datavisualisation Tableau et du SQL • Expérience significative dans la mise en œuvre de cas d'usages data • Connaissance des architectures Big Data • Expérience dans la fonction maîtrise d'ouvrage et des projets SI • Esprit d'analyse • Être automne et force de proposition • Maîtrise dans l'animation d'ateliers métiers et la compréhension des besoins utilisateurs • Expérience avérée dans une méthode Agile • Maîtrise des outils Bureautique MODALITES Intervention sur Bordeaux Télétravail accepté mais dans la limite d'une présence minimale de trois jours sur site par semaine (Jour à définir avec l'équipe).

Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Au sein de la DSI de notre client, vous serez en charge du développement et de la maintenance des applications stratégiques du Groupe. Dans le cadre du projet DatOps, nous recherchons un Data Engineer GCP pour renforcer les équipes Data. En collaboration avec les équipes de production applicative et DevOps, vous participerez à la mise en œuvre des évolutions demandées par les métiers, au développement des pipelines de données et à l'évolution de la plateforme Data. Vous évoluerez dans un environnement Cloud moderne, Agile et international, avec des échanges réguliers avec les équipes basées à Porto.

Dans le cadre du renforcement d'une équipe dédiée à l'innovation et à l'industrialisation de solutions d'Intelligence Artificielle, nous recherchons un(e) Data Engineer / Développeur Fullstack Python Junior souhaitant évoluer sur des sujets mêlant Data Engineering, IA Générative et développement logiciel. Vous intégrerez une équipe à taille humaine intervenant sur des projets déjà en production autour du traitement documentaire, du Machine Learning et de l'IA générative. Vous participerez notamment à : Développer des applications et pipelines de traitement de données en Python. Concevoir et maintenir des traitements distribués autour des technologies Big Data. Participer au développement d'outils intégrant des modèles d'IA générative. Contribuer à l'amélioration continue des chaînes CI/CD ainsi qu'à l'automatisation des tests. Développer des interfaces et outils facilitant l'exploitation des solutions IA. Collaborer étroitement avec les équipes Data Engineering, Data Science et les métiers afin de transformer rapidement les besoins en solutions opérationnelles. Participer à la mise en production et à l'industrialisation des développements.

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

La mission s'inscrit dans le cadre d'un programme de transformation réglementaire lié aux évolutions de Bâle et vise à accompagner la conception, le développement et l'optimisation de moteurs de calcul de risques bancaires RWA et ECL. Le consultant interviendra sur des environnements Java, Spark et Hadoop afin de faire évoluer l'architecture existante pour traiter des volumétries de données plus importantes, mettre en place des simulateurs RWA/ECL au niveau Groupe et automatiser les processus de benchmark et de simulation. Il participera également à la clarification des besoins, aux choix des solutions techniques, à la conception et à l'implémentation des solutions applicatives, aux migrations techniques notamment vers le Cloud, ainsi qu'au support technique auprès des utilisateurs, dans le respect des normes et standards du système d'information.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Résumé :Recherche un Ingénieur Systèmes & Réseaux orienté Infrastructure Data pour rejoindre une équipe en charge des plateformes critiques de stockage, transport et exploitation des données. L'objectif principal est de garantir le bon fonctionnement des infrastructures de données et de travailler dans un environnement technique majoritairement open source. Responsabilités :Gestion des incidents de production en escalade des équipes d'exploitation. Support de niveau 3 sur des environnements critiques. Suivi des KPI et actions correctives. Gestion de l'obsolescence des infrastructures. Déploiement et évolution de plateformes à haute disponibilité. Installation et administration de bases de données (MySQL, Cassandra, etc.). Déploiement de VM dans les datacenters. Mise en place des mécanismes de sauvegarde et gestion des logs. Industrialisation et qualification de nouvelles briques techniques. Must Haves :Expertise en MySQL. Maîtrise des systèmes Linux. Expérience avec des outils comme ELK, Kafka, Airflow, Docker, Git, Ansible, CI/CD, Cassandra, Hadoop / Hive / Yarn, et Spark Streaming. Nice to Haves :Compréhension des concepts d'infrastructure. Curiosité technique et capacité d'apprentissage rapide. Capacité à travailler de façon autonome. Détails supplémentaires :Équipe actuelle : 12 personnes. Localisation : Nancy, avec 2 jours de télétravail par semaine. Durée de la mission : 30 à 36 mois, contrats renouvelables.