Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Je recherche un Ingénieur Big Data / Administrateur Hadoop-Cloudera (CDP) confirmé à senior pour une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l'installation de cluster · Au monitoring et à l'administration des outils Big Data · A l'administration de cluster · A l'upgrade des distributions et des composants Hadoop · A l'installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d'environnements de développement et de test · A la sécurisation des clusters Compétences techniques requises · Installation et configuration des différents distributions sur Hadoop : · Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka… · Monitoring des clusters avec Ambari, Cloudera manager, … · Administration des clusters : droits d'accès, Policy Ranger, création d'environnements… · CI/CD Ansible, Jenkins,… · Méthodes agiles : Scrum, Safe, Kanban, … Profil recherché Une expérience significative dans le cadre de projets Big Data sur une plateforme distribution Hadoop & CDP. · Anglais opérationnel et bonne aisance en communication · Capacité d'analyse et d'adaptation · Force de proposition, la veille technologique.

Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Dans le cadre de l'évolution et de la modernisation d'un écosystème Data au sein d'une Direction Technique Informatique d'un grand acteur de la protection sociale, nous recherchons un Architecte Expert Big Data Hadoop Cloudera (CDP) pour concevoir, faire évoluer et maintenir des plateformes Big Data en environnement Hors-Prod et Production. La mission s'articule autour de trois axes majeurs : la participation aux projets d'évolution du socle Hadoop existant (évolutions logicielles et matérielles, sécurité, définition d'architecture, rédaction de dossiers), le maintien en conditions opérationnelles de la plateforme (administration, supervision, gestion des incidents, support aux équipes études et exploitation), et la contribution à un projet stratégique de nouvelle Plateforme DATA (étude d'impact, préconisation des choix techniques, définition des standards et normes, mise en œuvre et transfert de connaissances aux équipes exploitation). L'environnement technique s'appuie sur la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg), avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème complémentaire incluant Kafka, PostgreSQL, Kubernetes et Ansible. Ce poste requiert une forte autonomie, une capacité à travailler en équipe pluridisciplinaire et une disponibilité pour des interventions ponctuelles en dehors des heures ouvrées.

Au sein de la DSI de notre client, vous serez en charge du développement et de la maintenance des applications stratégiques du Groupe. Dans le cadre du projet DatOps, nous recherchons un Data Engineer GCP pour renforcer les équipes Data. En collaboration avec les équipes de production applicative et DevOps, vous participerez à la mise en œuvre des évolutions demandées par les métiers, au développement des pipelines de données et à l'évolution de la plateforme Data. Vous évoluerez dans un environnement Cloud moderne, Agile et international, avec des échanges réguliers avec les équipes basées à Porto.

🚀 Qui sommes-nous ? Finaxys est un cabinet de conseil spécialisé dans les secteurs Banque, Finance et Assurance. Depuis plus de 15 ans, nous intervenons auprès des plus grandes institutions telles que BNP Paribas, Crédit Agricole, Société Générale, AXA, Malakoff Humanis, etc. en proposant des solutions technologiques innovantes (IA, Machine Learning, Data, Cloud, DevSecOps, etc.). Notre mission ? Accompagner nos clients dans leur transformation digitale et répondre aux défis IT les plus complexes grâce à l'expertise de nos équipes. 🎯 Votre mission : En tant que DataOps, vous rejoindrez les équipes techniques de nos clients grands comptes pour : Industrialiser et automatiser les déploiements avec Ansible Mettre en production de nouveaux clusters et mettre à l'échelle les clusters existants (scale horizontal et vertical) Documenter les offres Apporter une expertise technique aux utilisateurs de la plateforme Participer à la définition des architectures des futures briques de la plateforme Streaming Construire un MVP de ces services puis enrichir l'offre Prendre des éléments de la backlog qui ont été formalisés par le Squad Lead et mettre en œuvre les éléments de la backlog Réaliser l'intégration dans le SI (observabilité, alerting, gestion des droits, backup, etc) Rendre compte des difficultés auxquelles il est confronté et proposer des solutions pour les résoudre Participer à l'ensemble des rituels agiles de la Squad (Rétro, Démos, Pi Planning) Environnement technique / fonctionnel : Python, Java, Hadoop, Spark, Kafka, Flink, Kubernetes, Gitlab, Ansible, Vault, Artifactory, CI/CD, Jira

Dans le cadre du renforcement d'une équipe Data au sein d'une Direction Technique Informatique, nous recherchons un Ingénieur Expert Big Data Hadoop Cloudera (CDP) chargé d'assurer le maintien en conditions opérationnelles de plateformes Hadoop Cloudera en environnement Hors-Prod et Production. La mission couvre l'administration et l'exploitation des socles (supervision, gestion des incidents, optimisation des performances, capacity planning), la maintenance proactive (correctifs, mises à jour), ainsi que la rédaction de procédures et de dossiers d'architecture. Le profil interviendra également en support expertise auprès des équipes études et exploitation, et participera aux projets d'évolution des architectures techniques (logicielles, matérielles, sécurité). L'environnement technique s'articule autour de la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg), avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème élargi incluant Kafka, PostgreSQL, Kubernetes, Ansible et des outils de supervision Prometheus/Grafana. Ce poste requiert une forte autonomie, un bon esprit d'équipe et la capacité à intervenir ponctuellement en dehors des heures ouvrées.

Ingénieur Data Spark / Scala — Nanterre Localisation : Nanterre Démarrage : ASAP / dès que possible Niveau : Confirmé Durée : mission longue durée Dans le cadre d'un projet de Business Intelligence & Big Data pour un acteur majeur du secteur de l'assurance, nous recherchons un(e) Ingénieur Data Spark / Scala afin de contribuer à la conception, au développement et à l'industrialisation de traitements Data sur une architecture Big Data. Vos missions Participer à la conception détaillée des traitements Data. Rédiger les spécifications fonctionnelles générales et détaillées. Développer des traitements Spark / Scala. Manipuler les données raffinées du Datalake selon les règles métiers décisionnelles définies. Contribuer à la formalisation des plans de tests. Réaliser les tests unitaires et les premiers tests d'intégration. Analyser et corriger les anomalies en phase d'intégration fonctionnelle et de recette utilisateur. Préparer le packaging des traitements. Déployer les composants en préproduction et en production. Optimiser les traitements afin de garantir les standards de qualité de service. Mettre en œuvre des solutions industrielles et de réentrance pour sécuriser la reprise des traitements en cas d'incident de production. Participer à la mise en service et accompagner le déploiement. Assurer le suivi des environnements. Stack / environnement Big Data : Spark, Scala, Hadoop, Datalake Datawarehouse : Exadata, alimentation de Datawarehouse communautaire Base de données : Oracle Industrialisation : Packaging, déploiement préproduction / production, réentrance des traitements DevOps / versioning : GitLab Contexte projet : Business Intelligence, Big Data, traitements décisionnels, règles métiers Data Environnement complémentaire apprécié : Apache Mesos Qualité de service : Optimisation des traitements, suivi des environnements, reprise sur incident Candidature Vous souhaitez contribuer à un projet structurant de Business Intelligence & Big Data, autour de traitements Spark / Scala, Datalake Hadoop et Datawarehouse Exadata ? Merci de postuler directement.

Dans le cadre du renforcement d'une équipe dédiée à l'innovation et à l'industrialisation de solutions d'Intelligence Artificielle, nous recherchons un(e) Data Engineer / Développeur Fullstack Python Junior souhaitant évoluer sur des sujets mêlant Data Engineering, IA Générative et développement logiciel. Vous intégrerez une équipe à taille humaine intervenant sur des projets déjà en production autour du traitement documentaire, du Machine Learning et de l'IA générative. Vous participerez notamment à : Développer des applications et pipelines de traitement de données en Python. Concevoir et maintenir des traitements distribués autour des technologies Big Data. Participer au développement d'outils intégrant des modèles d'IA générative. Contribuer à l'amélioration continue des chaînes CI/CD ainsi qu'à l'automatisation des tests. Développer des interfaces et outils facilitant l'exploitation des solutions IA. Collaborer étroitement avec les équipes Data Engineering, Data Science et les métiers afin de transformer rapidement les besoins en solutions opérationnelles. Participer à la mise en production et à l'industrialisation des développements.

Contexte de la mission Dans le cadre d'un programme de transformation digitale d'envergure, vous rejoindrez une équipe agile dédiée au développement d'une plateforme de données temps réel. Cette plateforme permet de centraliser, traiter et valoriser des données clients afin de proposer de nouveaux services digitaux et d'accompagner la modernisation du système d'information. Vous évoluerez au sein d'un environnement collaboratif, orienté qualité de code, amélioration continue et excellence technique. Vos missions Développer et mettre en œuvre de nouvelles fonctionnalités à partir des besoins métiers priorisés Concevoir des solutions techniques robustes et évolutives. Participer aux choix d'architecture et aux orientations techniques de l'équipe. Concevoir et développer des API. Automatiser les tests et promouvoir les bonnes pratiques de développement. Garantir la qualité, la performance et la maintenabilité des applications. Assurer le bon fonctionnement des solutions en production. Accompagner les membres de l'équipe dans une démarche d'amélioration continue. Environnement technique Langages & Frameworks Java Scala Apache Spark (Streaming & Batch) Apache Kafka Data & Big Data Hadoop / Cloudera HDFS Hive HBase Phoenix API & Intégration Développement d'API DevOps & Qualité GitLab CI/CD Jenkins Artifactory SonarQube ELK Grafana XRAY JUnit Automatisation des tests / Craftsmanship Méthodologie Agile Scrum

Nous recherchons pour le compte de notre client Grand-compte en finance un Data Engineer confirmé. Missions : • Travailler au sein de notre équipe d'ingénierie des données pour identifier et mettre en œuvre les solutions de données (cloud) les plus optimales pour nos clients et/ou nos projets internes • Gérer les environnements et être responsable de la fourniture d'un support et d'un service proactifs et de haute qualité • Si nécessaire : résoudre les incidents, identifier leur cause première, corriger et documenter les problèmes, et mettre en œuvre des mesures préventives Vous accompagnez les membres de l'équipe moins expérimentés dans leur développement, en les aidant à relever les défis en leur présentant les meilleures pratiques et en leur montrant comment mettre en œuvre et exploiter une solution de manière efficace • Vous formez les équipes à la mise en œuvre de nouvelles initiatives, en dispensant les formations associées selon les besoins Votre profil : • Un état d'esprit « Agile » ; vous êtes un fervent défenseur de la méthodologie DevOps et avez déjà travaillé avec la chaîne d'outils DevOps. Cela inclut l'infrastructure en tant que code, la gestion des artefacts, la gestion des vulnérabilités, la gestion de Git et le pipeline CI/CD ; • Passionné(e) de technologie et d'open source, vous aimez explorer et découvrir en permanence de nouvelles solutions cloud natives ; • Autonome tout en ayant l'esprit d'équipe, vous vous épanouissez dans un rôle exigeant où un haut niveau de compétence est nécessaire • Bonnes compétences en communication et capacité à interagir efficacement avec les clients • Capacité avérée à collaborer avec des équipes pluridisciplinaires composées d'analystes métier, de développeurs, d'analystes de données et d'experts fonctionnels • Passionné(e) par l'excellence dans le travail et soucieux(se) du détail • Maîtrise de l'anglais (à l'oral et à l'écrit) et du français • Capacité à anticiper et résoudre les problèmes avant qu'ils n'affectent la productivité de nos clients • Souhaitable : expérience dans la mise en œuvre et l'exploitation d'applications basées sur des conteneurs (Docker) ;

Missions principales: Assurer le maintien en conditions opérationnelles (RUN/MCO) de la plateforme Big Data. Prendre en charge le support N3 et la résolution d'incidents complexes. Administrer et optimiser les environnements Cloudera CDH/CDP. Piloter et superviser les composants Hadoop (HDFS, YARN) et Spark. Gérer les sujets de sécurité (Kerberos, Ranger). Contribuer à l'automatisation et à l'industrialisation des opérations (Jenkins, CI/CD). Apporter un leadership technique auprès des équipes. Participer aux projets d'évolution vers Azure et Databricks. Compétences requises: Indispensables : Cloudera Manager Hadoop (HDFS, YARN) Spark RUN / MCO de plateformes critiques Support N3 et gestion d'incidents Kerberos / Ranger Jenkins et outils CI/CD Linux Appréciées : Azure Databricks Scripting Shell ou Python Environnements Cloud hybrides

Les missions seront les suivantes : - Etudier et analyser les besoins métiers et techniques en relation avec le business analyst et chef de projet - Réaliser les développements et les tests unitaires et contribuer à la réalisation des phases de recettes. - Rédiger la documentation technique - Participer aux cérémonies agiles et aux mises en production autour des outils et principes DevOps (XLR, XLD). Maitrise : angular et python Maitrise : Fast API/API Rest - java connaissance sur les outils de dévops : Git, xdeploy, xrelease et Openshift seraient un plus : connaissances en NoSql, Hadoop, base Solr Très important : Une personne débrouillarde qui aime chercher, demander, qui sait alerter ...

Analyser les besoins métiers et techniques avec les équipes projet. Développer et maintenir des applications Front-End et Back-End. Concevoir et développer des API REST. Réaliser les tests unitaires et participer aux recettes. Rédiger la documentation technique. Participer aux cérémonies Agile et aux mises en production. Assurer la maintenance corrective et évolutive des applications. Compétences requises Obligatoires: Angular Python FastAPI / API REST Java Git OpenShift XL Deploy (XLD) / XL Release (XLR) Appréciées: NoSQL Hadoop Solr