Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive

La mission s'inscrit dans les évolutions du datalake CIO Office, en lien avec les équipes de production applicative et DevOps. Le consultant intervient sur le développement et le traitement des données ainsi que sur l'évolution de la plateforme Hadoop. L'enjeu principal est de mettre en œuvre de nouvelles ingestions et transformations tout en maintenant les pipelines de données. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser les opérations de data prep et de transformation des données - Maintenir les outils de gestion des pipelines de données - Faire évoluer les pipelines de données avec PySpark et le shell scripting - Adresser les demandes d'évolution de la plateforme à l'équipe DevOps - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile Scrum - Collaborer avec les équipes de production applicative et DevOps - Explorer de nouvelles solutions et technologies - Analyser et résoudre des problèmes complexes liés au traitement des données Profil attendu : Le profil recherché dispose de 0 à 6 ans d'expérience et d'une excellente maîtrise de Hadoop, Python/PySpark et Hive. Une bonne connaissance de SQL, Git, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit comme à l'oral ainsi qu'une expérience des environnements agiles Scrum sont attendues.

Data Scientist – Manchester Our Client an international organisation is looking to recruit a Data Scientist with 7 to 10 years expertise as a Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline The position is based close to Manchester. The salary for this position will be circa £75K - £85K plus benefits. Please send your CV to us in Word format along with salary and availability details.

En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake · Développer les traitements de préparation et de transformation des données · Développer les traitements associés en Python, PySpark et Hive Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les traitements en PySpark et les scripts Shell associés · Analyser et résoudre les problématiques techniques sur le périmètre Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre

🚀 Nous recrutons | Développeur C# / SQL – Optimisation des performances 🏦 Secteur Banque – Finance de marché 🔄 Mode hybride ⏳ Mission longue durée Pour le compte d'un grand groupe bancaire, nous recherchons un(e) Développeur(se) C# / SQL confirmé(e) pour intervenir sur une application critique manipulant d'importants volumes de données financières. L'objectif principal de la mission sera d'analyser et d'optimiser les traitements afin de réduire significativement les temps d'exécution des batchs. 🎯 Vos missions • Analyser et optimiser des traitements batch en C# et SQL Oracle • Revoir les algorithmes et requêtes afin d'améliorer leurs performances • Identifier les points de ralentissement et proposer des solutions durables • Concevoir et développer les évolutions techniques • Rédiger les éléments techniques des user stories • Automatiser et réaliser les tests, notamment les tests d'intégration • Participer au support, à la maintenance et à la documentation de l'application • Collaborer avec les équipes métier, risques et IT 🛠️ Environnement technique C# • SQL • Oracle • Control-M Des connaissances sur les technologies suivantes constituent un plus : Hadoop • Spark • Scala • Python • Hive • Kafka • Angular • NestJS 👤 Profil recherché • Entre 6 et 9 ans d'expérience en développement • Solide expertise en C# et SQL Oracle • Expérience indispensable en optimisation des performances et traitement de volumes importants • Bonne compréhension des traitements batch • Autonomie, capacité d'analyse et force de proposition • Une connaissance de la finance de marché, des instruments financiers, des sensibilités ou de la XVA serait appréciée

Contexte de la mission Le consultant travaillera en étroite collaboration avec les équipes de production applicative et DevOps afin de mettre en œuvre les évolutions techniques de la plateforme. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les traitements de Data Preparation / transformation. Développer, maintenir et faire évoluer les pipelines de données en PySpark. Réaliser du Shell Scripting sous Unix/Linux. Collaborer avec l'équipe DevOps pour les demandes d'évolution de la plateforme. Participer au maintien en conditions opérationnelles et à l'évolution des traitements Data. Rédiger les spécifications techniques et documenter les solutions mises en œuvre. Compétences indispensables Très bonne maîtrise attendue : Hadoop Python / PySpark Hive SQL Shell Scripting Unix/Linux Environnement/outils : Git Jenkins Jira Méthodologie Agile / Scrum Anglais professionnel indispensable, à l'écrit comme à l'oral, Compétences appréciées / différenciantes Une expérience sur les technologies suivantes constituera un plus : Indexima – Alteryx – Altair – GCP – BigQuery – bibliothèques Python orientées API.

Big Data Scientist - Expert – Manchester Our Client an international organisation is looking to recruit a Big Data Expert with 7 to 10 years expertise as a Big Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes An MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline would be handy. The position is based close to Manchester. The salary for this Big Data Scientist position will be circa £75K - £85K plus benefits. Please send your CV to us in Word format along with salary and availability details.

Big Data Scientist – Docklands London Our Client an international organisation is looking to recruit a Big Data Expert with 2 to 5 years expertise as a Big Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes An MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline would be handy. The position is based in the Docklands London. This is a 3 to 6 month contract assignment. Please send your CV to us in Word format along with daily rate and availability details.

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Vos attentes * Rejoindre une entreprise à impact pour créer un meilleur demain en prenant soin de l'économie, de l'humain et de la planète ? * Entrer dans une société française qui maitrise son destin * Intégrer une équipe à taille humaine ? * Vous aimez l'autonomie, la création, la prise d'initiative, l'esprit d'équipe ? Mission Dans le cadre du renforcement de son équipe OPS Data / IA, notre client recherche un Expert Technique OPS / SRE spécialisé en infrastructure, production et environnements Data & IA. Vous interviendrez au sein d'un environnement technique riche et à forts enjeux, avec pour objectif de garantir l'intégration, l'exploitabilité, la disponibilité et la pérennité des solutions Data et IA au sein du SI. Nous recherchons avant tout un profil orienté infrastructure et production, disposant d'une solide expertise Linux/Unix et d'une expérience significative des environnements Big Data. ## ? Vos missions Vous serez notamment amené à : * Garantir l'intégration et l'exploitabilité des solutions Data & IA dans le SI. * Apporter votre expertise technique aux projets Data/IA. * Participer au choix et à la mise en œuvre des solutions techniques. * Veiller au respect des contraintes d'architecture, de sécurité et d'exploitation. * Assurer le maintien en conditions opérationnelles et la pérennité des plateformes. * Faire évoluer les solutions afin de maintenir leur niveau de performance et de sécurité. * Mettre en place et garantir les moyens de mesure et de suivi de la qualité de service. * Assurer le support et l'expertise N2 auprès des équipes de production. * Contribuer aux démarches Agile et DevOps. ## ?️ Environnement technique ### Systèmes & Production * Linux / Unix – indispensable * Administration N2 en environnement de production * Expérience significative en exploitation et production ### Big Data / Data Platform * Cloudera / Cloudera CDP * Hadoop * Kafka * Talend * Solr * HBase * Hive * Spark * Kudu * Impala * Starburst Une expérience dans l'installation et l'administration autonome de clusters Cloudera, Kafka et/ou Talend est particulièrement recherchée. ### Cloud & Data * Azure * Azure Databricks * Azure Data Factory * Azure Monitor * Azure Backup * Azure Log Analytics ### Infrastructure as Code * Terraform ### Sécurité & Authentification * Kerberos * Vault * Apache Knox * IDM * Active Directory ### Bases de données * PostgreSQL * MariaDB * MongoDB * Exacc Bonus : * ELK / Kibana

Pour un client basé en région parisienne, je suis à la recherche d'un SOC Manager expérimenté (min 5 ans d'expérience). Rédaction de documents stratégiques et opérationnels, Préparation de l'équipe SOC, Amélioration des règles de détection du SIEM, Rédaction de playbooks de réaction. La connaissance des solutions Logpoint et The Hive est nécessaire. Cette mission est une mission d'expertise, avec une visibilité sur 2 mois. La mission peut démarrer rapidement et un entretien avec le client pourra avoir lieu cette semaine.

Notre client dans le secteur Banque et finance recherche un/une Administrateur Big Data Azure - Java H/F Description de la mission : Fiche de poste – Administrateur Big Data Azure - Java Contexte et objectif de la mission Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks. Niveau recherché Profil middle à senior. Missions principales • Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD • Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure • Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies • Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées • Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique • Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus • Participation à l'élaboration et au suivi du planning global de production • Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs • Participation aux task forces pour résoudre des problématiques techniques complexes • Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres • Accompagnement des clients dans leur transition du on-premise vers le cloud public • Collaboration étroite avec les éditeurs et les équipes internes • Réalisation des astreintes techniques selon le planning défini Profil recherché Compétences techniques : • Développement : Java, Spring, Temporal, Liquibase, Powershell • Containerisation d'applications Java, déploiement sur AKS, création d'images Docker • Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot • Big Data : Spark, Hive Metastore, Hadoop • CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor • Linux, Bash, protocoles de sécurité OAuth et SSL • Monitoring : ElasticSearch, Kibana (niveau utilisateur) • Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données Compétences relationnelles : • Esprit d'analyse et de synthèse, autonomie et sens des responsabilités • Capacité à travailler en équipe et à communiquer efficacement • Orientation client et qualité de service Compétences / Qualités indispensables : Java / Spring, Azure Kubernetes Service (AKS), Spark / Big Data, CI/CD & GitOps, Sécurité cloud (OAuth, SSL, Azure Policies), Snowflake / Databricks Compétences / Qualités qui seraient un + : Hadoop (optionnel)Informations concernant le télétravail : Oui — 1 jour/semaine