Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Au sein de la DSI de notre client, vous serez en charge du développement et de la maintenance des applications stratégiques du Groupe. Dans le cadre du projet DatOps, nous recherchons un Data Engineer GCP pour renforcer les équipes Data. En collaboration avec les équipes de production applicative et DevOps, vous participerez à la mise en œuvre des évolutions demandées par les métiers, au développement des pipelines de données et à l'évolution de la plateforme Data. Vous évoluerez dans un environnement Cloud moderne, Agile et international, avec des échanges réguliers avec les équipes basées à Porto.

Dans le cadre du renforcement d'une équipe dédiée à l'innovation et à l'industrialisation de solutions d'Intelligence Artificielle, nous recherchons un(e) Data Engineer / Développeur Fullstack Python Junior souhaitant évoluer sur des sujets mêlant Data Engineering, IA Générative et développement logiciel. Vous intégrerez une équipe à taille humaine intervenant sur des projets déjà en production autour du traitement documentaire, du Machine Learning et de l'IA générative. Vous participerez notamment à : Développer des applications et pipelines de traitement de données en Python. Concevoir et maintenir des traitements distribués autour des technologies Big Data. Participer au développement d'outils intégrant des modèles d'IA générative. Contribuer à l'amélioration continue des chaînes CI/CD ainsi qu'à l'automatisation des tests. Développer des interfaces et outils facilitant l'exploitation des solutions IA. Collaborer étroitement avec les équipes Data Engineering, Data Science et les métiers afin de transformer rapidement les besoins en solutions opérationnelles. Participer à la mise en production et à l'industrialisation des développements.

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Notre client dans le secteur Banque et finance recherche un/une Administrateur Big Data Azure - Java H/F Description de la mission : Fiche de poste – Administrateur Big Data Azure - Java Contexte et objectif de la mission Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks. Niveau recherché Profil middle à senior. Missions principales • Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD • Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure • Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies • Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées • Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique • Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus • Participation à l'élaboration et au suivi du planning global de production • Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs • Participation aux task forces pour résoudre des problématiques techniques complexes • Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres • Accompagnement des clients dans leur transition du on-premise vers le cloud public • Collaboration étroite avec les éditeurs et les équipes internes • Réalisation des astreintes techniques selon le planning défini Profil recherché Compétences techniques : • Développement : Java, Spring, Temporal, Liquibase, Powershell • Containerisation d'applications Java, déploiement sur AKS, création d'images Docker • Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot • Big Data : Spark, Hive Metastore, Hadoop • CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor • Linux, Bash, protocoles de sécurité OAuth et SSL • Monitoring : ElasticSearch, Kibana (niveau utilisateur) • Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données Compétences relationnelles : • Esprit d'analyse et de synthèse, autonomie et sens des responsabilités • Capacité à travailler en équipe et à communiquer efficacement • Orientation client et qualité de service Compétences / Qualités indispensables : Java / Spring, Azure Kubernetes Service (AKS), Spark / Big Data, CI/CD & GitOps, Sécurité cloud (OAuth, SSL, Azure Policies), Snowflake / Databricks Compétences / Qualités qui seraient un + : Hadoop (optionnel)Informations concernant le télétravail : Oui — 1 jour/semaine

Contexte : La mission s'inscrit dans le cadre du projet DatOps. Le Data Engineer interviendra en lien étroit avec les équipes de production applicative / DevOps afin de mettre en œuvre techniquement les demandes métiers et de faire évoluer la plateforme Data. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les opérations de Data Preparation et transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme. Formaliser et transmettre à l'équipe DevOps les demandes d'évolution. Contribuer au maintien et à l'amélioration des solutions Data existantes. Rédiger des spécifications techniques claires et précises. Compétences indispensables Très bonne maîtrise attendue de : GCP – Google Cloud Platform BigQuery Cloud Storage SQL Python orienté objet Pandas et/ou Dask Bash scripting Git Une expérience en environnement Agile / Scrum est également attendue. Anglais professionnel indispensable à l'écrit et à l'oral Compétences appréciées / différenciantes Les technologies suivantes constituent des atouts supplémentaires : Cloud Functions – SAS – Alteryx – XLD/XLR – Control-M – Hadoop – Spark.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

RésuméNous sommes en recherche d'un profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) pour intervenir sur des sujets en lien avec le périmètre marketing. Le prestataire interviendra au sein d'une équipe Big Data d'une quinzaine de personnes travaillant en mode projet agile. ResponsabilitésIl contribuera au Run quotidien et à l'évolutivité des applications métiers tels que : la segmentation client marketing le calcul d'indicateurs de téléphonie le datamart marketing et bien d'autres. Must HavesMaîtrise d'Apache Airflow. Maîtrise d'Apache Kafka. Expérience significative avec Hadoop. Solides compétences en SQL et optimisation des requêtes. Capacité à travailler avec des bases relationnelles et NoSQL. Connaissances en CI/CD et DevOps. Compétences en Scala. Expérience en utilisant Spark. Nice to HaveDes compétences sur le cloud Azure et la conception de Webservices REST seraient appréciées. De manière générale il doit pouvoir documenter ses travaux, présenter ses réalisations en adaptant son discours et interagir avec l'ensemble des acteurs projets, ceux de l'équipe, des autres équipes IT et métiers. Autres DétailsMissions longue (maximum 3 ans) Localisation : Hauts-de-Seine (92)

Big Data Scientist - Expert – Manchester Our Client an international organisation is looking to recruit a Big Data Expert with 7 to 10 years expertise as a Big Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes An MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline would be handy. The position is based close to Manchester. The salary for this Big Data Scientist position will be circa £75K - £85K plus benefits. Please send your CV to us in Word format along with salary and availability details.

Big Data Scientist – Docklands London Our Client an international organisation is looking to recruit a Big Data Expert with 2 to 5 years expertise as a Big Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes An MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline would be handy. The position is based in the Docklands London. This is a 3 to 6 month contract assignment. Please send your CV to us in Word format along with daily rate and availability details.

Data Scientist – Manchester Our Client an international organisation is looking to recruit a Data Scientist with 7 to 10 years expertise as a Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline The position is based close to Manchester. The salary for this position will be circa £75K - £85K plus benefits. Please send your CV to us in Word format along with salary and availability details.