Find your next tech and IT Job or contract Hadoop

Big Data Scientist – Docklands London Our Client an international organisation is looking to recruit a Big Data Expert with 2 to 5 years expertise as a Big Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes An MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline would be handy. The position is based in the Docklands London. This is a 3 to 6 month contract assignment. Please send your CV to us in Word format along with daily rate and availability details.

Data Scientist – Manchester Our Client an international organisation is looking to recruit a Data Scientist with 7 to 10 years expertise as a Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline The position is based close to Manchester. The salary for this position will be circa £75K - £85K plus benefits. Please send your CV to us in Word format along with salary and availability details.

Senior Data Scientist PhD – Canary Wharf We urgently require a Senior Data Scientist with at least 5 to 10 years proven track record as Data Scientist. Must have a PhD ideally in Maths or Physics and an excellent understanding of data analytics. The Client would also like to see experience of managing and leading a team of Data Scientists. Should have experience of SCALA/SPARK and Hadoop. Initially this is a 3 month contract assignment in Canary Wharf – with likelihood that it will go on beyond that point. Location is Canary Wharf London. Please send your CV to us in Word format along with daily rate.

Dans le cadre du renforcement de l'équipe, intervention sur des sujets d'ingénierie des données (Big Data) et DataOps en lien avec le socle transverse on premise et cloud. La mission intervient sur le Run quotidien et sur des sujets techniques et fonctionnels liés à l'obsolescence technique et applicative, à la scalabilité du socle de données et au déploiement de services Azure. L'environnement comprend également Databricks, des bases relationnelles et NoSQL, ainsi que CI/CD et DevOps / DataOps Missions : - Contribuer au Run quotidien du socle de données - Intervenir sur les sujets d'obsolescence technique et applicative - Intervenir sur la scalabilité du socle de données - Déployer des services Azure - Intervenir sur des sujets d'ingénierie des données Big Data - Intervenir sur des sujets DataOps - Exploiter Airflow et Kafka dans le cadre des activités du socle de données - Intervenir sur Hadoop et Databricks - Exploiter les bases relationnelles et NoSQL - Utiliser CI/CD et DevOps / DataOps Profil attendu : Profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) et DataOps. Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks. Le profil

Je suis à la recherche d'un Directeur de programmes IT/Data complexes. Le client poursuit la centralisation et la modernisation du SI-RC. Le programme Plateformes Data & IA coordonne huit chantiers : BLEU/Microsoft Fabric, migration Teradata avant fin 2028, devenir Hadoop/Cloudera avant fin de support en juin 2027, trajectoire SAS, accès transitoire aux socles existants, plateforme Data On Premise souveraine, plateforme de services Data/IA et convergence ou migration du Cloud vers l'On Premise. Les patrimoines actuels comprennent notamment environ 52 To compressés sur Teradata et un Data Lake Hadoop/Cloudera d'environ 47 To. Les missions principales sont les suivantes : • Initialiser le programme : diagnostic du portefeuille, découpage, responsabilités, priorités, arbitrages et feuille de route pluriannuelle. • Piloter coûts, qualité, délais, risques, ressources, valeur, plannings, budgets, charges et dépendances interprojets. • Préparer les décisions et sécuriser les échéances Teradata (fin 2028), SAS (avril 2028) et Cloudera (juin 2027). • Appuyer les directeurs de projets internes sans se substituer à leurs responsabilités. • Éclairer les scénarios Cloud BLEU/Fabric, On Premise souverain, hybridation, convergence et réversibilité. • Garantir sécurité, conformité, souveraineté, indépendance numérique, standards ouverts et portabilité. • Tenir la cartographie consolidée des risques, organiser les revues de jalons et sécuriser le chemin critique. • Proposer et animer la comitologie stratégique, programme, opérationnelle et technique. Environnement technique : Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, RAISE, GitHub Copilot, Microsoft 365 Copilot, ETL/ELT, Data Lake, Data Warehouse, Data Marts, API, événements, MLOps, agents, assistants IA, RPA, architectures Cloud / On Premise / hybrides, gouvernance et catalogue de données. Direction de programmes IT/Data complexes, multi-projets et multi-acteurs, avec budgets et échéances contraints Pilotage d'équipes importantes : ressources internes, éditeurs, intégrateurs, ESN et experts Architectures Data modernes Cloud, On Premise et hybrides Mise en œuvre de plateformes Data industrielles, gouvernées, sécurisées et exploitables Migration de plateformes décisionnelles/analytiques, données historiques, ETL/ELT, BI et data science Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, gouvernance et catalogue Plateformes de services, API, événements, agents, assistants IA, MLOps et RPA Souveraineté, indépendance numérique, open source, portabilité, réversibilité, sécurité et RGPD

Dans le cadre du renforcement d'une équipe Big Data, chez l'un de nos clients grands comptes, nous recherchons un DataOps Engineer confirmé pour intervenir principalement sur des activités de Run, fiabilisation et évolution d'une plateforme Data. Vous intégrerez une équipe fonctionnant en mode Agile et serez garant du bon fonctionnement, de la disponibilité et de l'évolution du socle technique Data. Vous aurez pour missions : Le Run quotidien et le maintien en conditions opérationnelles de la plateforme Data. L'analyse et la résolution des incidents techniques. La gestion de l'obsolescence technique et applicative. L'amélioration de la performance, de la disponibilité et de la scalabilité du socle de données. Le déploiement et l'exploitation de services dans un environnement Cloud Azure. L'automatisation et l'industrialisation des déploiements via Terraform et CI/CD. La supervision et la fiabilisation des traitements et flux de données. L'exploitation et l'évolution de composants Spark, Databricks, Airflow, Kafka et Hadoop. La coordination avec les équipes projets, IT et métiers. Environnement technique Azure – Databricks – Spark – Python – Scala – SQL – Airflow – Kafka – Hadoop – Terraform – Bases relationnelles et NoSQL – CI/CD – DevOps / DataOps

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Data Scientist and Python Software Developer - London We're looking to recruit a Data Scientist and Python Software Developer with data science skills to join a product team that is focused on building well engineered products. The products provide an intuitive way for retailers and suppliers to interact and consume 'big data' analytics to make better business decisions. This role would consist of working together with a team of statistical analysts, understanding their methodologies and algorithms, and turning them into production ready code written in Python. This role would also require occasional travel to Paris or Munich. Main skills: Excellent knowledge of Python and it's related data science libraries (scikit, pandas, etc) Prior experience of using Python to perform calculations and generate datasets Good statistical knowledge Excellent communication and decision making skills Exposure to working with REST API's Any of the following skills would be an added bonus: Has run code across Hadoop/MapReduce clusters Has code running in a production environment Used SAS before (or at least can decipher SAS code) Worked with very large data sets before (billions of records) Knowledge of SQL/NoSQL database Knowledge or experience in D3.js Experience acting as a mentor/trainer in Python This is 6 month assignment in London with travel to Paris and Munich. Please send your CV to us in Word format along with daily rate and availability.

Junior Software Developer with C# C++ Java or Delphi Our Client is a boutique software consultancy providing analytical tools and processing software to the retail banking industry. Their tools are used by high street banks and major credit companies to evaluate credit risk of their applicants. They have a large library of Delphi software code incorporating SQL, XML, XSL and data modelling in their analysis application. The Client is embarking on new developments to take their products onto new platforms and into new customer bases. Currently exploring options including RAD Studio, Visual Studio, Delphi, C#, C++, Client/Server, n-tier, Hadoop and SaaS. They require candidate with a strong computing background. You will be coding in Delphi and other languages. Any similar Object Oriented language (e.g. C++) will be a suitable starting point for training. The role will be interesting and varied, becoming involved throughout the project lifecycle. This hands-on role will suit an outgoing individual with good communication skills and a desire to improve and develop already effective technical skills. Must have a sound background knowledge of Object Oriented techniques coupled with experience in Delphi \ C++ \ Java. Any experience of SQL Server, n-tier / client-server, Microsoft Visual Source Safe (VSS), XML / XSL, Mathematical / statistical knowledge would be very useful Salary for this role will be dependent on experience but in the range £22K - £30K. Please send your CV to us in Word format.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Les modalités Lieu : Lyon Télétravail : 50% Démarrage : 01/01/2027 Les missions attendues par le Data Engineer Python Spark (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un Data Scientist / Développeur Big Data Senior pour rejoindre une équipe dédiée aux études et produits data innovants, notamment sur la maintenance prédictive et la mobilité électrique. Vous interviendrez en priorité sur des thématiques métiers complexes et sur la création d'un pipeline de mise à disposition de projets cartographiques à destination des équipes opérationnelles. La mission couvre l'intégralité de la chaîne de valeur, depuis l'analyse exploratoire et l'étude jusqu'à la mise en production des traitements de data science. Vos missions Animer des ateliers avec les experts métiers pour collecter, préciser et cadrer les besoins. Réaliser la recherche de données adéquates et mener des analyses exploratoires approfondies. Concevoir et développer des traitements de données et réaliser des études statistiques. Développer des modèles de Machine Learning selon les cas d'usage. Industrialiser les codes d'expérimentation en Python ou PySpark pour leur mise en production. Présenter les résultats et les synthétiser via des rapports d'étude ou des tableaux de bord interactifs. Assurer une veille technologique sur les outils de data science et partager les bonnes pratiques au sein de l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, GitLab, GitLab-CI/CD, PowerBI, Jira, Confluence.

Notre client dans le secteur Banque et finance recherche un/une Administrateur Big Data Azure - Java H/F Description de la mission : Fiche de poste – Administrateur Big Data Azure - Java Contexte et objectif de la mission Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks. Niveau recherché Profil middle à senior. Missions principales • Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD • Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure • Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies • Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées • Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique • Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus • Participation à l'élaboration et au suivi du planning global de production • Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs • Participation aux task forces pour résoudre des problématiques techniques complexes • Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres • Accompagnement des clients dans leur transition du on-premise vers le cloud public • Collaboration étroite avec les éditeurs et les équipes internes • Réalisation des astreintes techniques selon le planning défini Profil recherché Compétences techniques : • Développement : Java, Spring, Temporal, Liquibase, Powershell • Containerisation d'applications Java, déploiement sur AKS, création d'images Docker • Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot • Big Data : Spark, Hive Metastore, Hadoop • CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor • Linux, Bash, protocoles de sécurité OAuth et SSL • Monitoring : ElasticSearch, Kibana (niveau utilisateur) • Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données Compétences relationnelles : • Esprit d'analyse et de synthèse, autonomie et sens des responsabilités • Capacité à travailler en équipe et à communiquer efficacement • Orientation client et qualité de service Compétences / Qualités indispensables : Java / Spring, Azure Kubernetes Service (AKS), Spark / Big Data, CI/CD & GitOps, Sécurité cloud (OAuth, SSL, Azure Policies), Snowflake / Databricks Compétences / Qualités qui seraient un + : Hadoop (optionnel)Informations concernant le télétravail : Oui — 1 jour/semaine