Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Je suis à la recherche d'un Directeur de programmes IT/Data complexes. Le client poursuit la centralisation et la modernisation du SI-RC. Le programme Plateformes Data & IA coordonne huit chantiers : BLEU/Microsoft Fabric, migration Teradata avant fin 2028, devenir Hadoop/Cloudera avant fin de support en juin 2027, trajectoire SAS, accès transitoire aux socles existants, plateforme Data On Premise souveraine, plateforme de services Data/IA et convergence ou migration du Cloud vers l'On Premise. Les patrimoines actuels comprennent notamment environ 52 To compressés sur Teradata et un Data Lake Hadoop/Cloudera d'environ 47 To. Les missions principales sont les suivantes : • Initialiser le programme : diagnostic du portefeuille, découpage, responsabilités, priorités, arbitrages et feuille de route pluriannuelle. • Piloter coûts, qualité, délais, risques, ressources, valeur, plannings, budgets, charges et dépendances interprojets. • Préparer les décisions et sécuriser les échéances Teradata (fin 2028), SAS (avril 2028) et Cloudera (juin 2027). • Appuyer les directeurs de projets internes sans se substituer à leurs responsabilités. • Éclairer les scénarios Cloud BLEU/Fabric, On Premise souverain, hybridation, convergence et réversibilité. • Garantir sécurité, conformité, souveraineté, indépendance numérique, standards ouverts et portabilité. • Tenir la cartographie consolidée des risques, organiser les revues de jalons et sécuriser le chemin critique. • Proposer et animer la comitologie stratégique, programme, opérationnelle et technique. Environnement technique : Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, RAISE, GitHub Copilot, Microsoft 365 Copilot, ETL/ELT, Data Lake, Data Warehouse, Data Marts, API, événements, MLOps, agents, assistants IA, RPA, architectures Cloud / On Premise / hybrides, gouvernance et catalogue de données. Direction de programmes IT/Data complexes, multi-projets et multi-acteurs, avec budgets et échéances contraints Pilotage d'équipes importantes : ressources internes, éditeurs, intégrateurs, ESN et experts Architectures Data modernes Cloud, On Premise et hybrides Mise en œuvre de plateformes Data industrielles, gouvernées, sécurisées et exploitables Migration de plateformes décisionnelles/analytiques, données historiques, ETL/ELT, BI et data science Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, gouvernance et catalogue Plateformes de services, API, événements, agents, assistants IA, MLOps et RPA Souveraineté, indépendance numérique, open source, portabilité, réversibilité, sécurité et RGPD

Au sein de la DSI de notre client, vous serez en charge du développement et de la maintenance des applications stratégiques du Groupe. Dans le cadre du projet DatOps, nous recherchons un Data Engineer GCP pour renforcer les équipes Data. En collaboration avec les équipes de production applicative et DevOps, vous participerez à la mise en œuvre des évolutions demandées par les métiers, au développement des pipelines de données et à l'évolution de la plateforme Data. Vous évoluerez dans un environnement Cloud moderne, Agile et international, avec des échanges réguliers avec les équipes basées à Porto.

Dans le cadre du renforcement d'une équipe Big Data, chez l'un de nos clients grands comptes, nous recherchons un DataOps Engineer confirmé pour intervenir principalement sur des activités de Run, fiabilisation et évolution d'une plateforme Data. Vous intégrerez une équipe fonctionnant en mode Agile et serez garant du bon fonctionnement, de la disponibilité et de l'évolution du socle technique Data. Vous aurez pour missions : Le Run quotidien et le maintien en conditions opérationnelles de la plateforme Data. L'analyse et la résolution des incidents techniques. La gestion de l'obsolescence technique et applicative. L'amélioration de la performance, de la disponibilité et de la scalabilité du socle de données. Le déploiement et l'exploitation de services dans un environnement Cloud Azure. L'automatisation et l'industrialisation des déploiements via Terraform et CI/CD. La supervision et la fiabilisation des traitements et flux de données. L'exploitation et l'évolution de composants Spark, Databricks, Airflow, Kafka et Hadoop. La coordination avec les équipes projets, IT et métiers. Environnement technique Azure – Databricks – Spark – Python – Scala – SQL – Airflow – Kafka – Hadoop – Terraform – Bases relationnelles et NoSQL – CI/CD – DevOps / DataOps

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Dans le cadre du renforcement d'une équipe dédiée à l'innovation et à l'industrialisation de solutions d'Intelligence Artificielle, nous recherchons un(e) Data Engineer / Développeur Fullstack Python Junior souhaitant évoluer sur des sujets mêlant Data Engineering, IA Générative et développement logiciel. Vous intégrerez une équipe à taille humaine intervenant sur des projets déjà en production autour du traitement documentaire, du Machine Learning et de l'IA générative. Vous participerez notamment à : Développer des applications et pipelines de traitement de données en Python. Concevoir et maintenir des traitements distribués autour des technologies Big Data. Participer au développement d'outils intégrant des modèles d'IA générative. Contribuer à l'amélioration continue des chaînes CI/CD ainsi qu'à l'automatisation des tests. Développer des interfaces et outils facilitant l'exploitation des solutions IA. Collaborer étroitement avec les équipes Data Engineering, Data Science et les métiers afin de transformer rapidement les besoins en solutions opérationnelles. Participer à la mise en production et à l'industrialisation des développements.

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Mission : -Architecture & Développement : Concevoir et développer les pipelines d'ingestion/traitement, les briques de normalisation et les API d'exposition des données. -Core Framework : Faire évoluer le framework commun (CI/CD, monitoring, tests automatisés, résilience, performance, qualité de code). -Leadership technique : Piloter des chantiers de dev, challenger les besoins métiers, faire respecter les standards d'architecture et coacher l'équipe. Stack & Compétences requises : -Software Engineering : Excellente maîtrise de Python (POO, modularisation, clean code), Git & Git Flow. -Big Data & Performance : Spark, Glue, Parquet, S3, HDFS, SQL avancé. Expertise en optimisation (partitionnement, bucketing, cache, tuning Spark/SQL). -Cloud AWS : S3, Lambda, Glue, IAM, EventBridge, CloudWatch. -DevOps & IaC : Pratiques CI/CD robustes et Infrastructure as Code. (Important : Vous devez maîtriser au moins 2 à 3 des domaines techniques clés ci-dessus). -Lieu : Hauts-de-Seine (92) / Île-de-France. -Déplacements : Ponctuels à prévoir en France (Lyon) et en Belgique (Bruxelles). -Spécificité : Astreintes possibles.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Notre client dans le secteur Banque et finance recherche un/une Administrateur Big Data Azure - Java H/F Description de la mission : Fiche de poste – Administrateur Big Data Azure - Java Contexte et objectif de la mission Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks. Niveau recherché Profil middle à senior. Missions principales • Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD • Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure • Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies • Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées • Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique • Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus • Participation à l'élaboration et au suivi du planning global de production • Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs • Participation aux task forces pour résoudre des problématiques techniques complexes • Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres • Accompagnement des clients dans leur transition du on-premise vers le cloud public • Collaboration étroite avec les éditeurs et les équipes internes • Réalisation des astreintes techniques selon le planning défini Profil recherché Compétences techniques : • Développement : Java, Spring, Temporal, Liquibase, Powershell • Containerisation d'applications Java, déploiement sur AKS, création d'images Docker • Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot • Big Data : Spark, Hive Metastore, Hadoop • CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor • Linux, Bash, protocoles de sécurité OAuth et SSL • Monitoring : ElasticSearch, Kibana (niveau utilisateur) • Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données Compétences relationnelles : • Esprit d'analyse et de synthèse, autonomie et sens des responsabilités • Capacité à travailler en équipe et à communiquer efficacement • Orientation client et qualité de service Compétences / Qualités indispensables : Java / Spring, Azure Kubernetes Service (AKS), Spark / Big Data, CI/CD & GitOps, Sécurité cloud (OAuth, SSL, Azure Policies), Snowflake / Databricks Compétences / Qualités qui seraient un + : Hadoop (optionnel)Informations concernant le télétravail : Oui — 1 jour/semaine

RésuméNous sommes en recherche d'un profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) pour intervenir sur des sujets en lien avec le périmètre marketing. Le prestataire interviendra au sein d'une équipe Big Data d'une quinzaine de personnes travaillant en mode projet agile. ResponsabilitésIl contribuera au Run quotidien et à l'évolutivité des applications métiers tels que : la segmentation client marketing le calcul d'indicateurs de téléphonie le datamart marketing et bien d'autres. Must HavesMaîtrise d'Apache Airflow. Maîtrise d'Apache Kafka. Expérience significative avec Hadoop. Solides compétences en SQL et optimisation des requêtes. Capacité à travailler avec des bases relationnelles et NoSQL. Connaissances en CI/CD et DevOps. Compétences en Scala. Expérience en utilisant Spark. Nice to HaveDes compétences sur le cloud Azure et la conception de Webservices REST seraient appréciées. De manière générale il doit pouvoir documenter ses travaux, présenter ses réalisations en adaptant son discours et interagir avec l'ensemble des acteurs projets, ceux de l'équipe, des autres équipes IT et métiers. Autres DétailsMissions longue (maximum 3 ans) Localisation : Hauts-de-Seine (92)

Dans le cadre du renforcement d'un Chapitre Data au sein d'un grand acteur du secteur bancaire, nous recherchons un.e Data Engineer expérimenté.e pour rejoindre une squad métier et intervenir sur la conception, le développement, l'industrialisation et l'exploitation de solutions Data. Votre rôle Intégré.e à une équipe Agile, vous travaillerez en collaboration avec les PO, BA, développeurs et architectes sur l'ensemble du cycle de vie des solutions Data. Vous serez notamment amené.e à : Participer à la définition et à l'évolution de l'architecture Data ; Analyser et affiner les besoins avec les PO et BA et les traduire en solutions techniques ; Concevoir et développer des pipelines de collecte, ingestion, transformation et stockage ; Développer des traitements Spark en batch et en streaming ; Automatiser l'ingestion et orchestrer les flux de données ; Intervenir dans des environnements Hadoop / Cloudera ; Concevoir et exécuter les tests unitaires et automatisés ; Industrialiser et déployer les développements sur les différents environnements ; Assurer le bon fonctionnement des solutions en production et participer à la gestion des incidents ; Mettre en place et optimiser le monitoring et l'observabilité ; Contribuer à l'amélioration continue de la qualité du code et des pratiques de développement ; Participer aux sujets de gouvernance, qualité, protection et traçabilité des données.

Contexte : La mission s'inscrit dans le cadre du projet DatOps. Le Data Engineer interviendra en lien étroit avec les équipes de production applicative / DevOps afin de mettre en œuvre techniquement les demandes métiers et de faire évoluer la plateforme Data. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les opérations de Data Preparation et transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme. Formaliser et transmettre à l'équipe DevOps les demandes d'évolution. Contribuer au maintien et à l'amélioration des solutions Data existantes. Rédiger des spécifications techniques claires et précises. Compétences indispensables Très bonne maîtrise attendue de : GCP – Google Cloud Platform BigQuery Cloud Storage SQL Python orienté objet Pandas et/ou Dask Bash scripting Git Une expérience en environnement Agile / Scrum est également attendue. Anglais professionnel indispensable à l'écrit et à l'oral Compétences appréciées / différenciantes Les technologies suivantes constituent des atouts supplémentaires : Cloud Functions – SAS – Alteryx – XLD/XLR – Control-M – Hadoop – Spark.