Find your next tech and IT Job or contract Hadoop

Vous intervenez au sein d'une Squad technique dont l'objectif est de concevoir, déployer et mettre en place des outils innovants en Data Science, MLOps et Intelligence Artificielle (IA) avancée. Cette Squad fournie également les socles applicatifs nécessaires, afin de permettre aux utilisateurs finaux de développer et exploiter des cas d'usage métiers Data avancé et IA. • Modernisation de l'offre Data Science & MLOPS actuelle (plateforme BigData, outils MLOPS Open source, ... ) • Cadrage et construction d'une plateforme Studio IA cible • Evolution du portail (WEB) de service Data et IA : intégration de nouvelles offres / fonctionnalités Taches : • Participe à la construction et au maintien de solutions IT évolutives, modulaires, innovantes, cohérentes avec leur écosystème et répondant au besoin métier. • Décline le cadre d'Architecture d'Entreprise(processus, normes, patterns …) et contribue à son évolution • Facilite la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d'Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Participe à l'exploration continue (étude d'opportunité, cadrage) et aide à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Établir les priorités des tâches en fonction des besoins du projet et des objectifs stratégiques. • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps, IA / LLMOPS et l'efficacité de l'équipe. • Suit et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produits en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...) • Accompagner, superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes

Contexte de la missionDans le cadre du renforcement d'une squad Data, nous recherchons un Développeur Open xDI Semarchy Sénior afin d'accompagner les équipes sur des activités de développement, d'intégration et de maintenance de solutions Data. Le consultant interviendra sur un environnement technique riche composé notamment de Semarchy xDI, Teradata, PostgreSQL, MySQL, Hive, Phoenix, HDFS ainsi que des API Spring Boot. Missions principalesAu sein de la squad, vos principales responsabilités seront : Assurer le développement et l'intégration des évolutions sur le périmètre des solutions Data. Participer aux phases de conception technique et contribuer aux séances d'affinage. Préparer et réaliser les mises en production en collaboration avec les équipes expertes. Assurer le support applicatif (SAV) et contribuer à la résolution des incidents. Maintenir et enrichir la documentation fonctionnelle et technique. Accompagner les utilisateurs dans la prise en main des solutions. Participer à l'analyse du patrimoine applicatif existant. Contribuer à l'alimentation et à la priorisation du backlog technique. Effectuer une veille technologique régulière afin d'identifier les évolutions pertinentes. Compétences techniques recherchéesCompétence indispensable✅ Semarchy xDI / Open xDI Compétences appréciéesTeradata PostgreSQL MySQL Hive Phoenix HDFS API REST avec Spring Boot

Je suis à la recherche d'un Directeur de programmes IT/Data complexes. Le client poursuit la centralisation et la modernisation du SI-RC. Le programme Plateformes Data & IA coordonne huit chantiers : BLEU/Microsoft Fabric, migration Teradata avant fin 2028, devenir Hadoop/Cloudera avant fin de support en juin 2027, trajectoire SAS, accès transitoire aux socles existants, plateforme Data On Premise souveraine, plateforme de services Data/IA et convergence ou migration du Cloud vers l'On Premise. Les patrimoines actuels comprennent notamment environ 52 To compressés sur Teradata et un Data Lake Hadoop/Cloudera d'environ 47 To. Les missions principales sont les suivantes : • Initialiser le programme : diagnostic du portefeuille, découpage, responsabilités, priorités, arbitrages et feuille de route pluriannuelle. • Piloter coûts, qualité, délais, risques, ressources, valeur, plannings, budgets, charges et dépendances interprojets. • Préparer les décisions et sécuriser les échéances Teradata (fin 2028), SAS (avril 2028) et Cloudera (juin 2027). • Appuyer les directeurs de projets internes sans se substituer à leurs responsabilités. • Éclairer les scénarios Cloud BLEU/Fabric, On Premise souverain, hybridation, convergence et réversibilité. • Garantir sécurité, conformité, souveraineté, indépendance numérique, standards ouverts et portabilité. • Tenir la cartographie consolidée des risques, organiser les revues de jalons et sécuriser le chemin critique. • Proposer et animer la comitologie stratégique, programme, opérationnelle et technique. Environnement technique : Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, RAISE, GitHub Copilot, Microsoft 365 Copilot, ETL/ELT, Data Lake, Data Warehouse, Data Marts, API, événements, MLOps, agents, assistants IA, RPA, architectures Cloud / On Premise / hybrides, gouvernance et catalogue de données. Direction de programmes IT/Data complexes, multi-projets et multi-acteurs, avec budgets et échéances contraints Pilotage d'équipes importantes : ressources internes, éditeurs, intégrateurs, ESN et experts Architectures Data modernes Cloud, On Premise et hybrides Mise en œuvre de plateformes Data industrielles, gouvernées, sécurisées et exploitables Migration de plateformes décisionnelles/analytiques, données historiques, ETL/ELT, BI et data science Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, gouvernance et catalogue Plateformes de services, API, événements, agents, assistants IA, MLOps et RPA Souveraineté, indépendance numérique, open source, portabilité, réversibilité, sécurité et RGPD

Dans le cadre du renforcement de l'équipe, intervention sur des sujets d'ingénierie des données (Big Data) et DataOps en lien avec le socle transverse on premise et cloud. La mission intervient sur le Run quotidien et sur des sujets techniques et fonctionnels liés à l'obsolescence technique et applicative, à la scalabilité du socle de données et au déploiement de services Azure. L'environnement comprend également Databricks, des bases relationnelles et NoSQL, ainsi que CI/CD et DevOps / DataOps Missions : - Contribuer au Run quotidien du socle de données - Intervenir sur les sujets d'obsolescence technique et applicative - Intervenir sur la scalabilité du socle de données - Déployer des services Azure - Intervenir sur des sujets d'ingénierie des données Big Data - Intervenir sur des sujets DataOps - Exploiter Airflow et Kafka dans le cadre des activités du socle de données - Intervenir sur Hadoop et Databricks - Exploiter les bases relationnelles et NoSQL - Utiliser CI/CD et DevOps / DataOps Profil attendu : Profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) et DataOps. Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks. Le profil

Dans le cadre du renforcement d'une équipe Big Data, chez l'un de nos clients grands comptes, nous recherchons un DataOps Engineer confirmé pour intervenir principalement sur des activités de Run, fiabilisation et évolution d'une plateforme Data. Vous intégrerez une équipe fonctionnant en mode Agile et serez garant du bon fonctionnement, de la disponibilité et de l'évolution du socle technique Data. Vous aurez pour missions : Le Run quotidien et le maintien en conditions opérationnelles de la plateforme Data. L'analyse et la résolution des incidents techniques. La gestion de l'obsolescence technique et applicative. L'amélioration de la performance, de la disponibilité et de la scalabilité du socle de données. Le déploiement et l'exploitation de services dans un environnement Cloud Azure. L'automatisation et l'industrialisation des déploiements via Terraform et CI/CD. La supervision et la fiabilisation des traitements et flux de données. L'exploitation et l'évolution de composants Spark, Databricks, Airflow, Kafka et Hadoop. La coordination avec les équipes projets, IT et métiers. Environnement technique Azure – Databricks – Spark – Python – Scala – SQL – Airflow – Kafka – Hadoop – Terraform – Bases relationnelles et NoSQL – CI/CD – DevOps / DataOps

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer GCP. Environnement technique GCP, BigQuery, Cloud Storage, SQL, Python (orienté objet), Pandas, Dask, Bash scripting, Git, méthodologie Agile/SCRUM. Un plus : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark. Contexte Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Le consultant interviendra sur le projet DatOps, en soutien à l'équipe de production applicative et devops, pour répondre aux besoins techniques exprimés par les métiers. Missions Mettre en place de nouveaux flux d'ingestion et réaliser les travaux de préparation et transformation de données Faire évoluer et maintenir les outils de gestion des pipelines de données Relayer auprès de l'équipe devops les besoins d'évolution de la plateforme Compétences attendues GCP, BigQuery, Cloud Storage, SQL, Python orienté objet, Pandas, Dask, Bash, Git, Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark, Agile/SCRUM, Anglais professionnel

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced

Notre client dans le secteur Banque et finance recherche un/une Administrateur Big Data Azure - Java H/F Description de la mission : Fiche de poste – Administrateur Big Data Azure - Java Contexte et objectif de la mission Dans le cadre du développement et de la maintenance d'une infrastructure Big Data sur cloud public, la mission consiste à gérer, optimiser et garantir la disponibilité d'une plateforme centrée sur Spark et Synapse, avec une migration prochaine des environnements on-premise vers des solutions cloud publiques telles que Snowflake et Databricks. Niveau recherché Profil middle à senior. Missions principales • Développement d'APIs en Java/Spring facilitant l'interfaçage avec Azure et gestion du cycle de vie des applications via CI/CD • Implémentation et maintenance de solutions de traitement distribué basées sur Spark, via une stack Spark sur AKS développée en interne (Kubernetes CRD Spark Operator) et Synapse d'Azure • Déploiement automatisé et intégration des solutions dans le respect des exigences de sécurité : autorisation, authentification, chiffrement, résilience, Azure Policies • Garantie de la disponibilité, de la performance et de la sécurité des solutions déployées • Gestion des incidents et tickets liés à l'infrastructure Hadoop avec support technique • Gestion des changements : préparation des changes, tests, rollback, coordination avec les intervenants et suivi des processus • Participation à l'élaboration et au suivi du planning global de production • Mise en place et maintien de la documentation technique destinée aux équipes internes et aux utilisateurs • Participation aux task forces pour résoudre des problématiques techniques complexes • Contribution aux POC de migration des clients on-premise vers des solutions de stockage sur Azure, Snowflake, Databricks et autres • Accompagnement des clients dans leur transition du on-premise vers le cloud public • Collaboration étroite avec les éditeurs et les équipes internes • Réalisation des astreintes techniques selon le planning défini Profil recherché Compétences techniques : • Développement : Java, Spring, Temporal, Liquibase, Powershell • Containerisation d'applications Java, déploiement sur AKS, création d'images Docker • Azure Kubernetes Service (AKS) avec maîtrise de Azure Identity, CSI, nodepool, autoscaling, VM spot • Big Data : Spark, Hive Metastore, Hadoop • CI/CD et GitOps : Jenkins, ArgoCD, GitHub, Git, Nexus, Harbor • Linux, Bash, protocoles de sécurité OAuth et SSL • Monitoring : ElasticSearch, Kibana (niveau utilisateur) • Connaissance de Snowflake et Databricks, notamment sur le stockage, le catalogue de données et la fédération des données Compétences relationnelles : • Esprit d'analyse et de synthèse, autonomie et sens des responsabilités • Capacité à travailler en équipe et à communiquer efficacement • Orientation client et qualité de service Compétences / Qualités indispensables : Java / Spring, Azure Kubernetes Service (AKS), Spark / Big Data, CI/CD & GitOps, Sécurité cloud (OAuth, SSL, Azure Policies), Snowflake / Databricks Compétences / Qualités qui seraient un + : Hadoop (optionnel)Informations concernant le télétravail : Oui — 1 jour/semaine

Les modalités Lieu : Lyon Télétravail : 50% Démarrage : 01/01/2027 Les missions attendues par le Data Engineer Python Spark (H/F) : Contexte Pour un acteur majeur du secteur de l'énergie, nous recherchons un Data Scientist / Développeur Big Data Senior pour rejoindre une équipe dédiée aux études et produits data innovants, notamment sur la maintenance prédictive et la mobilité électrique. Vous interviendrez en priorité sur des thématiques métiers complexes et sur la création d'un pipeline de mise à disposition de projets cartographiques à destination des équipes opérationnelles. La mission couvre l'intégralité de la chaîne de valeur, depuis l'analyse exploratoire et l'étude jusqu'à la mise en production des traitements de data science. Vos missions Animer des ateliers avec les experts métiers pour collecter, préciser et cadrer les besoins. Réaliser la recherche de données adéquates et mener des analyses exploratoires approfondies. Concevoir et développer des traitements de données et réaliser des études statistiques. Développer des modèles de Machine Learning selon les cas d'usage. Industrialiser les codes d'expérimentation en Python ou PySpark pour leur mise en production. Présenter les résultats et les synthétiser via des rapports d'étude ou des tableaux de bord interactifs. Assurer une veille technologique sur les outils de data science et partager les bonnes pratiques au sein de l'équipe. Environnement technique Python (pandas, polars, scikit-learn, matplotlib, xgboost, pandera, geopandas), PySpark, Hadoop, PostgreSQL, GitLab, GitLab-CI/CD, PowerBI, Jira, Confluence.