Find your next tech and IT Job or contract Hadoop

Vous serez en charge d'assurer l'exploitation quotidienne des environnements hors production. Vos missions consisteront à contribuer: Assurer le Refresh des données sur les différents environnements Assurer les installations applicatives (traitements Spark/Scala, ETLs Informatica, scripts sql Oracle, scripts shell, ...) Synchronisation des environnements : versions applicatives, versions software, configurations et paramétrages Monitoring et observabilité : Construire et maintenir un dashboard de monitoring des environnements (exécutions, volumes, ..) Automatisation des procédures : Développer les outils/scripts nécessaires permettant de réduire l'effort manuel (contrôle automatique des écarts entre environnements, validation post-installation et refresh, conhérence des bdd ..) Maintien en conditions opérationnelles : Exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi des batchs Opcon, relances des batch/jobs.

Nous recherchons un consultant DevSec pour accompagner un projet de renforcement de la sécurité des environnements techniques. La mission porte sur le cadrage, l'étude d'architecture et l'identification des solutions de sécurisation adaptées. Le consultant devra comparer différentes approches, formuler des recommandations et contribuer à la mise en œuvre de la solution retenue. Il interviendra en coordination avec les équipes techniques, sécurité et projet. Il participera également à la rédaction des livrables et à l'accompagnement des équipes opérationnelles.

Au sein de la DSI Corporate d'un grand groupe bancaire, la direction informatique fournit l'ensemble des solutions applicatives pour les entités opérationnelles et les directions centrales du siège. Dans ce cadre, nous recherchons un Data Engineer Hadoop / PySpark pour faire évoluer le Datalake du domaine. En lien étroit avec les équipes de production applicative et DevOps, vous prendrez en charge les évolutions techniques des flux de données et la mise en œuvre de nouvelles ingestions. Missions Ingestion & Data Prep : Mettre en œuvre de nouvelles alimentations de données et réaliser les travaux de préparation et transformation (Data Prep). Maintenance & Évolution : Maintenir et faire évoluer les pipelines de données existants (PySpark, Shell scripting). Interface DevOps : Structurer et transmettre à l'équipe DevOps les demandes relatives aux évolutions d'infrastructure et de plateforme. Documentation : Rédiger des spécifications techniques claires et précises.

Dans le cadre de plusieurs projets stratégiques de mise en œuvre d'assiettes communes pour les usages Finance et Risques, nous sommes à la recherche d'un(e) Data Engineer confirmé(e). Vos missions : Architecture & Conception : Contribuer activement aux choix d'architecture et de conception technique en étroite collaboration avec les architectes, Tech Leads et développeurs. Développement & Implémentation : Mettre en œuvre et développer les solutions techniques Big Data retenues pour fiabiliser et industrialiser les flux de données. Industrialisation & Qualité : Assurer l'industrialisation des développements et des tests en s'appuyant sur des solutions Open Source et l'ordonnancement des flux (UC4). Collaboration Internationale : Travailler au sein d'un environnement anglophone dynamique en appliquant rigoureusement les méthodologies Agile.

• Missions En charge de l'expertise technique des solutions Data et IA, vous aurez la responsabilité d'assurer la cohérence de l'intégration des produits dans le respect des règles de sécurité et de l'architecture du SI. Dans le cadre des équipes OPS DATA / IA, vous aurez un lien fonctionnel étroit avec les équipes métiers et les équipes de la filière TSI DATA et TSI IA. La mission d'expertise aura pour but d'assurer la cohérence des solutions dans l'environnement actuel et la transformation des solutions pour les maintenir up to date avec l'état de l'art du marché. Vous assurerez le support Niveau 2 du périmètre aux équipes de production. • Responsabilités : Contribuer au bon déroulement des différentes phases du projet, et dans ce cadre vous assurerez : • Contribuer aux projets informatiques sur les dimensions qui relèvent du champ d'expertise Data / IA. • Conseiller et assister dans le choix et la mise en œuvre des solutions retenues • Assurer l'exploitabilité dans le respect des règles de sécurité et d'architecture du SI. • Garantir la pertinence et la pérennité des solutions techniques et/ou fonctionnelles dont vous aurez la charge afin de permettre l'évolution et le maintien en condition opérationnelle de la solution. • Garantir que les moyens de mesure de qualité de services sont opérationnels et disponibles (Quantification/Qualimétrie de fonctionnement)

Nous rec herchons un(e) Data Engineer Hadoop Spark Scala capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : zvrlmudefo

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.

Au sein de l'équipe Data Usages décisionnels de la division Data, l'Ingénieur DataOps est responsable de l'exploitation quotidienne des environnements hors production (DEV, RCT, PREPROD). Il garantit la disponibilité, la cohérence et la fiabilité des plateformes Data en réalisant les opérations techniques nécessaires : Refresh des données sur les différents environnements Installations applicatives (traitements Spark/Scala, ETLs Informatica, scripts sql Oracle, scripts shell, ...) Synchronisation des environnements : versions applicatives, versions software, configurations et paramétrages Monitoring et observabilité : Construire et maintenir un dashboard de monitoring des environnements (exécutions, volumes, ..) Automatisation des procédures : Développer les outils/scripts nécessaires permettant de réduire l'effort manuel (contrôle automatique des écarts entre environnements, validation post-installation et refresh, conhérence des bdd ..) Maintien en conditions opérationnelles : Exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi des batchs Opcon, relances des batch/jobs. Alerting / Reporting

Vous contribuerez : - A l'installation de cluster - Au monitoring et à l'administration des outils Big Data - A l'administration de cluster - A l'upgrade des distributions et des composants Hadoop - A l'installation des différents composants sur Hadoop - Au support et à la résolution des problèmes N2 et N3 - A la mise en place d'environnements de développement et de test - A la sécurisation des clusters Conception et mise en œuvre des architectures de production pour des solutions techniques spécifiques correspondant au besoin du client Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour de la technologie Design et implémentation de la solution dans les systèmes existants Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) Alimentation du backlog des Services de production (CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS Mise en oeuvre des bonnes pratiques et intégration continue Installation, configuration et divers paramétrages Pilotage de la mise à niveau de la solution et gestion des impacts

Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l'industrialisation de traitements de données à grande échelle. Vous aurez pour mission missions La conception et le développement de pipelines de données batch. L'alimentation de datamarts réglementaires Risque et Finance. L'alimentation des systèmes de reporting financiers et risques. L'intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc. La mise en place de contrôles de qualité, cohérence et complétude des données. L'optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes. L'industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring. La réalisation des tests unitaires et des TNR. La documentation technique et la mise à jour des référentiels de données. La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données. La participation aux cérémonies Agile et aux réunions projets. La contribution aux activités de Run quotidien et mensuel. Environnement technique Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

Le contexteNotre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.

Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).