Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Notre client dans le secteur Assurance recherche un/une Expert Talend H/F Description de la mission : 1. Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item , les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. 2. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ; Compétences recherchées : Indispensables - Très bonne maîtrise de Talend dans un écosystème Cloudera, idéalement Talend 8 - Expérience significative en développement ETL - Bonne maîtrise de Java - Bonne connaissance de Spark - Capacité d'analyse et de diagnostic sur des traitements Data - Bonne compréhension de l'industrialisation des développements et des chaînes de build Fortement souhaitées - Cloudera / CDP - Hadoop / environnement Big Data - Maven - Git / CI-CD - SQL - Java / Spring Boot - Expérience de migration ou de modernisation de traitements Data Compétences / Qualités indispensables : Talend, Cloudera, ETL, Java, Spark Compétences / Qualités qui seraient un + : - Bonne compréhension de l'industrialisation des développements et des chaînes de build Fortement souhaitées - Cloudera / CDP - Hadoop / environnement Big Data - Maven - Git / CI-CD - SQL - Java / Spring Boot - Expérience de migration ou de modernisation de traitements Data Informations concernant le télétravail : Oui — 2 jours/semaine

Notre client dans le secteur Assurance recherche un/une Expert Data Platform H/F Description de la mission : Sous la responsabilité du Product Owner du domaine et piloté par un backlog de demandes, le prestataire sera amené à : Études et expertise • Réaliser des études techniques d'évolution autour de l'écosystème Cloudera. • Analyser les impacts techniques et fonctionnels des évolutions envisagées. • Produire des dossiers d'architecture et notes de cadrage. • Présenter les conclusions et recommandations aux responsables techniques et métiers. Exploitation et support expert • Assurer le support de niveau 3 sur l'ensemble de la plateforme Data Hub. • Participer aux cellules de crise lors d'incidents majeurs de production. • Réaliser les analyses de causes racines et définir les plans de remédiation. • Accompagner les équipes d'exploitation DataOps N2. ________________________________________ Interventions • Possibilité d'interventions en Heures Non Ouvrées (HNO). • Participation à des opérations sensibles de production. ________________________________________ Environnement technique Expertise obligatoire • Cloudera CDP • Administration et exploitation de clusters Hadoop Cloudera • Maintien en condition opérationnelle de plateformes Data • Support expert N3 Niveau avancé • Linux Red Hat Enterprise Linux (RHEL) • Ansible • AWX • Talend • Scripting Shell Compétences appréciées • Kubernetes • Docker • Git • GitLab • Jenkins • OpenShift • Terraform • Python • Java • Scala ________________________________________ Activités d'exploitation La mission comprend : • Support N3 • Gestion des incidents de production • Participation aux cellules de crise • Gestion des changements • Capacity Planning • Performance Tuning • Maintien en condition opérationnelle • Sécurisation et durcissement des systèmes • Interventions HNO ponctuelles ________________________________________ Profil recherché Séniorité • Consultant confirmé Critères de sélection Critères obligatoires • Expérience significative sur Cloudera CDP. • Expérience d'administration et d'exploitation de plateformes Hadoop. • Expertise Linux RHEL. • Expérience en support de production de niveau 3. Critères différenciants • Expérience Data Driven / Data Mesh. • Connaissance des architectures événementielles. • Connaissance des solutions Lakehouse. • Connaissance des environnements Kubernetes et OpenShift. • Expérience dans des environnements critiques à forts enjeux de disponibilité. Compétences / Qualités indispensables : Cloudera Data Platform (CDP), Hadoop, MCO Data Platform, Linux RHEL Compétences / Qualités qui seraient un + : Expérience Data Driven / Data Mesh. • Connaissance des architectures événementielles. • Connaissance des solutions Lakehouse. • Connaissance des environnements Kubernetes et OpenShift. • Expérience dans des environnements critiques à forts enjeux de disponibilité.Informations concernant le télétravail : Oui — 2 jours/semaine

Je suis à la recherche pour un de nos clients d'un Expert Kafka / Kafka Confluent / IBM / Kafka Strimzi. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de ce socle seront produites par les différents socles techniques du SI du Client, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID (Datastage) + Teradata. Parmi les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'écosyteme SI Client ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Installation et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafraîchissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.

Le besoin La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.

Contexte de la missionDans le cadre du renforcement de ses équipes Finance et Risques, un grand groupe bancaire recherche un Chef de projet technico-fonctionnel Java pour intervenir au sein d'une DSI dédiée aux calculateurs réglementaires. L'équipe est responsable de plusieurs moteurs de calcul couvrant notamment : Les RWA au titre du risque de crédit ; Les grands risques ; Les RWA CVA en méthode standard ; Le risque spécifique de taux ; Les stress tests crédit internes ; La FRTB CVA ; Le capital économique. La mission vise principalement à accompagner les transformations d'une chaîne de traitement quotidienne en réponse à des recommandations relatives au ratio de levier. Le consultant interviendra également sur la maintenance applicative, le suivi de production et le support aux utilisateurs. Responsabilités principalesDans le cadre de cette mission, le consultant sera chargé de : Concevoir, développer et maintenir les évolutions de l'application ; Intervenir sur les différentes étapes de traitement de la donnée : récupération, transformation, stockage et restitution ; Participer aux travaux d'évolution de la chaîne de calcul réglementaire ; Assurer le suivi quotidien de la production applicative ; Analyser et résoudre les incidents de production ; Fournir une assistance technique et fonctionnelle aux utilisateurs ; Coordonner les échanges avec les équipes de développement intervenant sur les composants en amont et en aval ; Collaborer avec les équipes de production, d'infrastructure, de réseau et de sécurité ; Élaborer et exécuter les jeux de tests ; Participer au suivi post-mise en production et post-migration ; Identifier les risques projet et contribuer à leur traitement ; Participer aux rituels agiles : réunions hebdomadaires, sprint planning et rétrospectives ; Appliquer les bonnes pratiques de développement, notamment les tests unitaires et les revues de code ; Participer ponctuellement aux astreintes liées aux arrêtés, sur site ou à distance. Compétences techniques recherchéesCompétences indispensablesExcellente maîtrise de Java ; Bonne maîtrise des scripts Shell Unix ; Expérience des environnements Linux Red Hat Enterprise Linux ; Maîtrise des bases de données relationnelles, idéalement Microsoft SQL Server ; Expérience du suivi de production et du support applicatif ; Connaissance des pratiques de développement industriel : tests unitaires, revue de code, gestion des versions et intégration continue. Compétences appréciéesDéveloppement avec Spring Boot ; Expérience sur une application Web utilisant React ou Angular ; Connaissance de Python ; Expérience dans un environnement Big Data ou Hadoop ; Maîtrise d'Apache Hive, Beeline ou Kafka ; Connaissance des outils DevOps suivants : Git, Bitbucket, Artifactory, Jenkins, XL Deploy et XL Release. Compétences fonctionnellesUne connaissance des environnements bancaires, financiers ou réglementaires est fortement souhaitée, notamment sur les sujets suivants : Risque de crédit ; RWA et calcul prudentiel ; Risque de contrepartie ; CVA ; Ratio de levier ; Stress tests ; Grands risques ; Chaînes de calcul et de reporting réglementaire. Profil recherchéFormation supérieure en informatique, finance, mathématiques ou ingénierie ; Entre Minimum 6ans d'experience sur des missions similaires ; Expérience confirmée en développement Java dans un environnement bancaire ou financier ; Capacité à intervenir sur des sujets à la fois techniques et fonctionnels ; Expérience du pilotage ou de la coordination de travaux applicatifs ; Bonne capacité d'analyse et de résolution d'incidents ; Autonomie, rigueur et sens des responsabilités ; Bon relationnel et capacité à collaborer avec des interlocuteurs techniques, fonctionnels et métiers ; Anglais professionnel. Environnement technologiqueLangages : Java, Python, Shell Unix ; Frameworks Web : Spring Boot, React, Angular ; Base de données : Microsoft SQL Server ; Système d'exploitation : Red Hat Enterprise Linux ; Big Data : Apache Hive, Beeline, Kafka, environnement Hadoop ; DevOps : Git, Bitbucket, Artifactory, Jenkins, XL Deploy, XL Release ; Méthodologie : Agile, sprint planning, réunions hebdomadaires et rétrospectives.