Find your next tech and IT Job or contract Hadoop

Vous aimez les plateformes de données qui tournent vraiment en production ? Rejoignez l'équipe qui fait vivre le datalake des fonctions Technologies & Opérations d'un grand groupe bancaire. La DSI fournit aux directions technologiques, aux opérations et à la banque de proximité les applications et les données dont elles ont besoin au quotidien. Le datalake Hadoop en est une pièce centrale : il alimente le pilotage et les usages analytiques de plusieurs directions. Vous intervenez en lien direct avec la production applicative et l'équipe DevOps, au sein d'une équipe IT internationale. Vos principales missions : Concevoir et mettre en production de nouvelles ingestions de données : collecte, préparation, transformation. Maintenir et faire évoluer les outils de gestion des pipelines de données (PySpark, shell scripting). Porter auprès de l'équipe DevOps les évolutions nécessaires de la plateforme. Rédiger des spécifications techniques claires et exploitables par l'équipe. Ce que la mission vous apporte : Un datalake en production, avec de vrais volumes et de vrais utilisateurs métier. Une équipe internationale : l'anglais est utilisé au quotidien. Une ouverture vers le cloud (GCP / BigQuery) pour qui veut élargir sa stack. Environnement technique : Hadoop, PySpark, Spark, Hive, Python, SQL, Git, Jenkins, Jira, Unix / Linux — Scrum.

Je recherche un Ingénieur Big Data Hadoop / Cloudera CDP pour intervenir sur la construction, l'administration et l'évolution de plateformes Hadoop dans un contexte Agile et DevOps. Votre missionVous souhaitez évoluer au sein d'un environnement Big Data de grande envergure et contribuer à l'évolution de plateformes stratégiques ? Vous participerez également à l'amélioration des Data Services et serez force de proposition sur les évolutions techniques et les bonnes pratiques. Vos principales responsabilitésDéployer et installer des clusters Hadoop Cloudera CDP. Administrer et maintenir les plateformes Big Data en production. Installer, configurer et faire évoluer les composants Hadoop. Réaliser les montées de version des distributions et composants. Assurer le monitoring, la supervision et l'optimisation des clusters. Gérer la sécurité des plateformes (Kerberos, Ranger/Sentry, gestion des accès). Mettre en place les environnements de développement, recette et test. Assurer le support technique de niveau N2/N3. Automatiser les déploiements via Ansible, Jenkins et les outils CI/CD. Participer à l'amélioration continue des plateformes et aux projets d'évolution. Environnement techniqueBig Data Cloudera Data Platform (CDP) Hadoop HDFS Spark Hive Kafka ZooKeeper Hue Anaconda Administration & Sécurité Cloudera Manager Ambari Kerberos Ranger / Sentry Linux (RedHat, CentOS) DevOps Jenkins Ansible Git CI/CD Méthodologies Agile Scrum SAFe Kanban DevOps Profil recherchéVous justifiez d'une expérience significative dans l'administration de plateformes Big Data et maîtrisez les environnements Hadoop. Vous possédez notamment : Une solide expérience sur Cloudera CDP. Une bonne maîtrise de l'administration de clusters Hadoop. Une expérience des installations, upgrades et migrations de plateformes. Une bonne connaissance des problématiques de sécurité (Kerberos, Ranger/Sentry). Une expérience des outils d'automatisation et de CI/CD. Une excellente maîtrise des environnements Linux. Les qualités qui feront la différenceEsprit d'analyse et de synthèse. Autonomie et sens des responsabilités. Curiosité technique et veille technologique. Force de proposition. Excellent relationnel et goût du travail en équipe. Anglais professionnel. Pourquoi rejoindre mon client ?Des projets Big Data à forte valeur ajoutée. Un environnement technique stimulant. Des technologies de pointe. Une équipe experte et collaborative. Une culture orientée innovation et amélioration continue. Vous souhaitez relever ce défi ? Envoyez-nous votre CV et échangeons sur votre prochain projet !

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

Notre client dans le secteur Banque et finance recherche un/une support risque de marché AWS H/F Description de la mission : Contexte de la mission et livrables associés : Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux (pre-trade, post-trade, risques) dans un contexte dynamique, innovant et international. L'équipe émettrice du cahier des charges de cette mission est la « filière Transversale Risk et GMD » de capital Market IT pour un accompagnement au Support Applicatif des risques de marché. La mission consiste à supporter les activités du suivi et de gestion des risques de marché (PnL, Var, Greeks, Stress, Market data, Pricing setups & Referentials, Standard Approach), et tout particulièrement sur la plateforme MASAI – support applicatif L'équipe Support MASAI repose sur l'organisation suivante: - 7p sur le support MASAI -- 4/3 Paris/Singapour Elle couvre la plage horaire suivante : WW : 2am-7pm CET (en shift) - spécifique Paris : 9am-7pm (en shift) La mission se compose de 2 axes de support : - Le support de la plateforme de production, des activités de production opérées sur cette plateforme et l'ensemble des utilisateurs . - Le support / accompagnement au programme MASAï, programme d'investissement pluriannuel qui a pour ambition la refonte complète du SI des Risques de marché Perimetre applicatif : - Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana / Promotheus et prochainement Cloud AWS (EMR, Glacier, RedShift, S3, RDS, Dynamo, Athena, EC2, ECS, Lambda, Airflow, Cloudwatch, Glue, Kafka) - Secondaire : SQL, Unix, CTRLM Perimetre fonctionnel : - Business process : Pnl, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market - Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs: - Mondiale mais le site principal est Paris - environ 300 à 400 utilisateurs. Détails de la prestation Support applicatif risques de marché Il s'agit d'une prestation de support technique et fonctionnel (N1 et N2 voire N3) sur les systèmes informatiques de suivi et d'analyse des risques de marché. La mission se déroulera sous la responsabilité d'un responsable d'équipe support Paris. Les contacts seront fréquents avec les multiples contributeurs IT responsables de l'implémentation des composants (Grid Pricing, Big Data, Data Analytics & UI, …) présents à Paris et Singapour Prestation attendue dans le cadre de support de production: - Garantir quotidiennement le bon fonctionnement de la production afin de délivrer les indicateurs à temps à nos clients (Risk Management, CASA, Front & Back-Office) - Collaborer avec l'ensemble des autres équipes IT (des différentes applications MRI et des systèmes contributeurs) et les pôles d'infrastructures afin de résoudre tout dysfonctionnement des applications MRI - Gérer les incidents et les demandes (technique/fonctionnel) - Participer à la gestion du PSI - Réaliser toutes les activités planifiées en HNO et les astreintes - Fonctionner en accord avec les dispositifs de support à l'international (SGP, NY, HK, …) - Rédiger la documentation, les procédures opérationnelles et les support de formation (en anglais) - Saisir et suivre le backlog de tickets et réaliser des reporting périodiques sur les activités de support - Contribuer au processus d'amélioration continu incluant la mise en place d'un processus de revue opérationnel et de qualité - Suivre les plans d'actions des problèmes jusqu'à leur clôture - Participer aux différentes instances de gouvernance du Run (Daily, WMC, Release meeting, …) - Contribuer à la gestion quotidienne de l'équipe de support MRI Les applications market risk seront déployées sur l'ensemble des sites à l'international et est utilisée par l'ensemble de la filière. Livrables attendus: - Morning check, - Monitoring : batchs, application, infrastructure - Extraction reporting en batch et sur demande d'utilisateur - Documentation support à jour en langue anglaise - Contribution au processus d'amélioration continu et à la réduction des problèmes (ITIL) . - Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée , …) - Contribution aux supports pour les différentes instances de gouvernance produits à temps - Suivi des plans d'actions d'amélioration continue de l'équipe - Tickets maintenance à jour et correctement escaladés à la MOE - Cadrage et spécifications des besoins du support - Retour d'expériences des phases d'UAT et autre parallèles run - Participation aux weekends de déploiement et autres activités. Compétences / Qualités indispensables : aws Informations concernant le télétravail : Oui — 2 jours/semaine

Contexte de la mission : Nous sommes à la recherche d'un profil pour une mission de prestation au sein du service Data d'un de nos clients : · Les missions du service consistent à Collecter, structurer et distribuer les données client dans une logique temps réel puis les rendre exploitables par les outils de la relation client et le pilotage Gérer les projets du périmètre Customer Data Platform (Environnement de données, moteur de scores/segmentation, API IA…) Administrer et faire évoluer les outils relationnels (Marketing automation, outils de personnalisation (moteur de recommandation, …)) Tâches à réaliser : Suivi de production quotidien - contrôles fonctionnels (analyse de cohérence d'écarts de volume entre J et J-1) sur tout le périmètre DataPrep, Manipulation de données complexes (SQL ou R) Projet et Maintenance évolutive · Participation aux ateliers de définition des indicateurs et des données brutes nécessaires aux besoins des métiers · Participation à la modélisation des bases de données / architectures · Spécification fonctionnelle des indicateurs · Elaboration de la stratégie et du plan de recette · Recette des indicateurs, via développement AMOA des indicateurs en R ou SQL, en comparaison des livrables MOE et analyse de cohérence fonctionnelle de données · Création de reportings (outils Tableau/OAC) simples · Documentation Compétences recherchées : Obligatoires : Connaissance SQL, et idéalement R ou Python Connaissance ou première approche de l'environnement Hadoop, Cloud et des opportunités autour du Big data Connaissance d'outils de Dataviz, idéalement Tableau et/ou OAC Appétence pour le fonctionnel bancaire Bonne capacité rédactionnelle Expérience nécessaire : minimum 2 années d'expérience sur le poste Langues : Français Date de démarrage : ASAP Localisation : Locaux du client situés à Brest Possibilité d'interventions hors site Client : OUI, 40% (limitée à un maximum de 40% du temps de prestation contractualisé – réalisable en France Métropolitaine uniquement). Pas d'interventions hors site prévues les 2 premiers mois. Astreintes / interventions HNO : NON Déplacements sur d'autres site client en France : NON Autre matériel requis : NON

Localisation : Toulouse (2 jours/semaine obligatoire sur site) Démarrage : ASAP Durée : Mission longue Séniorité : Minimum 7 ans d'expérience 1. Description de la missionAu sein de l'équipe Customer BI, vous intégrerez une équipe Agile de 6 personnes dédiée aux données BI du programme de fidélité Flying Blue. En tant que Tech Lead, vous accompagnerez des projets à forts enjeux combinant l'environnement BI/Big Data existant et la migration en cours vers le cloud GCP. Vos responsabilités principales : Expertise & Orientations Techniques : Participer activement aux décisions d'architecture et garantir la qualité, la fiabilité et la scalabilité des solutions décisionnelles. Support & Mentoring d'équipe : Encadrer et accompagner l'équipe de 6 personnes sur l'application des meilleures pratiques de développement et d'ingénierie Data. Migration Cloud GCP : Participer à la transition progressive de l'écosystème BI traditionnel / Big Data vers Google Cloud Platform (BigQuery, etc.). Conception & Développement : Concevoir les modèles de données, optimiser les requêtes SQL complexes et sécuriser la livraison des flux de données.

Dans le cadre du renforcement d'une équipe Data au sein d'un acteur majeur du secteur bancaire et des paiements, nous recherchons un(e) Développeur(se) Big Data disposant d'une expérience confirmée en développement Spark / Scala et/ou Java. Vous interviendrez sur des projets Data à forts enjeux, au sein d'un environnement Big Data, en collaboration avec les équipes fonctionnelles, techniques et les autres développeurs. Vos principales missions seront : Analyser les spécifications fonctionnelles transmises par la maîtrise d'ouvrage ; Identifier, analyser et formaliser les impacts applicatifs ; Rédiger les spécifications techniques ; Concevoir et réaliser les développements en Spark / Scala et/ou Java ; Manipuler et exploiter les données via SQL ; Collaborer avec les autres développeurs de l'équipe ; Réaliser les tests et assurer la livraison des développements ; Assurer le suivi et la correction des anomalies ; Intervenir en support en cas d'incidents ; Collaborer avec les différentes équipes techniques et contribuer à la bonne coordination des sujets.

Nous recherchons un Business Analyst Data pour intervenir au sein d'une équipe IT spécialisée en Data Management et Business Intelligence, sur les domaines du financement et des risques. Le consultant participera aux différents projets de l'équipe, à la maintenance évolutive des applications ainsi qu'au suivi de la production. Il assurera l'interface entre les équipes métiers et les équipes techniques afin de garantir la bonne compréhension des besoins et la qualité des solutions livrées. MissionsRecueillir et analyser les besoins métiers ; Organiser et animer les ateliers avec les utilisateurs ; Rédiger les spécifications fonctionnelles ; Participer à la modélisation des données ; Concevoir, préparer et exécuter les plans de tests ; Présenter les livrables aux utilisateurs ; Rédiger les comptes rendus et les documents de synthèse ; Accompagner les utilisateurs dans la conduite du changement ; Participer à la maintenance évolutive et au support fonctionnel ; Suivre la production et veiller à la qualité des données et des solutions ; Travailler en méthodologie Agile/Scrum.

Contexte : Nous recherchons pour notre client un OPS SRE DATA /IA pour accompagner et capitaliser sur les produits en cours de mise en place sur son périmètre au sein de l'équipe « OPS DATA /IA. » MISSIONS : En charge de l'expertise technique des solutions Data et IA, vous aurez la responsabilité d'assurer la cohérence de l'intégration des produits dans le respect des règles de sécurité et de l'architecture du SI. Dans le cadre des équipes OPS DATA / IA , vous aurez un lien fonctionnel étroit avec les équipes métiers et les équipes de la filière TSI DATA et TSI IA. La mission d'expertise aura pour but d'assurer la cohérence des solutions dans l'environnement actuel et la transformation des solutions pour les maintenir up to date avec l'état de l'art du marché. Vous assurerez le support Niveau 2 du périmètre aux équipes de production. Responsabilités : Contribuerer au bon déroulement des différentes phases du projet, et dans ce cadre vous assurerez : - Contribuer aux projets informatiques sur les dimensions qui relèvent du champ d'expertise Data / IA. - Conseiller et assister dans le choix et la mise en œuvre des solutions retenues - Assurer l'exploitabilité dans le respect des règles de sécurité et d'architecture du SI - Garantir la pertinence et la pérennité des solutions techniques et/ou fonctionnelles dont vous aurez la charge afin de permettre l'évolution et le maintien en condition opérationnelle de la solution. - Garantir que les moyens de mesure de qualité de services sont opérationnels et disponibles (Quantification/Qualimétrie de fonctionnement)

ans le cadre du renforcement d'une équipe IT Data Management & BI intervenant sur des activités de Financing & Risk, nous recherchons un Business Analyst Data disposant d'une solide connaissance des métiers du financement structuré. Le consultant interviendra à l'interface entre les équipes métiers et IT sur des projets Data, ainsi que sur les activités de maintenance évolutive et de suivi de production. À ce titre, vos principales missions seront de : Recueillir, analyser, formaliser et prioriser les besoins auprès des équipes métiers ; Animer des ateliers avec les utilisateurs et assurer l'interface entre les équipes métier et IT ; Rédiger les spécifications fonctionnelles et les cas d'utilisation ; Participer aux travaux de modélisation et de structuration des données ; Analyser les processus existants et contribuer à la définition des processus cibles ; Définir les scénarios de tests et préparer les jeux de données ; Piloter et exécuter les phases de recette fonctionnelle / MOA ; Identifier, suivre et contribuer à la résolution des anomalies ; Présenter les solutions et livrables aux utilisateurs ; Participer à la conduite du changement et à l'accompagnement des métiers ; Contribuer au suivi de la qualité des données et de la production ; Participer aux projets d'évolution du SI sur le périmètre Financing & Risk.

Client final : Secteur Industrie Type de contrat : Freelance / Indépendant uniquement Démarrage : Dès que possible – cette semaine Durée : Mission courte, haute intensité ("coup de poing") Budget : No limit / à négocier selon expertise (TJM ouvert) Contexte de la missionNotre client, acteur majeur du secteur industriel, doit impérativement migrer son cluster Azure HDInsight de la version 4.0 vers la version 5.1 d'ici le 31/08. Le cluster rencontre actuellement des problèmes de performance dégradée sur HBase, et le client recherche un expert capable d'intervenir en urgence pour : Identifier les causes racines de la dégradation de performance Auditer et optimiser la configuration du cluster HBase Sécuriser et accompagner la migration HDInsight 4.0 → 5.1 Résoudre les incidents bloquants

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet