Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Contexte de la mission et livrables associés : Contexte de la mission : La direction des Systèmes d’information (GIT) est responsable de la conception, du développement, de la maintenance des applications et des systèmes ainsi que de la production informatique. Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux dans un contexte dynamique, innovant et international. La mission est émise par la « filière Transversale Risk et GMD » de Capital Market IT, et se déroule en deux phases : sur les applications legacy PIRAT et GV Risk, puis sur l’application MASAI. Livrables associés : Morning check Monitoring des batchs, applications et infrastructure Extraction de rapports en batch et sur demande d'utilisateur Documentation de support mise à jour en anglais Contribution au processus d'amélioration continue et à la réduction des problèmes (ITIL) Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée) Contribution aux supports pour les différentes instances de gouvernance produits à temps Suivi des plans d’actions d’amélioration continue de l’équipe Tickets maintenance à jour et correctement escaladés à la MOE Cadrage et spécifications des besoins du support Retour d’expériences des phases d'UAT et autres parallèles run Participation aux weekends de déploiement et autres activités. Périmètre de la mission : Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana/Promotheus et prochainement Cloud. Secondaire : PIRAT, GVRisk (SQL, Unix, CTRLM) Business process : PnL, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs : Mondiale avec le site principal à Paris - environ 300 à 400 utilisateurs

Vous apporterez votre expertise technique dans la mise en œuvre de solutions innovantes chez nos clients grands comptes. Vos tâches seront les suivantes : · Développement des algorithmes pour l'anonymisation des données en utilisant Java. · Optimisation des performances des algorithmes existants pour garantir une anonymisation rapide et efficace des données sensibles. · Documentation des fonctionnalités développées et des algorithmes implémentés pour faciliter la compréhension et la maintenance du code par les membres de l'équipe. · Participation aux réunions d'équipe et aux sessions de brainstorming pour discuter des défis techniques et proposer des solutions innovantes. · Suivi des indicateurs de performance.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Notre cabinet de recrutement recherche pour l' un de ses client un consultant (H-F-Y) senior Data Engineer. Contexte globale Dans le cadre de la reprise par la branch nationale de notre client, de son Datalake OutreMer, ujourd’hui géré par une entité à part, nous avons besoin de renforcer notre dispositif existant. Un dispositif dédié sera mise en place pour assurer dans un premier temps la reprise du périmètre puis dans un second temps assurer le build (évolution des applications existantes + nouvelles applications). Challenge important puisque nous sommes fortement contraint par le planning, fin de passation et reprise en responsabilité pour fin d'année Ce dispositif sera pilotée par un CP sur Paris, et devra être constituée, en plus, d’un BA (interne au client) et de 2 Data Engineers.

Contexte et objectifs de la prestation Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Le Bénéficiaire souhaite améliorer la qualité de la gestion de ses systèmes informatiques. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes d’ Architecture technique. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants

Nous recherchons un Développeur Big Data sénior (+ 9 ans d’Expérience) pour rejoindre une équipe chargée de la mise en place d'un repository ESG (Environnemental, Social, et Gouvernance). Le but est d'assurer la transparence des entreprises sur ces aspects et de mieux évaluer la gestion des risques ainsi que la responsabilité des entreprises vis-à-vis de l’environnement et de ses parties prenantes (salariés, partenaires, sous-traitants, clients, investisseurs). Missions : Structurer et industrialiser la collecte des données ESG au sein de l'entreprise. Mettre en production des traitements de données pour générer des tableaux de bord et intégrer des modèles statistiques en collaboration avec les équipes métiers. Assurer le flux continu des données vers les équipes utilisatrices. Participer activement au suivi des projets de développement. Développer des jobs Spark, traiter et ingérer divers formats de données, développer des scripts et des pipelines d'ingestion. Développer des moyens de restitution via des fichiers, APet dashboards. Développer des API génériques et des pipelines d'ingestion pour les données en streaming et batch. Participer à la conception, mise en place et administration de clusters Hadoop et autres solutions Big Data. Mettre en place des services d'extraction de données via Spring Boot, envoyer les données vers le data lake via Kafka. Produire des rapports sous forme de Business View en normalisant et en agrégeant les données.

Activité principale : Assure la création, la maintenance, l'optimisation et la sécurité des bases de données Détecte, propose et suit les optimisations des requêtes SQL, PL/SQL afin de garantir les meilleures performances de nos applications métier Assure le support aux équipes de développement afin d’identifier et proposer des solutions performantes SGBD les mieux adaptées d’un point de vue métier Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données Conception et développement de traitements de données Réalisation d’études statistiques Présentation de résultats sous la forme de rapports d’étude ou de tableaux de bord Développement d’outils de visualisation de données pour faciliter les analyses Documentation des traitements en vue d’une industrialisation Participation aux cérémonies agiles de l’équipe Diffusion et vulgarisation des résultats d’étude Activité secondaire : Veille technologique sur les outils utilisés au sein du projet Partage et formation sur les guides de bonnes conduites

PROPULSE IT recherche un(e) consultant(e) Active Directory pour une mission chez un de nos clients. Sur cette mission l'accent est mis sur l'expertise Azure AD. MCO de la partie Active Directory : 80% - Participation à la résolution des incidents et demandes liés à la gestion des de Niveau 3 liés aux droits d'accès. - Participation à la MCO des outils d'administration des solutions d'Active Directory et Azure AD. Gestion des projets 20% o Participe activement aux projets o Planification en lien avec les chefs de projet Attendus comportementaux - Esprit d'équipe – partage de connaissances - Adaptabilité aux changements - Anglais professionnel courant y compris à l'oral (Animation / participation / communication fréquente avec les IT régionales). Equivalent Niveau B2 (Classification Européenne).

Dans le cadre de la réalisation d'un projet en assistance technique pour l'un de nos clients du secteur naval, nous recrutons un(e) intégrateur système (H/F). Vous interviendrez sur le site client situé dans le département de la Manche. Vos missions quotidiennes seront les suivantes : - Définition de l'Architecture Système: Analyser les besoins clients et élaborer des solutions techniques adaptées pour les systèmes de communication, de navigation et d'armement. Définir l'architecture système en tenant compte des contraintes techniques, réglementaires et opérationnelles. - Collaboration avec le Bureau d'Études: Travailler en parallèle avec les équipes du bureau d'études pour assurer la cohérence et l'intégration des systèmes. Participer aux revues de conception et aux réunions techniques afin de garantir l'alignement des solutions proposées avec les exigences du projet. - Choix des Fournisseurs: Évaluer et sélectionner les fournisseurs de matériel et de logiciels en fonction des spécifications techniques et des exigences du projet. Négocier les contrats et gérer les relations avec les fournisseurs pour assurer la qualité, le coût et les délais de livraison. - Mise en Service et Essais: Superviser l'installation et l'intégration des systèmes de communication, de navigation et d'armement à bord des navires. Planifier et conduire les essais en mer pour vérifier la conformité des systèmes installés avec les spécifications techniques. Diagnostiquer et résoudre les problèmes techniques rencontrés lors des phases de mise en service et d'essais. Sujet défense. Et après ? En tant que véritable partie prenante de DAVRICOURT, vous vous verrez proposer des projets techniques et à forte valeur ajoutée par nos équipes.

PROPULSE IT recherche pour un de ses clients un Ingenieur Système / Administrateur Senior (+10 ans d'exp) : Administration Infrastructure ▪ Gérer le parc des (60) serveurs industriels, bureautiques et logiciels ▪ Exploiter et maintenir en condition opérationnelle et de sécurité les infrastructures hébergeant les applications locales, IaaS, etc. ▪ Réaliser l'installation, le paramétrage et l'assistance utilisateur des logiciels métiers et industriels ▪ Mettre en œuvre les outils garantissant la disponibilité, l'intégrité et la confidentialité des données dans le respect des engagements de service ▪ Gérer les droits d'accès aux systèmes et aux applications en fonction des profils ▪ Assurer le dépannage sur les infrastructures locales y compris la traçabilité des interventions ▪ Produire la documentation des infrastructures systèmes, bases de données, applications et ressources ▪ Contribuer à la mise à jour de la cartographie des SI et logiciels ▪ Assister et conseiller les utilisateurs, pour le périmètre hors service client de la DSI ▪ Réalise le projet de portage technique et les travaux d'infrastructure (projet remédiation IaaS) ; Projets SI industriel transverses ▪ Contribuer aux projets sous le pilotage de la DSI. A titre d'exemple : migration Windows ▪ Contribuer aux projets industriels. A titre d'exemple : installation de serveurs pour les automates en atelier, gestion des connexions pour les équipements industriels, projet BIM, etc. Les livrables attendus tout au long de la mission sont les suivants : ▪ Documentation des infrastructures systèmes, bases de données, applications et ressources ; ▪ Les comptes-rendus de réunions ; ▪ La stratégie de recette et de migration technique ; ▪ Le plan d'action et de suivi des projets.

Nous recherchons un(e) professionnel(le) de l'IT pour la prochaine publication de notre ouvrage qui portera sur Hadoop. "Pourquoi pas moi ? Je suis data engineer, formateur(trice), consultant(e), développeur(euse) Big Data... et Hadoop n'a aucun secret pour moi. J’ai envie de partager mon expertise et mon expérience au plus grand nombre ! Ecrire un livre me permettra de renforcer ma crédibilité et de mettre à profit mes connaissances." Notre équipe éditoriale t’accompagnera à chaque étape de la conception du livre en partageant avec toi leur savoir-faire et leur expérience dans la création de livres en informatique.

Nous recherchons un(e) chef de projet technique infrastructure systèmes Microsoft - AD L'objectif consiste à permettre la migration des applications vers un annuaire cible via des conseils en amont sur l'adaptation des applications (comptes de services, GPO, …) et sur l'analyse et traitement des incidents post-migration. Ces migrations se feront dans le contexte suivant : - Une période de trust bidirectionnelle pour migrer (jalon Juin 2024) - Un Hardening est mis en place sur le domaine cible par GPO - La DSI s'appuie sur un intégrateur qui migre les objets. L'intégrateur prendra en charge des actions manuelles simples complémentaires lors de la migration des serveurs à partir du moment où elles auront été documentées. Remarque : Il n'y aura pas de renommage des comptes et des groupes dans le cadre de la migration, seul les nouveaux objets devront respecter la nouvelle convention de nommage. Le parc applicatif comporte environ un millier d'applications pilotées par environ 450 Applications Owners : - Seulement certaines applications ont des environnements hors prod; - Certains Application Owners maitrisent leurs applications et d'autres moins. Certains Application Owners s'appuient sur une TMA externe; - Certaines applications sont documentées et d'autres moins; - Certaines applications s'appuient sur l'AD pour l'authentification; et d'autres non. l'objectif est de proposer un accompagnement technique auprès des responsables d'applications et product owner leur permettant d'identifier les impacts et les évolutions à mener sur leurs applications.

Contexte : - Assurer la maintenance du système informatique afin qu'il fonctionne correctement, ainsi que son amélioration ; - Gérer les différents moyens informatiques. Responsabilités : - Configuration et maintien en condition opérationnelle de l'infrastructure Systèmes ; - Installation, configuration et exploitation quotidienne de l'ensemble des serveurs ; - Rôle de chef de projet dans les évolutions d'Infrastructure : étude et intégration des nouveaux services ; - Support Niveau 2 et 3 sur l'infrastructure ; - Gérer les relations avec les prestataires et partenaires ; - Rédaction et mise à jour de la documentation technique et des procédures ; - Veille technologique dans le domaine serveur. Compétences Techniques : - Serveurs : Windows Server 2012R2/2016/2019 - Postes : Windows XP/7/10 - Scripting : PowerShell, VBScript, Batch - Techno : Forêt Active Directory 2012R2, GPO, File Server, DFS, IIS, RDS, Exchange 2016, Hyper-V, ArcServe Backup, Veeam Backup, supervision PRTG - Stockage : NAS, SAN, LUN, technologie RAID - Constructeur : Dell, HP, Fortinet

Dans le cadre de notre développement, nous recherchons un Ingénieur d'exploitation Open. Contexte : Au sein du Cluster Banques de proximité, vous possédez une expertise des applications, des outils et des systèmes d'information dont vous avez la charge afin de réaliser la majorité des activités de production informatique dans toutes les étapes du Cycle de vie Produit et dans tous les environnements (Prod et hors Prod). Missions : · Réaliser les actions de mise en production des solutions o Assurer les MEP et vérifier l'absence d'impact (y/c en HNO) o Autorisation des changements en coordination avec l’entité cliente et les équipes o Communication vers l’entité des applications concernées par le changement dans les délais contractuels o Traiter les problèmes identifiés en exploitation · Garantir l'exploitabilité des solutions en Run et la continuité d'activité o Réaliser les activités de contrôle des opérations o Être garant des normes de production et d’exploitabilité o Assurer la maitrise du plan de production des domaines gérés o Exécuter ou faire exécuter les demandes de service et les actes d'admin applicatifs · Assurer la relation opérationnelle avec l'équipe de développement entité o Gestion de bout en bout l'intégrité des DTA, déclinaison en opérations techniques o Assurer le suivi des incidents techniques o Prendre en charge les METIS (Service Now) de la Squad o Gérer les problèmes de son périmètre et être responsable des plans d’actions et des tâches assignés · Accompagner les développeurs dans la fabrication des solutions o Mettre en place des éléments de surveillance et des consignes associées en collaboration avec le développeur o Exprimer des besoins d’automatisation de tâches techniques auprès de l’équipe Outils et Développement o Mettre en place les indicateurs d'observabilité et vérifier l'intégration des exigences de production et d’exploitation dans les développements · Livrables attendus o Des dossiers d'architecture d'exploitation validés, traités et conformes aux besoins entité o Des dossiers d’Exploitation en pré requis à la mise en production o Des référentiels de documentation et techniques à jour o ...

PROPULSE IT recherche un Expert technique système Linux Senior (+10 ans d'exp.) cette prestation d'expert technique spécialisé dans les technologies RedHat Linux aura pour principale mission d'assurer un support de niveau N2/N3 sur cette plateforme. Nous cherchons également à intégrer des compétences DevOps, notamment dans les technologies d'orchestration et d'automatisation, afin de soutenir les équipes et les projets en cours. L'un des projets techniques auxquels le prestataire devra contribuer est l'automatisation et l'industrialisation du processus de déploiement, visant à aligner nos environnements applicatifs sur les normes en vigueur et à adopter une approche similaire au Cloud pour le déploiement sur site. Dans ce contexte, nous attendons du prestataire qu'il nous aide a monter en compétence et participe à la conception des images Packer nécessaires ainsi que les Playbooks Ansible associés. Mission : - Asurer le support N2/N3 des infrastructures, des paliers OS et des middlewares actuellement utilisés auprès des équipes de la production. Force de proposition dans le cas ou des actions de support sont automatisables. - Participer aux projets techniques sur des environnements Linux (mise en œuvre de nouveaux paliers OS, middlewares et des évolutions d'infrastructures existantes)

Vos principales responsabilités Participer au monitoring (RUN) et la maintenance (MCO) de l'infrastructure. Prendre part aux évolutions de ces plateformes dans le respect de la roadmap (trimestrielle). Tester et documenter les fonctionnalités des nouvelles releases. Garantir la sécurité de la plateforme. Etre à l'écoute des utilisateurs, vous qui êtes un véritable ambassadeur de la plateforme auprès de ces derniers. Effectuer une veille constante afin de pouvoir partager le fruit de vos recherches avec vos co-équipiers. Exécuter des opérations et support aux clients utilisant la plateforme : - Analyser des incidents techniques en production (trouble shooting) - Gérer le support applicatif notamment en heures non ouvrées Proposer / Définir des standards pour la plateforme. Participer au design des solutions techniques et aux études de faisabilité sur les futurs standards (e.g. nouveaux service). Votre futur impact Dans 6 mois Vous deployerez la nouvelle infrastructure Data Lake Vous maitriserez les process de maintenance et mise en production d'un environnement critique Vous accompagnerez les équipes internes dans une migration d'un ancien DataLake vers le nouveau Vous maitriserez les bonnes pratiques de revues de codes dont vous serez contributeur Compétences requises : Vous êtes sensible aux enjeux de sécurité. Vous maîtrisez le travail collaboratif (versioning, code review, CI/CD, etc.). Vous maîtrisez Linux, Kubernetes et Ansible. Vous justifiez d'une bonne expérience en architecture systèmes. Vous avez déjà eu affaire au suivi d'infrastructure dans un environnement de production. C'est un + Vous avez des connaissances sur les infrastructures Big Data. Les applications de Data Engineer ne vous sont pas inconnues ( Dremio, Dataiku, Superset).