Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Cherry Pick est à la recherche d'un "Consultant Data" pour un client dans le secteur de la banque Missions : Vous maîtrisez ou connaissez les technologies suivantes : Elasticsearch, Logstash, Kibana, JupyterHub, Apache Spark, Open Metadata Vous assurez le maintien en condition opérationnelle des différentes technologies du socle Data Vous assurez le RUN des différentes technologies Data et intervenez en analyse de premier niveau en cas d'incident de production Vous contribuez aux projets de migration, innovation, dette IT et décommissionnement Vous réalisez les phases de POCs, MVPs et R&D Vous vous formez techniquement Vous assurez la gestion et l'automatisation Vous aurez le plaisir de découvrir un contexte de travail ambitieux Vous pratiquerez l'agilité avec une méthode traditionnelle cycle en V Vous encadrerez et formerez les membres du département technique

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : Conception : Contribuer aux ateliers de conception de nos solutions, jouer un rôle de conseils en vue de la création de la Data Visualisation Collecte et extraction des données : Rechercher et rassembler des données pertinentes à partir de diverses sources (Datalake Groupe, Référentiels Groupes, autres sources, etc.…) Nettoyage et préparation des données : Traiter les données pour éliminer les erreurs et les redondances, et les préparer pour une analyse précise. Visualisation des données (activité principale) : Créer des visualisations claires et informatives pour répondre aux besoins ; Outil utilisé dans notre environnement : Tableau Software (Desktop, Prep) et Tableau Server (Data Management, Server Management) ; (PowerBI en étude) Traitement et maintenance des dashboards : implémentation et maintien en condition opérationnelle de champs calculés complexes et dashboards associés Documentation : Se tenir informé des dernières avancées en matière d’outils et de techniques d’analyse de données pour améliorer continuellement les méthodes utilisées. Contexte anglophone. Méthodologie de travail : AGILE Scrum Livrables : Les livrables attendus sont : Porter la Data Visualisation du produit DIVA (Tableau Software) ; Création et MCO Proposer les solutions en adéquation avec les besoins des utilisateurs en lien avec le Product Manager Assistance à l'entité (technique, fonctionnelle) Conduite du changement et de maintien des connaissances de l'entité, particulier sur la création et la Mise à jour de la documentation des dashboards produits Contribution aux rituelles techniques (AGILE)

Contexte de la mission Dans le cadre de la construction de la stratégie data centric de l’entreprise, nous recherchons une personne pouvant nous aider à développer notre solution ESB sur AWS. Cette solution nécessitera le développement de services (webservices) au sein de l’ESB et de solution d’abonnements pour que les utilisateurs puissent s’abonner à des services de mise à disposition ou de consommation des données. Pour commencer, le prestataire devra faire un audit et de l’optimisation de l’existant qui repose sur des développements manuels de lambdas AWS. Missions Analyse des besoins et spécifications techniques Contributions aux phases d’architecture technique Développement, tests unitaires et contrôle qualité Participation à la mise en production des livrables Support technique Livrables Spécifications techniques Contributions au Document d’Architecture Technique (DAT) Document d’Exploitation Document de mise en production Feuille de route de MEP Reporting d’activité

Contexte de la mission et livrables associés : Contexte de la mission : La direction des Systèmes d’information (GIT) est responsable de la conception, du développement, de la maintenance des applications et des systèmes ainsi que de la production informatique. Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux dans un contexte dynamique, innovant et international. La mission est émise par la « filière Transversale Risk et GMD » de Capital Market IT, et se déroule en deux phases : sur les applications legacy PIRAT et GV Risk, puis sur l’application MASAI. Livrables associés : Morning check Monitoring des batchs, applications et infrastructure Extraction de rapports en batch et sur demande d'utilisateur Documentation de support mise à jour en anglais Contribution au processus d'amélioration continue et à la réduction des problèmes (ITIL) Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée) Contribution aux supports pour les différentes instances de gouvernance produits à temps Suivi des plans d’actions d’amélioration continue de l’équipe Tickets maintenance à jour et correctement escaladés à la MOE Cadrage et spécifications des besoins du support Retour d’expériences des phases d'UAT et autres parallèles run Participation aux weekends de déploiement et autres activités. Périmètre de la mission : Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana/Promotheus et prochainement Cloud. Secondaire : PIRAT, GVRisk (SQL, Unix, CTRLM) Business process : PnL, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs : Mondiale avec le site principal à Paris - environ 300 à 400 utilisateurs

Leadership Technique : Diriger et encadrer les équipes de développement pour assurer la livraison des projets selon les normes de qualité. Jouer un rôle clé dans la définition de l'architecture des solutions et des meilleures pratiques de développement. Développement et Maintenance : Développer, tester, déployer et maintenir des applications Java/JEE robustes et performantes. Gérer et optimiser les serveurs d'application Wildfly et JBoss pour assurer des performances optimales. Gestion de Projets : Collaborer avec les équipes produit et les parties prenantes pour définir les exigences et les spécifications techniques. Suivre l'avancement des projets, identifier les risques et mettre en place des plans d'action pour les atténuer. Intégration et Automatisation : Utiliser Control-M pour automatiser les workflows et les processus de déploiement. Assurer l'intégration continue et la livraison continue (CI/CD) des applications.

Nous sommes à la recherche d'un Data engineer : Vous avez une expérience concrète dans la création et la mise en œuvre de solutions Big Data, de préférence sur des plateformes Cloud. Vous maîtrisez des langages et outils de programmation tels que Spark, Scala, SQL, et Python. Vous possédez de fortes capacités d’analyse et êtes capable de présenter et vulgariser efficacement votre travail à différentes parties prenantes. Vous avez une excellente capacité d’écoute et êtes en mesure de recueillir des informations détaillées, qu'elles soient d'ordre technique ou métier, sans hésiter à approfondir les sujets. Vous avez une bonne compréhension des concepts DevOps et des pratiques CI/CD ainsi que des outils associés. Vous êtes familier avec les outils Agile, notamment JIRA, et avez déjà travaillé dans un environnement Agile.

Vous êtes expert en informatique avec plus de dix ans d’expérience professionnelle et vous êtes passionné par le secteur d’activité de la Data. Au sein d’une équipe d’expertise technique de 10 personnes vous contribuez à la construction du socle data. Dans une mission de longue durée : > Vous maitrisez ou connaissez les technologies suivantes : Elasticsearch, logstash ,kibana, jupiterhub, apache spark, open metadata > Vous assurez le maintien en condition opérationnelle des différentes technologies du socle Data > Vous assurez le RUN des différentes technologies Data et intervenez en analyse de premier niveau en cas d’incident de production > Vous contribuez aux projets techniques de migration, innovation, dette IT et décommissionnement > Vous réalisez les phases de POCs , MVPs et R&D > Vous êtes autonome et polyvalent techniquement > Vous pratiquez l’apprentissage en continu et l’autoformation > Vous avez soif de challenges et de découvrir un contexte de travail amitieux > Vous travaillez en mode agile aussi bien qu’en mode traditionnelle cycle en V > Vous assurez la fonction ou le rôle de techlead ou d’expert technique

Nous sommes à la recherche d'un consultant Chef de projet Big Data pour les missions suivantes: la gestion et le pilotage de projets informatiques, de l’étude d’opportunité à la livraison, en respectant délais et budgets l’accompagnement des métiers la rédaction des besoins la gestion du backlog la conception fonctionnelle et technique la réalisation et les tests applicatifs la maintenance des solutions la gestion des partenaires le pilotage financier le développement des relations internes le reporting

Dans le cadre des projets d'évolution de notre banque, l'architecte applicatif a pour mission : d'accompagner opérationnellement les projets pour la définition de l’architecture applicative et défendre les choix opérés lors du passage en Comité d’Architecture et des différentes instances. Il est sollicité sur les nouveaux projets et sur les évolutions significatives des applications existantes (nouveaux flux, nouveaux composants, évolutions du périmètre fonctionnel initial…) • Participer activement à la phase de cadrage projet • Découpage en Services/Microservices • Proposer et accompagner les projets dans l’adoption des technologies de type Spark, Java, Kafka • Accompagner les équipes de développements pour l’application des règles et standards d’architecture. • Répondre aux exigences fonctionnelles et non fonctionnelles demandées dans le cadre de la mise en place de la solution. • Evaluer la pertinence et la cohérence des projets par rapport aux patterns d’architecture technique et aux systèmes existants (par des études d’opportunité, des POC, etc.) • Rédaction des dossiers d’architecture applicative et techniques • Gérer (construction, mise à jour et évolution) la cartographie technique du SI ou du sous-ensemble du SI dont il a la charge • Définir ou contribuer à la définition des patterns d’architecture technique à partir des services d’infrastructure mis à disposition par l’infogéreur du Groupe

Nous recherchons un Développeur Big Data sénior (+ 9 ans d’Expérience) pour rejoindre une équipe chargée de la mise en place d'un repository ESG (Environnemental, Social, et Gouvernance). Le but est d'assurer la transparence des entreprises sur ces aspects et de mieux évaluer la gestion des risques ainsi que la responsabilité des entreprises vis-à-vis de l’environnement et de ses parties prenantes (salariés, partenaires, sous-traitants, clients, investisseurs). Missions : Structurer et industrialiser la collecte des données ESG au sein de l'entreprise. Mettre en production des traitements de données pour générer des tableaux de bord et intégrer des modèles statistiques en collaboration avec les équipes métiers. Assurer le flux continu des données vers les équipes utilisatrices. Participer activement au suivi des projets de développement. Développer des jobs Spark, traiter et ingérer divers formats de données, développer des scripts et des pipelines d'ingestion. Développer des moyens de restitution via des fichiers, APet dashboards. Développer des API génériques et des pipelines d'ingestion pour les données en streaming et batch. Participer à la conception, mise en place et administration de clusters Hadoop et autres solutions Big Data. Mettre en place des services d'extraction de données via Spring Boot, envoyer les données vers le data lake via Kafka. Produire des rapports sous forme de Business View en normalisant et en agrégeant les données.

Contexte de la mission : Pour l'un de nos clients, nous recherchons un Consultant DevOps / SRE. Vous ferez partie de l'équipe Data Flows and Services pour prendre en charge l'intégration de la suite d'outils Data. Mission : En tant que Consultant DevOps / SRE , vous serez responsable : du maintien en condition opérationnelle des plateformes l'amélioration de leur stabilité, leur performance et leur sécurité l'optimisation de l'automatisation et les processus Vous serez garant de la chaine d'intégration.

[Contexte] La DSI a en charge de gérer les systèmes d'information des fonctions de contrôle et de pilotage du Groupe et de ses filières. Cette entité assure les fonctions décrites pour les périmètres SI suivants : La collecte des données, la base de données Liquidité, les données communes aux Filières Finance et Risques et Conformité, l’accès agile et la valorisation des données et le pilotage des opérations relevant du périmètre du Centre de Solutions [La prestation consiste à contribuer à/au(x)] - L’architecture avec le reste de l’entité (tech lead, devs, architecture). - Mise en œuvre/Développement des propositions techniques. - Revue de code. - Suivi des méthodologies agiles. - L'industrialisation des développements et des tests sur de l'open source Environnement anglophone

Compétence obligatoire sur SAP Business Objects Webi, Univers, et ETL Data Services Les compétences souhaitées sont les suivantes: Maintien et évolution de la plateforme BI legacy (70% de l'activité) : · Modélisation BI (étoile, flocon) · ETL Talend · SGBD SQL Server Participer aux projets de migration et d'évolution de la plateforme BI dans l'écosystème AWS (30% de l'activité) : · Modélisation BI (étoile, flocon) · Maitrise du SQL appliqué dans environnement big data (spark SQL, Hive)

Afin d'accompagner l'un de nos clients, Norgay recrute un Tech Lead Data H/F, dont les missions seront les suivantes : Piloter et coordonner les projets data depuis la conception jusqu’à la mise en production Définir les roadmaps, les plannings et les priorités en fonction des besoins métiers Assurer la liaison entre les équipes techniques et les parties prenantes Modéliser les données pour répondre aux besoins analytiques et opérationnels Garantir la qualité, la sécurité et la conformité des données

Activité principale : - Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données - Conception et développement de traitements de données - Réalisation d'études statistiques - Présentation de résultats sous la forme de rapports d'étude ou de tableaux de bord - Développement d'outils de visualisation de données pour faciliter les analyses - Documentation des traitements en vue d'une industrialisation - Participation aux cérémonies agiles de l'équipe - Diffusion et vulgarisation des résultats d'étude Activité secondaire : - Veille technologique sur les outils utilisés au sein du projet - Partage et formation sur les guides de bonnes conduites