Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Airflow

Notre client dans le secteur Banque et finance recherche un/une support risque de marché AWS H/F Description de la mission : Contexte de la mission et livrables associés : Au sein de GIT, Capital Market IT gère le système d'information des activités de marchés de capitaux (pre-trade, post-trade, risques) dans un contexte dynamique, innovant et international. L'équipe émettrice du cahier des charges de cette mission est la « filière Transversale Risk et GMD » de capital Market IT pour un accompagnement au Support Applicatif des risques de marché. La mission consiste à supporter les activités du suivi et de gestion des risques de marché (PnL, Var, Greeks, Stress, Market data, Pricing setups & Referentials, Standard Approach), et tout particulièrement sur la plateforme MASAI – support applicatif L'équipe Support MASAI repose sur l'organisation suivante: - 7p sur le support MASAI -- 4/3 Paris/Singapour Elle couvre la plage horaire suivante : WW : 2am-7pm CET (en shift) - spécifique Paris : 9am-7pm (en shift) La mission se compose de 2 axes de support : - Le support de la plateforme de production, des activités de production opérées sur cette plateforme et l'ensemble des utilisateurs . - Le support / accompagnement au programme MASAï, programme d'investissement pluriannuel qui a pour ambition la refonte complète du SI des Risques de marché Perimetre applicatif : - Primaire : MASAI FRTB (Hadoop distrib Horton Works), Spark Java, Spark SQL, HDFS, Hive, ELK + Control M, Grid computing IBM Symphony, Active Pivot, Active UI, Indexima, Tableau), grafana / Promotheus et prochainement Cloud AWS (EMR, Glacier, RedShift, S3, RDS, Dynamo, Athena, EC2, ECS, Lambda, Airflow, Cloudwatch, Glue, Kafka) - Secondaire : SQL, Unix, CTRLM Perimetre fonctionnel : - Business process : Pnl, Pnl explain, Var, Var explain, stress, Sensies, risk limit monitrogin, irc, initial margin, frtb (standard approach) sur les activités de capital market - Asset classes : Change, Taux, Credit, Actions, Trésorerie Localisations et population utilisateurs: - Mondiale mais le site principal est Paris - environ 300 à 400 utilisateurs. Détails de la prestation Support applicatif risques de marché Il s'agit d'une prestation de support technique et fonctionnel (N1 et N2 voire N3) sur les systèmes informatiques de suivi et d'analyse des risques de marché. La mission se déroulera sous la responsabilité d'un responsable d'équipe support Paris. Les contacts seront fréquents avec les multiples contributeurs IT responsables de l'implémentation des composants (Grid Pricing, Big Data, Data Analytics & UI, …) présents à Paris et Singapour Prestation attendue dans le cadre de support de production: - Garantir quotidiennement le bon fonctionnement de la production afin de délivrer les indicateurs à temps à nos clients (Risk Management, CASA, Front & Back-Office) - Collaborer avec l'ensemble des autres équipes IT (des différentes applications MRI et des systèmes contributeurs) et les pôles d'infrastructures afin de résoudre tout dysfonctionnement des applications MRI - Gérer les incidents et les demandes (technique/fonctionnel) - Participer à la gestion du PSI - Réaliser toutes les activités planifiées en HNO et les astreintes - Fonctionner en accord avec les dispositifs de support à l'international (SGP, NY, HK, …) - Rédiger la documentation, les procédures opérationnelles et les support de formation (en anglais) - Saisir et suivre le backlog de tickets et réaliser des reporting périodiques sur les activités de support - Contribuer au processus d'amélioration continu incluant la mise en place d'un processus de revue opérationnel et de qualité - Suivre les plans d'actions des problèmes jusqu'à leur clôture - Participer aux différentes instances de gouvernance du Run (Daily, WMC, Release meeting, …) - Contribuer à la gestion quotidienne de l'équipe de support MRI Les applications market risk seront déployées sur l'ensemble des sites à l'international et est utilisée par l'ensemble de la filière. Livrables attendus: - Morning check, - Monitoring : batchs, application, infrastructure - Extraction reporting en batch et sur demande d'utilisateur - Documentation support à jour en langue anglaise - Contribution au processus d'amélioration continu et à la réduction des problèmes (ITIL) . - Production quotidienne/hebdomadaire/mensuelle/trimestrielle/annuelle des chiffres par application MRI (notamment PnL, VaR, VaR Stréssée , …) - Contribution aux supports pour les différentes instances de gouvernance produits à temps - Suivi des plans d'actions d'amélioration continue de l'équipe - Tickets maintenance à jour et correctement escaladés à la MOE - Cadrage et spécifications des besoins du support - Retour d'expériences des phases d'UAT et autre parallèles run - Participation aux weekends de déploiement et autres activités. Compétences / Qualités indispensables : aws Informations concernant le télétravail : Oui — 2 jours/semaine

Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipeCréé en 2017, Consort Luxembourg accompagne localement de grands comptes internationaux ainsi que des acteurs luxembourgeois de référence. Vous rejoignez une équipe internationale dédiée aux enjeux de transformation et de technologie, avec pour objectif d'améliorer la gouvernance des projets et de développer les synergies techniques entre différentes activités. Développeur Talend / Data Integration Engineer H/FC'est votre missionVous aimez comprendre comment circulent les données, fiabiliser les échanges entre applications et aller jusqu'au code lorsqu'un flux ne fonctionne plus comme prévu ? En tant que Développeur Talend / Data Integration Engineer, vous concevez et faites évoluer les workflows d'intégration tout en contribuant à leur performance, leur fiabilité et leur intégration dans le SI. Côté build :Concevoir, développer et faire évoluer les workflows Talend ETL/ESB. Optimiser les flux et pipelines de Data Integration. Lire, interpréter et debugger le code Java généré par Talend. Définir des solutions techniques adaptées aux nouveaux besoins. Étudier leur intégration dans le paysage applicatif existant. Développer et maintenir les échanges XML et JSON. Intervenir sur les intégrations via REST et SOAP. Prendre en compte les contraintes de performance et de sécurité. Produire les conceptions techniques, dictionnaires de données et spécifications de mapping. Documenter les impacts des évolutions sur les processus métiers. Côté run :Maintenir, refactorer et optimiser les pipelines ETL existants. Garantir leur fiabilité et leurs performances. Analyser et résoudre les incidents complexes. Assurer le support et le troubleshooting autour des flux, rapports et générations documentaires. Collaborer avec les équipes techniques pour analyser les contraintes et dépendances. Participer aux analyses d'incidents, problèmes et changements. Contribuer au suivi des déploiements. Accompagner les parties prenantes techniques et métiers. Proposer des améliorations sur les applications et intégrations existantes. C'est votre parcoursVous êtes diplômé·e d'une formation supérieure en Software Engineering, informatique ou équivalent. Vous disposez d'une expérience significative en Data Integration, développement ETL ou orchestration de données, idéalement avec Talend. Vous êtes capable d'intervenir au-delà de la simple création de jobs : vous comprenez les problématiques d'intégration, savez analyser du Java généré par Talend et êtes suffisamment autonome pour diagnostiquer des problématiques complexes. Une expérience dans l'assurance ou l'industrie des fonds constitue un véritable plus. C'est votre expertiseTalend / Talend Data Fabric. ETL / ESB. SQL avancé. Java. Data Integration. Data orchestration. XML / JSON. REST / SOAP. Data Mapping. Data Dictionary. Maintenance et optimisation de pipelines. Troubleshooting. Documentation technique. Airflow, Dagster ou Kestra appréciés. Talend Administration Center (TAC) apprécié. SAP PI/PO apprécié. SmartCOMM apprécié. Connaissance des enjeux de sécurité et de protection des données au Luxembourg. C'est votre manière de faire équipeAutonomie. Esprit d'analyse. Prise d'initiative. Capacité à résoudre des problématiques complexes. Communication avec des interlocuteurs techniques et métiers. Esprit ouvert et constructif. Rigueur documentaire. Capacité à évoluer dans une équipe internationale. C'est notre engagementChez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain. Une vraie proximité managériale. Des formations accessibles en continu. Des engagements concrets : inclusion, égalité, solidarité. Un package RH complet. Une culture du feedback et des projets qui font sens. C'est clairLe process de recrutement : Un premier échange téléphonique avec notre team recrutement. Un entretien RH ainsi qu'un échange métier. Un échange technique. Un dernier point avec votre futur environnement de mission. Et si on se reconnaît : on démarre ensemble. C'est bon à savoirLieu : Luxembourg Contrat : CDI Salaire indicatif : 65 K€ à 80 K€ brut annuel selon expérience Déplacements : pas de déplacements fréquents prévus Environnement : international Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.

Location - 2 days p/week in Glasgow Duration - 12 months Rate - £365 Inside IR35 Role Overview: You will be responsible for the reliable extraction, transformation, and loading of end-of-day data. Your primary focus will be managing the overnight batch processes that synchronize data across various internal sources. Key Responsibilities: Develop, schedule, and maintain complex automated batch jobs for overnight file creation. Transform large datasets from various internal upstream sources into standardized formats. Ensure data integrity and implement robust error-handling and alerting . Required Skills: Strong proficiency in Python. Hands-on experience with Pandas for high-performance data manipulation and analysis. Experience building and orchestrating pipelines using Apache Airflow. A plus: Understanding of financial instruments, specifically structured products and derivatives. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.