Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet
Notre client dans le secteur Banque et finance recherche un/une Architecte IA / MLOps Senior H/F Description de la mission : Dans le cadre du développement et de l'industrialisation des usages d'Intelligence Artificielle au sein d'une grande organisation, notre client recherche un Architecte IA / MLOps Senior pour accompagner la définition, la mise en œuvre et le passage à l'échelle de solutions IA (Machine Learning et IA Générative). La mission s'inscrit au sein d'une équipe Architecture & IA en interaction avec les équipes Data, Cloud, Architecture d'Entreprise, Sécurité, Conformité et Métiers. Objectifs de la missionConcevoir les architectures techniques des solutions IA et IA Générative. Garantir l'intégration des solutions dans le système d'information existant. Définir et déployer les pratiques MLOps nécessaires à l'industrialisation des modèles. Mettre en place les dispositifs d'observabilité et de supervision des solutions IA en production. Accompagner les équipes techniques dans l'adoption des bonnes pratiques IA. Missions principalesArchitecture et cadrage techniqueRéaliser les études de faisabilité technique des cas d'usage IA. Définir les architectures cibles pour des solutions de Machine Learning, RAG, LLM et agents IA. Produire les dossiers d'architecture et recommandations techniques. Veiller à l'alignement avec les standards d'architecture, de sécurité et de gouvernance. Prototypage et validationPiloter ou réaliser des POC et MVP IA. Évaluer la pertinence des modèles, des données et des mécanismes d'intégration. Identifier les risques techniques et les prérequis d'industrialisation. Formaliser les résultats et recommandations. Industrialisation et MLOpsConcevoir et mettre en œuvre les chaînes MLOps. Définir les processus de déploiement, de versioning et de monitoring des modèles. Accompagner l'intégration des solutions IA dans les environnements de production. Contribuer à la structuration d'un catalogue de services IA. Observabilité et exploitationDéfinir les indicateurs de suivi et de performance des modèles. Mettre en place les mécanismes de supervision et d'alerte. Contribuer à l'amélioration continue de la fiabilité des solutions IA. Participer à la définition des processus de RUN IA. Gouvernance et accompagnementParticiper aux instances de gouvernance IA et Architecture. Veiller à la conformité des solutions avec les exigences réglementaires et de sécurité. Assurer un rôle de référent technique auprès des équipes projets. Accompagner la montée en compétence des équipes sur les sujets IA, GenAI et MLOps. Livrables attendusDossiers d'architecture IA. Études de faisabilité et rapports de POC. Standards et bonnes pratiques MLOps. Schémas d'architecture et documentation technique. Tableaux de bord de supervision et indicateurs de performance. Recommandations d'industrialisation et de gouvernance. Compétences requisesIndispensablesPython. Git et CI/CD (GitLab CI ou équivalent). Cloud public, avec une forte orientation Azure. Machine Learning et IA Générative (LLM, RAG, embeddings). MLOps : pipelines, déploiement, monitoring, versioning. Architecture d'intégration et APIs. Expérience des architectures d'agents IA. AppréciéesSnowflake. Apache Airflow. Sécurité appliquée à l'IA (gestion des prompts, traçabilité, cloisonnement des données). Profil recherchéFormation supérieure en informatique, data ou intelligence artificielle. Minimum 5 ans d'expérience sur des environnements Data / ML / Cloud. Expérience significative en architecture IA et industrialisation de solutions IA. Bonne compréhension des enjeux d'intégration au sein d'un système d'information complexe. Expérience des environnements d'entreprise et de la gouvernance technologique. Qualités attenduesLeadership technique. Capacité à vulgariser et accompagner les équipes. Orientation résultats et valeur métier. Rigueur documentaire et sens de la qualité. Forte sensibilité aux enjeux de sécurité et de conformité. Excellentes capacités de communication avec des interlocuteurs techniques et métiers. Compétences / Qualités indispensables : MLOps, Cloud, Expérience concrète en industrialisation de solutions IA Compétences / Qualités qui seraient un + : Certifications Cloud Architect (AWS/Azure/GCP), AzureMLInformations concernant le télétravail : Oui — 2 jours/semaine
Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipeCréé en 2017, Consort Luxembourg accompagne localement de grands comptes internationaux ainsi que des acteurs luxembourgeois de référence. Vous rejoignez une équipe internationale dédiée aux enjeux de transformation et de technologie, avec pour objectif d'améliorer la gouvernance des projets et de développer les synergies techniques entre différentes activités. Développeur Talend / Data Integration Engineer H/FC'est votre missionVous aimez comprendre comment circulent les données, fiabiliser les échanges entre applications et aller jusqu'au code lorsqu'un flux ne fonctionne plus comme prévu ? En tant que Développeur Talend / Data Integration Engineer, vous concevez et faites évoluer les workflows d'intégration tout en contribuant à leur performance, leur fiabilité et leur intégration dans le SI. Côté build :Concevoir, développer et faire évoluer les workflows Talend ETL/ESB. Optimiser les flux et pipelines de Data Integration. Lire, interpréter et debugger le code Java généré par Talend. Définir des solutions techniques adaptées aux nouveaux besoins. Étudier leur intégration dans le paysage applicatif existant. Développer et maintenir les échanges XML et JSON. Intervenir sur les intégrations via REST et SOAP. Prendre en compte les contraintes de performance et de sécurité. Produire les conceptions techniques, dictionnaires de données et spécifications de mapping. Documenter les impacts des évolutions sur les processus métiers. Côté run :Maintenir, refactorer et optimiser les pipelines ETL existants. Garantir leur fiabilité et leurs performances. Analyser et résoudre les incidents complexes. Assurer le support et le troubleshooting autour des flux, rapports et générations documentaires. Collaborer avec les équipes techniques pour analyser les contraintes et dépendances. Participer aux analyses d'incidents, problèmes et changements. Contribuer au suivi des déploiements. Accompagner les parties prenantes techniques et métiers. Proposer des améliorations sur les applications et intégrations existantes. C'est votre parcoursVous êtes diplômé·e d'une formation supérieure en Software Engineering, informatique ou équivalent. Vous disposez d'une expérience significative en Data Integration, développement ETL ou orchestration de données, idéalement avec Talend. Vous êtes capable d'intervenir au-delà de la simple création de jobs : vous comprenez les problématiques d'intégration, savez analyser du Java généré par Talend et êtes suffisamment autonome pour diagnostiquer des problématiques complexes. Une expérience dans l'assurance ou l'industrie des fonds constitue un véritable plus. C'est votre expertiseTalend / Talend Data Fabric. ETL / ESB. SQL avancé. Java. Data Integration. Data orchestration. XML / JSON. REST / SOAP. Data Mapping. Data Dictionary. Maintenance et optimisation de pipelines. Troubleshooting. Documentation technique. Airflow, Dagster ou Kestra appréciés. Talend Administration Center (TAC) apprécié. SAP PI/PO apprécié. SmartCOMM apprécié. Connaissance des enjeux de sécurité et de protection des données au Luxembourg. C'est votre manière de faire équipeAutonomie. Esprit d'analyse. Prise d'initiative. Capacité à résoudre des problématiques complexes. Communication avec des interlocuteurs techniques et métiers. Esprit ouvert et constructif. Rigueur documentaire. Capacité à évoluer dans une équipe internationale. C'est notre engagementChez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain. Une vraie proximité managériale. Des formations accessibles en continu. Des engagements concrets : inclusion, égalité, solidarité. Un package RH complet. Une culture du feedback et des projets qui font sens. C'est clairLe process de recrutement : Un premier échange téléphonique avec notre team recrutement. Un entretien RH ainsi qu'un échange métier. Un échange technique. Un dernier point avec votre futur environnement de mission. Et si on se reconnaît : on démarre ensemble. C'est bon à savoirLieu : Luxembourg Contrat : CDI Salaire indicatif : 65 K€ à 80 K€ brut annuel selon expérience Déplacements : pas de déplacements fréquents prévus Environnement : international Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.
Profil: Ingénieurie Data expérimenté pour concepion, construction et maintenance d' une infrastructure de données robuste et performance dans un environnement entièrement on-premise. Étroite collaboration avec les équipes Data pour garantir des pipelines fiables et de haute qualité sur notre infrastructure autogérée. - Expertise Python en contexte professionnel et en production - Maîtrise des paradigmes avancés : décorateurs, générateurs, context managers, métaclasses, typage statique avec mypy - Conception de packages Python structurés et réutilisables, gestion de dépendances - Écriture de tests robustes : pytest, mocking, fixtures, tests paramétrés, couverture de code - Développement de clients Kafka en Python (confluent-kafka, kafka-python) : producteurs, consommateurs, gestion des offsets et des erreurs - Expérience avec les clients Elasticsearch en Python (elasticsearch-py) pour l'indexation et la recherche - Développement d'opérateurs et de hooks Airflow custom en Python - Manipulation de données avec pandas et PyArrow pour les formats colonnaires (Parquet, ORC) - Maîtrise des outils de qualité de code : black, ruff, pylint, pre-commit - Bonne connaissance de la programmation asynchrone (asyncio, aiohttp) pour les pipelines I/O-bound - Maitrise kubernetes et CI/CD (gitops, etc )
Location - 2 days p/week in Glasgow Duration - 12 months Rate - £365 Inside IR35 Role Overview: You will be responsible for the reliable extraction, transformation, and loading of end-of-day data. Your primary focus will be managing the overnight batch processes that synchronize data across various internal sources. Key Responsibilities: Develop, schedule, and maintain complex automated batch jobs for overnight file creation. Transform large datasets from various internal upstream sources into standardized formats. Ensure data integrity and implement robust error-handling and alerting . Required Skills: Strong proficiency in Python. Hands-on experience with Pandas for high-performance data manipulation and analysis. Experience building and orchestrating pipelines using Apache Airflow. A plus: Understanding of financial instruments, specifically structured products and derivatives. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
ELK confirmé / expert (7 ans d'expérience minimum) : Keycloak,Python,ElasticSearch,ELKstack,DNS (Domain Name System),oAuth 2,Linux,TLS (Transport Layer Security),Kibana,Nginx,Rancher Labs Rancher,Longhorn, Compétences indispensables RKE2 : orchestration de conteneurs, socle de l'infrastructure Kubernetes. Elasticsearch : moteur de stockage, d'indexation et de recherche des logs. ECK (Elastic Cloud on Kubernetes) : opérateur permettant le déploiement et l'administration d'Elasticsearch sur Kubernetes. Kibana : interface de visualisation, d'analyse et d'exploration des données. Rancher : administration, supervision et gestion des clusters Kubernetes. Longhorn : solution de stockage persistant distribué pour les volumes Kubernetes. Keycloak : gestion des identités et authentification centralisée. OAuth2-Proxy : sécurisation de l'accès à Kibana via une authentification OAuth2/OIDC. NGINX Ingress Controller : point d'entrée réseau de la plateforme (migration vers Traefik Ingress prévue en 2027). Cert-manager / Let's Encrypt / TLS : gestion automatisée des certificats HTTPS. S3 / Stockage objet : source des données d'ingestion (PFC, FINESS, Observatoire...). Python : développement et maintenance des scripts d'ingestion et de traitement des données. Linux / Bash : administration système et automatisation des tâches. Réseaux : bonnes connaissances en proxy, firewall, DNS et protocoles réseau. Compétences appréciées : Git : gestion de versions du code, des manifests Kubernetes et des configurations. Apache Airflow : connaissances de l'environnement legacy Data Management (en cours de décommissionnement). Filebeat / Elastic Agent : collecte et expédition des logs. OpenTelemetry (OTLP) : instrumentation et standard de collecte des logs, métriques et traces. Keycloak,Python,ElasticSearch,ELKstack,DNS (Domain Name System),oAuth 2,Linux,TLS (Transport Layer Security),Kibana,Nginx,Rancher Labs Rancher,Longhorn,
Dans le cadre d'un programme stratégique de transformation Data, un Data Engineer confirmé est recherché pour participer au développement et à l'industrialisation de Data Products au sein d'une plateforme de données Cloud. Il intégrera une équipe Data en charge de valoriser les données issues de plusieurs systèmes d'information métiers afin de répondre aux besoins analytiques et de reporting des différentes directions. Objectifs et livrables : • Développer des Data Products à partir de spécifications fonctionnelles et techniques. • Concevoir et développer des pipelines d'ingestion et de transformation de données. • Modéliser les données selon les bonnes pratiques de la plateforme. • Développer des modèles de transformation avec DBT. • Optimiser les traitements SQL sur un environnement BigQuery. • Mettre en œuvre les contrôles de qualité des données et contribuer aux initiatives de gouvernance. • Participer aux revues techniques, aux choix d'architecture, aux phases de recette, de mise en production et de support. • Contribuer à l'industrialisation des développements via les pratiques DevOps/DataOps. • Produire la documentation technique, fonctionnelle et d'exploitation des développements réalisés, ainsi que les indicateurs de qualité des données et supports de transfert de connaissances. Compétences requis : • Expertise indispensable sur Google Cloud Platform (GCP) et BigQuery. • Maîtrise avancée du langage SQL et de l'outil DBT. • Conception et développement de pipelines de données industrialisés. • Solides compétences en modélisation de données et pratiques DataOps / DevOps. • Compétences en langages de programmation : Python. • Maîtrise des outils d'orchestration et d'infrastructure : Cloud Composer / Apache Airflow, Pub/Sub, Terraform (selon les projets). • Gestion de version et intégration continue : Git (GitHub ou GitLab), CI/CD. • Pratiques de gouvernance et de gestion de la qualité des données. • Pratique des méthodologies Agile.
Contexte de la missionDans le cadre de l'exploitation d'une prestation critique hébergée sur un Cloud privé, nous recherchons un Ingénieur de Production / Site Reliability Engineering (SRE) afin d'intégrer une équipe de 5 ingénieurs en charge du maintien en conditions opérationnelles (MCO) d'une plateforme stratégique pilotée par un ministère. Vous contribuerez à garantir la disponibilité, la fiabilité et la performance des applications en production tout en accompagnant la transformation vers un modèle SRE et Cloud. Vos missionsAssurer le MCO des applications et infrastructures en environnement Cloud privé. Garantir le respect des SLA et le traitement des tickets Jira. Superviser les plateformes, assurer le monitoring et l'observabilité des systèmes. Analyser les incidents, identifier les causes racines et mettre en œuvre des actions correctives durables. Automatiser les opérations d'exploitation via Ansible, scripts Bash et outils DevOps. Participer aux déploiements applicatifs et infrastructures (CI/CD, GitOps). Gérer les environnements Recette, Préproduction et Production. Administrer les plateformes Docker et Kubernetes. Optimiser les performances, la disponibilité et la résilience des services. Maintenir et enrichir la documentation d'exploitation. Collaborer avec les équipes de développement, infrastructure et Service Delivery. Compétences indispensablesAnsible Docker MySQL Observabilité / Monitoring Linux GitLab CI / GitOps Bash / scripting Kubernetes Gestion des incidents de production Français courant Compétences appréciéesZabbix Grafana OpenSearch Redis Rundeck Rancher RKE2 NGINX Vault Morpheus CMP S3 Airflow Réseau (LAN/WAN, routage, Load Balancer, TLS, PKI) ITIL ISO 27001 / ISO 9001 Soft SkillsExcellente capacité d'analyse et de résolution d'incidents. Résistance au stress et gestion des priorités. Esprit d'équipe et sens du service. Forte autonomie. Bonnes capacités de communication. Force de proposition et démarche d'amélioration continue. Capacité à évoluer dans un environnement critique. LivrablesRespect des SLA et traitement des tickets Jira. Documentation d'exploitation. Automatisation des procédures. Mise en production des évolutions. Suivi de la disponibilité et des performances des plateformes.
Consultant Data Finance – Gestion d'Actifs & Migration Cloud GCP Nous recherchons un consultant Data Finance spécialisé en gestion d'actifs pour le compte d'un de nos clients du secteur de l'assurance dans le cadre d'un projet de transformation des outils d'investissement et de migration vers une architecture Cloud. Vous interviendrez à l'interface des équipes métiers, comptabilité et IT afin d'accompagner la définition des besoins, la mise en œuvre de solutions data et la sécurisation des processus liés aux portefeuilles d'actifs. Rôles et responsabilitésAccompagner les équipes métier dans la migration des outils de gestion d'actifs vers une architecture Cloud. Rédiger les spécifications fonctionnelles et techniques sur les sujets liés aux données financières. Participer à la conception des référentiels et des processus de tenue de position. Contribuer aux travaux de réconciliation entre les données de gestion et la comptabilité. Participer à la mise en œuvre des bonnes pratiques de gouvernance des données. Développer et maintenir des traitements de données en Python et SQL. Reprendre et faire évoluer des développements existants en VBA lorsque nécessaire. Collaborer avec les équipes métiers et techniques afin de garantir la qualité des livrables. Compétences requises6 à 9 ans d'expérience en gestion d'actifs, idéalement dans un environnement assurantiel. Expérience de projets de migration d'outils vers des architectures Cloud, idéalement Google Cloud Platform (GCP). Maîtrise de l'écosystème GCP (BigQuery, Cloud Storage, Cloud Functions/Run, Airflow/Composer ou technologies équivalentes). Excellentes compétences en Python et SQL. Capacité à reprendre et convertir des développements VBA. Bonne connaissance des instruments financiers, notamment des produits de taux (obligations, duration, taux actuariels, coupons variables et structurés, obligations indexées inflation), ainsi que des actions, de l'immobilier et du private equity. Compréhension des enjeux comptables et prudentiels d'un assureur ; une connaissance de Solvabilité II est appréciée. Autonomie, rigueur et capacité à interagir avec des interlocuteurs métiers et IT. Détails de la missionDémarrage : 1er septembre 4 mois minimum Expérience requise : 6 à 9 ans Secteur : Assurance Freelance
