Offre d'emploi Consultant Data Lake (Luxembourg)

Le prestataire sera amené à répondre aux besoins techniques suivants :

·       Ingestion des données

·       Capacité d’ingérer des flux IoT massifs issus de multiples sources o Support du temps réel et du quasi-temps réel

·       Besoins de stockage et d’historisation

·       Historisation des données brutes

·       Gestion du cycle de vie

·       Capacité à stocker de manière cohérente de multiples données

·       Cloisonnement des données

·       Transformation et structuration des données

·       Mise en œuvre d’une architecture du médaillon (bronze,silver,gold)

·       Croisement des données standardisés (croisements récurrents)

·       Traçabilité des transformations

·       Exploitation, exposition et consommation des données

·       Exploitation des données via différents outils : Grafana, Power BI, Plateforme IOT,

·       Plateforme IA, systèmes opérationnels

·       Certains métiers souhaitent pouvoir réaliser leurs propres analyses et leur propre reporting

·       Industrialisation des usages IA et Data Science

·       Mise à disposition centralisée des données nécessaires aux cas d’usage

·       Espace de stockage centralisé et gouverné pour les artefacts ML (datasets, modèles, métriques, prédictions) et les contenus RAG

·       Gouvernance de la donnée, qualité et catalogue

·       Intégration dans les processus existants portés par l’équipe Data Gouvernance o Alimentation du catalogue Data Galaxy

·       Exploitation en production

·       Technologies et pratiques opérables par les équipes de run

·       Supervision et alerting : disponibilité, qualité, performance o Automatisation des opérations récurrentes

·       Pilotage des coûts
Les coûts doivent être maîtrisables et pilotables, avec une visibilité claire par périmètre :

·       Suivi et optimisation des coûts

·       Capacité de refacturation et d’imputation par projet

·       Accompagnement vers le Lakehouse

·       La mise en place du datalake est une première étape pour répondre aux besoins immédiats des métiers. Cependant, une transition vers le Lakehouse sera nécessaire à moyens termes. Le prestataire pourra être sollicité pour accompagner le client vers cette transition et être force de proposition sur le choix de méthodes et des technologies en fonction de l’environnement et de l’architecture.

Exigences techniques & fonctionnels

• Le prestataire doit avoir de solides compétences dans la mise en œuvre d’un datalake sous ADLS Gen2 et l’ingestion de données avec Azure Data Factory.

• Il devra également être force de proposition sur tous les éléments cités préalablement.

• La connaissance du secteur transport / mobilité est un atout.

Objectifs du projet

Le présent appel d’offre vise à sélectionner un prestataire capable d’accompagner le client vers la modernisation de son architecture data afin de supporter les nouveaux cas d’usage (IA, IoT, analytique avancée, reporting temps réel, ...).

Une pré-étude a déjà été réalisée en début 2026 et un document de cadrage a été délivré. Le prestataire devra s’appuyer sur ce document pour mettre en place l’architecture technique du datalake en collaboration avec les équipes architecture et cloud du client tout en proposant une solution et des méthodes de travail clairement définis.

Le choix de la plateforme s’est arrêté sur Azure Data Lake Storage (ADLS Gen2). Les objectifs principaux sont les suivants :

• Mettre en place les flux d’ingestion des données vers le data Lake avec Azure Data Factory en décrivant précisément les bonnes pratiques pour permettre au client de reproduire et d’appliquer une méthodologie uniforme.

• Mettre en place l’environnement datalake adapté à l’intelligence artificielle en collaboration avec l’équipe Data Science, permettant l’exploration de données à grande échelle, l’entraînement de modèles et leur mise en production.

• Définir l’architecture technique de la plateforme en collaboration avec l’équipe Architecture du client, en veillant à son alignement avec les principes directeurs, les standards d’entreprise et les contraintes d’intégration du SI, et en collaboration étroite avec les équipes COO pour les déploiements techniques.

• Déployer la plateforme en collaboration avec les équipes cloud du client, en s’assurant de son intégration dans les environnements cibles, de son exploitabilité et du respect des exigences opérationnelles et de sécurité.

• Améliorer la qualité, la gouvernance et la traçabilité des données, afin de garantir la fiabilité des analyses et la conformité aux exigences réglementaires et internes.

• Offrir plus d’autonomie aux équipes data et métiers (data analysts, data scientists, experts métiers) grâce à des capacités d’analyse exploratoire et self-service.

• Assurer la scalabilité et la maîtrise des coûts sur le long terme, en s’appuyant sur des principes d’architecture modernes et flexibles.

• Implémenter un dispositif de monitoring continu avec génération d’alertes en quasi- temps réel – Observabilité de la plateforme.

• Accompagner l’équipe datawarehouse vers la transition vers le Datalake

• Soutenir l’équipe Data Science dans la mise en œuvre des cas d’usage IA/ML

• Collaborer avec l’équipe Data Gouvernance pour la mise en place de la gouvernance de la plateforme (gestion des accès, documentation, bonnes pratiques, ...)

L’objectif global est de doter le client d’un véritable socle data stratégique, aligné avec ses ambitions opérationnelles et business, et capable de soutenir durablement l’innovation data- driven de l’entreprise.

Périmètre fonctionnel

Les cas d’usage couvrent toutes les activités du client: activités voyageurs, gestion de l’infrastructure, maintenance du matériel roulant, etc... et englobent des besoins variés tels que les cas d’usage IA/ML (maintenance prédictive, prédiction d’occupation, détection de fraude, ...), le reporting analytique et temps-réel, l’historisation des données, l’archivage, etc...

Le data lake sera commun à tous les services du client mais une ségrégation des données et une sécurité fine de l’accès aux données devra être mise en place.