Mission freelance Architecte Data Microsoft Fabric senior – Audit et optimisation

Notre client dans le secteur Banque et finance recherche un/une Architecte Data Microsoft Fabric senior – Audit et optimisation H/F

Description de la mission :

Contexte

Une banque indépendante dispose d’une plateforme de données en production depuis un an sur Microsoft Fabric. Elle alimente le reporting bancaire (PNB, cockpits métiers, qualité des données) et des projets réglementaires. L’équipe Data BI analytique compte 9 personnes rattachées au Head of Data : product manager, analytics engineers, data engineers et data analysts. Des key users sont présents dans chaque ligne métier. La plateforme comporte environ 180 pipelines, 600 notebooks et un package Python de fonctions partagées. Elle s’appuie notamment sur OneLake, Lakehouse, Spark / PySpark, SQL endpoint, Direct Lake et une capacité dédiée, avec une architecture médaillon Bronze / Silver / Gold. Les sources incluent le core banking SAB et Salesforce, via une couche API temps réel et DataHub Fabric. La restitution repose sur Power BI et des applications HTML interactives.

L’équipe doit assurer le run et les projets 2026-2027, tout en fiabilisant le socle avant d’y adosser Fabric IQ et des agents IA. Les enjeux principaux sont la sécurisation des accès au moindre privilège, la réduction du couplage au socle partagé et la maîtrise des formats de stockage, ainsi que l’optimisation des performances et des coûts.

Mission

Intervenir en tant qu’architecte Data Microsoft Fabric senior pour auditer, sécuriser et optimiser le socle data. La mission est réalisée au forfait, avec des livrables mesurables et directement exploitables par l’équipe Data. Elle couvre trois chantiers pouvant être engagés indépendamment : sécurité et habilitations, socle de développement, performance, coût et durabilité. Chaque chantier est cadré, mesuré avant et après, puis clôturé par des recommandations opérationnelles et un transfert structuré à l’équipe. L’approche privilégie l’échantillonnage ciblé des traitements les plus coûteux plutôt qu’une revue exhaustive des notebooks.

Principales responsabilités

• Auditer les workspaces, rôles, permissions, groupes Entra ID, partages, RLS / OLS, paramètres de tenant, identités, secrets, permissions des shortcuts et réseau, puis évaluer l’alignement entre Fabric et RBAC Azure.

• Définir une cible d’habilitations par profil, prioriser les écarts et proposer un plan de remédiation, un standard de nommage et une procédure de recertification des accès.

• Étudier la centralisation et la gouvernance des accès via OneLake Catalog et OneLake Security, ainsi que l’architecture d’anonymisation des données hors production.

• Examiner les formats de stockage par couche et définir la doctrine Delta Lake / Parquet, avec une grille de décision et un plan de convergence évaluant les impacts en performance et en coût.

• Diagnostiquer et optimiser les alimentations quotidiennes de plus de 30 minutes, avec mesures avant et après.

• Auditer les traitements les plus coûteux : configuration et dimensionnement Spark, autoscale, sessions haute concurrence, partitions, shuffle, AQE, petits fichiers, rétention, purge, archivage, OPTIMIZE et VACUUM.

• Revoir le code, les tests, la documentation et les bonnes pratiques ; identifier des quick wins chiffrés et refactorer des jobs pilotes.

• Préparer les tables pour Direct Lake et industrialiser un plan de maintenance OPTIMIZE / VACUUM.

• Transférer la documentation et les bonnes pratiques à l’équipe, et animer un atelier de restitution à l’issue de chaque chantier.

Environnement technique

• Plateforme data : Microsoft Fabric, OneLake, OneLake Catalog, OneLake Security, Lakehouse, Spark, PySpark, SQL endpoint, Direct Lake, pipelines, DataHub Fabric

• Stockage et formats : Delta Lake, Parquet, Bronze / Silver / Gold

• Sécurité et Azure : Entra ID, RBAC Azure, Key Vault, RLS, OLS, private endpoints, workspace identity, service principals

• Traitement et performance : pools Spark, autoscale, AQE, OPTIMIZE, VACUUM

• Ingénierie logicielle et données : Python packagé (wheel), tests automatisés, Git, CI/CD, Power BI, modèles sémantiques

• Assistants de code : Claude Code, Copilot

• Sources et métier : SAB, Salesforce, données bancaires et comptables

Livrables attendus

• Cartographie des accès par item et rapport d’écarts priorisé.

• Matrice cible des habilitations par profil, matrice Fabric / RBAC Azure, plan de remédiation séquencé, standard de nommage et procédure de recertification.

• Proposition de centralisation et de gouvernance des accès via OneLake Catalog et OneLake Security, ainsi qu’une proposition d’architecture d’anonymisation des données hors production.

• Doctrine Delta / Parquet par couche avec grille de décision et plan de convergence intégrant les impacts sur les performances et les coûts.

• Diagnostic et optimisation des alimentations quotidiennes de plus de 30 minutes, mesurés avant et après.

• Audit de performance des jobs les plus coûteux et préconisations de configuration Spark.

• Doctrine de partitionnement et politique de rétention par table ; plan industrialisé de maintenance OPTIMIZE / VACUUM.

• Revue de code, quick wins chiffrés, refactoring de jobs pilotes et mesures avant / après.

• Documentation, bonnes pratiques diffusables, recommandations opérationnelles et atelier de restitution à l’issue de chaque chantier.

Profil recherché

Expérience

• 8 ans et plus en data engineering ou architecture data.

• Avoir mené un déploiement Microsoft Fabric en production.

• Une expérience du contexte bancaire et des données comptables est appréciée ; la connaissance de SAB est un plus.

Compétences techniques

• Expertise de Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines et gestion de capacité.

• Maîtrise de la sécurité Azure : Entra ID, RBAC, Key Vault, stockage et réseau, notamment les private endpoints.

• Compétences en ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD et revue de code.

• Maîtrise de l’architecture médaillon, de la modélisation, de la qualité des données et des modèles sémantiques Power BI.

• Usage courant des assistants de code, notamment Claude Code et Copilot.

• Les certifications DP-600 ou DP-700 sont appréciées.

Compétences personnelles

• Capacité à produire des résultats mesurés avant et après.

• Capacité à formaliser des recommandations opérationnelles et à transférer les connaissances à l’équipe.

Langues

• Aucune exigence linguistique précisée.

Compétences / Qualités indispensables :

Microsoft Fabric et architecture Lakehouse, Data engineering Spark / PySpark et Delta Lake, Sécurité Fabric et Azure (Entra ID, RBAC), Optimisation des performances et des coûts, Python, Git et CI/CD

Compétences / Qualités qui seraient un + :

Informations concernant le télétravail :

Oui — 2 jours/semaine