Mission freelance Architecte Snowflake / AWS / FinOps – Optimisation de la plateforme Data

Dans le cadre de l’optimisation de sa plateforme Data Cloud, notre client, acteur du secteur Banque & Finance, souhaite faire appel à un(e) Architecte Snowflake / AWS / FinOps Senior.

La plateforme actuelle repose sur Snowflake et AWS et supporte des traitements et usages Data critiques.

Dans un contexte de maîtrise des dépenses Cloud, notre client souhaite réaliser une revue complète de l’architecture, des usages et des consommations, afin d’identifier et de mettre en œuvre des leviers permettant de :

• réduire les coûts Snowflake et AWS ;

• optimiser la consommation des ressources ;

• améliorer le ratio coût / performance ;

• éliminer les consommations inutiles ou sous-utilisées ;

• améliorer la gouvernance des coûts ;

• conserver les niveaux de performance, sécurité, disponibilité et qualité de service attendus.

La mission devra aboutir à des actions concrètes et mesurables de réduction des charges, et non uniquement à des recommandations théoriques.

L'objectif principal est de réaliser un audit technico-financier de la plateforme Snowflake / AWS, puis de mettre en œuvre une trajectoire d'optimisation permettant de réduire durablement les coûts.

Le consultant devra notamment :

1. Analyser l'architecture existante.

2. Analyser les consommations Snowflake et AWS.

3. Identifier les principaux cost drivers.

4. Identifier les ressources surdimensionnées, inutilisées ou sous-utilisées.

5. Analyser les workloads et leurs profils de consommation.

6. Identifier les optimisations d'architecture possibles.

7. Proposer une roadmap de réduction des coûts.

8. Prioriser les actions selon leur gain potentiel, complexité et risque.

9. Mettre en œuvre les optimisations validées.

10. Mesurer les économies effectivement réalisées.

11. Mettre en place une gouvernance FinOps permettant d'éviter une nouvelle dérive des coûts.

Le consultant réalisera une revue de l'architecture actuelle :

• Architecture Snowflake.

• Architecture AWS.

• Flux d'ingestion.

• Flux de transformation.

• Data Lake / Data Warehouse.

• Interfaces et échanges de données.

• Workloads batch et temps réel.

• Environnements DEV / TEST / UAT / PROD.

• Consommation par application, équipe et domaine.

• Dépendances entre les différents composants.

Il devra identifier les éventuels anti-patterns d'architecture pouvant générer des coûts inutiles.

Une attention particulière sera portée à la consommation Snowflake.

Le consultant devra analyser notamment :

• Les Virtual Warehouses.

• Leur dimensionnement.

• Leur utilisation réelle.

• Les périodes d'activité.

• Les mécanismes d'Auto-Suspend / Auto-Resume.

• Les traitements concurrents.

• Les requêtes coûteuses.

• Les requêtes longues ou inefficaces.

• Les workloads récurrents.

• Les traitements batch.

• Les tâches et pipelines.

• La consommation de crédits.

• Le stockage.

• Le Time Travel.

• Les Fail-Safe et mécanismes associés.

• Les environnements non productifs.

• Les duplications de données.

• Les opérations de réplication et de partage.

Le consultant devra identifier et, après validation, mettre en œuvre des actions telles que :

• Redimensionnement des Virtual Warehouses.

• Ajustement de l'Auto-Suspend.

• Séparation ou regroupement pertinent des workloads.

• Optimisation des requêtes SQL.

• Optimisation des traitements ELT.

• Réduction des traitements inutiles.

• Optimisation des fenêtres de traitement.

• Rationalisation des environnements.

• Suppression ou archivage des données inutilisées.

• Optimisation du stockage.

• Mise en place de mécanismes de monitoring.

• Mise en place de quotas ou garde-fous lorsque pertinent.

L'objectif sera de rechercher le meilleur ratio coût / performance, sans dégradation des SLA.

Le consultant devra également réaliser une analyse FinOps de l'infrastructure AWS.

• Analyse des coûts par service.

• Analyse des coûts par environnement.

• Analyse des coûts par application / domaine.

• Identification des ressources inutilisées.

• Identification des ressources surdimensionnées.

• Analyse des coûts de stockage.

• Analyse des coûts de transfert de données.

• Analyse des coûts réseau.

• Analyse des coûts liés aux traitements Data.