Mission freelance Expert Stockage Objet MinIO / S3

 CONTEXTE

Experience :  5 ans et plus

Métiers Fonctions : Production, Exploitation, InfrastructureExpert

Spécialités technologiques :Stockage,API,ML

Compétences

Technologies et Outils

Docker Active Directory Kubernetes LDAP

Soft skills

Autonomie Rigueur

Nous recherchons un expert technique de haut niveau pour accompagner notre client dans la conception, la mise en œuvre, l'optimisation et la maintenance de notre infrastructure de stockage objet basée sur MinIO. Le candidat retenu devra justifier d'une expérience significative en environnement de production, avec des contraintes fortes de haute disponibilité, de performance et de scalabilité.

MISSIONS

Maîtrise approfondie de MinIO et de l'écosystème S3

- Expertise de l'API S3 : Connaissance complète des fonctionnalités de l'API S3 (gestion des objets, versioning, politiques de cycle de vie, multipart upload, presigned URLs, etc.).

- Architecture MinIO : Compréhension fine de l'architecture de MinIO, y compris le fonctionnement du mode distribué, l'erasure coding pour la protection des données, et le processus de guérison automatique (healing).

- Déploiement et Configuration : Expérience avérée dans le déploiement de clusters MinIO à grande échelle, que ce soit sur des serveurs bare-metal, des machines virtuelles ou dans un environnement conteneurisé (Kubernetes, Docker). L’échelle en terme de stockage est entre 500 et 900TB en cible à 5ans.

- Sécurité : Maîtrise des aspects de sécurité liés à MinIO, incluant le chiffrement (côté serveur et côté client), la gestion des identités et des accès (IAM), et l'intégration avec des fournisseurs d'identité (LDAP, Active Directory).

Haute Disponibilité et Scalabilité

- Conception d'Architectures Résilientes : Capacité à concevoir et à mettre en œuvre des architectures MinIO garantissant une haute disponibilité (multi-nœuds, multi-sites).

- Scalabilité Horizontale : Expérience dans l'ajout de nouveaux nœuds à un cluster MinIO existant sans interruption de service et connaissance des mécanismes de rééquilibrage automatique.

- Gestion des Défaillances : Solide expérience dans la gestion des pannes (disques, nœuds) et les stratégies de reprise après sinistre.

Performance et Optimisation

- Analyse de Performance : Compétence dans l'utilisation d'outils de benchmark (comme warp) pour mesurer et analyser les performances (latence, débit) d'un cluster MinIO.

- Optimisation : Capacité à identifier et à résoudre les goulots d'étranglement, que ce soit au niveau matériel (réseau, disques NVMe), système ou applicatif.

- Caching : Connaissance des stratégies de mise en cache pour optimiser les performances des lectures.

Expertise souhaitée

Expérience de Production et Références Exigées

Le candidat doit pouvoir présenter de manière détaillée une ou plusieurs implémentations significatives en environnement de production :

- Description du Cas d'Usage : Quel était le besoin métier (stockage pour de l'analytique, de l'IA/ML, des sauvegardes, des médias, etc.) ?

- Volumétrie et Charge : Quelle était la volumétrie des données gérées et le niveau de trafic (nombre de requêtes par seconde) ?

- Enjeux de Performance : Description des défis spécifiques liés à la performance et des solutions mises en place pour y répondre.

- Incidents et Résolution : Exemples concrets d'incidents de production gérés et des leçons apprises.

Connaissance d'une Solution Alternative : Une expérience significative avec une autre solution de stockage objet compatible S3 est un atout majeur. Le candidat devrait être capable de comparer MinIO à cette alternative sur des critères techniques et opérationnels. Exemples de solutions alternatives pertinentes :

- Ceph

- OpenIO

- Garage

- Services S3 natifs dans un contexte cloud privé SecNumCloud

Qualités Personnelles

- Autonomie et Proactivité : Capacité à travailler de manière autonome, à diagnostiquer des problèmes complexes et à proposer des solutions robustes.

- Rigueur et Méthodologie : Approche structurée dans la résolution des problèmes et la gestion des environnements de production.

- Bonne Communication : Aptitude à communiquer clairement sur des sujets techniques complexes avec différentes équipes.