Job Vacancy Data Engineer / InfraOps – Scalabilité & Monitoring

Dans le cadre du développement d’une application de génération de QCM assistée par l’IA, nous recherchons un profil Data Engineer / InfraOps orienté MLOps / DevOps senior pour anticiper et résoudre les problématiques de scalabilité, infrastructure, monitoring et haute disponibilité.

L’application est destinée à pouvoir être utilisée par jusqu’à 800 000 professeurs potentiels et est rattachée à un environnement existant.

Le projet repose sur un environnement souverain avec de forts enjeux de conformité, avec un modèle IA auto-hébergé sur une infrastructure dédiée et répliquée sur deux datacenters en France.

• Angular

• Python

• FastAPI

• IA / modèle auto-hébergé

• Infrastructure souveraine

• SecNumCloud dans la trajectoire

• TaskIQ pour la gestion des files d'attente

• Monitoring / Logs

• Load balancing

• Backup / réplication

• Datacenters multiples

Le consultant aura pour objectif principal de sécuriser la scalabilité et la robustesse de l'application.

1. Scalabilité

• Implémenter les mécanismes permettant de supporter la montée en charge.

• Identifier et anticiper les problèmes de performance.

• Mettre en place une architecture adaptée à une forte volumétrie d'utilisateurs.

• Travailler sur la gestion des files d'attente avec TaskIQ.

2. Tests de charge

• Paramétrer les tests de charge.

• Identifier les bottlenecks.

• Analyser les performances de l'application et de l'infrastructure.

• Définir les processus permettant d'assurer la montée en charge.

3. Load balancing

• Mettre en place et/ou optimiser le load balancing.

• Définir les mécanismes de répartition de charge.

• Participer à l'automatisation des processus de scalabilité.

4. Backup & réplication

• Concevoir l'architecture de backup et réplication.

• Garantir la résilience entre deux datacenters.

• Participer à la définition des mécanismes de continuité et de reprise.

5. Monitoring & logs

• Mettre en place et/ou optimiser le monitoring.

• Structurer la gestion et l'analyse des logs.

• Mettre en place une supervision permettant de suivre les performances techniques et applicatives.

• Faire le lien entre les besoins métier et le suivi technique de l'application.

6. IA / MLOps – bonus

• Participer à l'installation des modèles IA sur les infrastructures.

• Accompagner les équipes sur les problématiques d'infrastructure liées aux modèles.