Mission freelance Expert Observabilité IA & Plateforme Agentique (SOC) - H/F

Dans le cadre de l’industrialisation de solutions d’IA générative et d’architectures agentiques, nous recherchons un Expert Observabilité IA & Cyber.

Vous interviendrez sur la conception, l’implémentation et l’exploitation des mécanismes de supervision, monitoring, évaluation, sécurité et gouvernance de systèmes d’IA générative.

Votre objectif sera de garantir la fiabilité, la sécurité, la performance et la traçabilité des agents IA déployés au sein d’un environnement SOC.

Vous contribuerez notamment à l’observabilité de bout en bout des workflows IA, à la détection des comportements anormaux, à l’identification des hallucinations et dérives de modèles, ainsi qu’au suivi des performances des agents et des LLM.

Vos missionsObservabilité des systèmes IA

• Définir et mettre en œuvre la stratégie d’observabilité d’une plateforme agentique.

• Mettre en place le monitoring des agents IA, chaînes de raisonnement et workflows LangChain / LangGraph.

• Collecter et corréler les métriques techniques, fonctionnelles et métier.

• Construire des dashboards temps réel permettant de suivre les performances et la qualité des agents.

• Concevoir les mécanismes de traçabilité des interactions avec les systèmes IA.

AI Reliability Engineering

• Mettre en place des frameworks d’évaluation continue des agents IA.

• Définir les KPI de qualité et de fiabilité.

• Garantir le respect des SLA / SLO de la plateforme.

• Identifier les dérives et contribuer à l’amélioration continue de la qualité des réponses produites.

Sécurité & gouvernance des systèmes IA

• Superviser les risques liés à l’utilisation de l’IA.

• Définir les mécanismes de gouvernance autour des agents.

• Détecter les comportements anormaux ou potentiellement dangereux.

• Participer aux analyses de risques IA.

• Contrôler les accès, permissions et échanges entre les différents agents et composants.

Intégration Observabilité & SOC

• Intégrer les événements de la plateforme IA dans Splunk.

• Concevoir les dashboards d’exploitation.

• Développer les alertes de détection liées aux systèmes IA.

• Mettre en place des corrélations entre événements cyber et événements IA.

• Produire les indicateurs de supervision destinés aux équipes opérationnelles.

RUN & amélioration continue

• Assurer le maintien en condition opérationnelle de la plateforme d’observabilité.

• Investiguer les incidents liés aux agents IA.

• Identifier les causes racines des défaillances.

• Optimiser les performances, les coûts et les niveaux de service.