Contractor job Consultant Expert Test IA / QA Senior – Architectures Agentiques

Au sein d'un grand groupe engagé dans une démarche de transformation et d'industrialisation de ses processus de delivery, le consultant interviendra sur des projets liés à l'intégration de l'intelligence artificielle et au développement de solutions basées sur des architectures agentiques.

La mission s'articule autour de deux axes principaux :

• Mise en place d'un SDLC agentique : structuration et sécurisation d'un cycle de développement de bout en bout intégrant des agents IA, depuis l'expression du besoin jusqu'au déploiement, avec des contrôles qualité à chaque étape.

• Développement d'un prototype métier intégrant de l'IA : qualification d'une solution agentique venant enrichir un parcours métier existant, notamment pour analyser des documents entrants et exploiter les informations dans un processus opérationnel.

Dans ce contexte, l'objectif est de définir et d'industrialiser une véritable démarche de qualité et de test adaptée aux systèmes d'intelligence artificielle, et plus particulièrement aux architectures agentiques.

Le consultant interviendra à la fois sur la qualité du cycle de développement, l'évaluation des agents IA et la sécurisation du produit final.

• Définir et structurer la stratégie de test adaptée aux solutions intégrant des composants IA et des architectures agentiques.

• Identifier les exigences qualité et les critères d'acceptation à chaque étape du cycle de développement.

• Définir les activités de test, les contrôles qualité et les indicateurs de performance.

• Transformer les besoins métier et les comportements attendus en critères de validation mesurables.

• Définir les critères de décision Go / No Go pour les mises en production.

• Concevoir et exécuter des scénarios de tests dédiés aux LLM, agents IA et orchestrations multi-agents.

• Évaluer la conformité des réponses et des comportements des agents par rapport aux attentes métier.

• Tester la robustesse des solutions face aux différentes situations et aux entrées inattendues.

• Identifier et mesurer les risques d'hallucination, les réponses hors périmètre et les comportements non conformes.

• Évaluer les interactions entre agents, reviewers et outils externes.

• Définir des jeux de tests reproductibles et des métriques d'évaluation.

• Qualifier les composants IA ainsi que leur intégration dans les parcours fonctionnels de bout en bout.

• Intégrer les activités de test et de contrôle qualité tout au long du cycle de développement logiciel.

• Définir et mettre en place des Quality Gates aux différentes étapes du delivery.

• Garantir la traçabilité des exigences, des tests et des résultats obtenus.

• Participer à l'intégration des tests automatisés dans les pipelines CI/CD.

• Contribuer à la définition des contrôles associés aux User Stories, Pull Requests et déploiements.

• Mettre en place des mécanismes de restitution des résultats et de suivi de la qualité.

• Automatiser les dispositifs de test et d'évaluation des solutions IA.

• Mettre en place des mécanismes de suivi et d'observabilité des agents.

• Assurer le suivi des traces d'exécution, des appels aux outils, des erreurs, des latences et des coûts.

• Structurer et maintenir les jeux de données et scénarios de tests.

• Contribuer à la sécurisation des architectures agentiques, notamment face aux risques d'injection de prompts, d'exfiltration de données et d'actions non autorisées.

• Formaliser les résultats et produire des rapports d'évaluation exploitables par les équipes.

• Accompagner les équipes techniques et métier dans l'appropriation des pratiques de test IA.

• Clarifier le rôle et les responsabilités de la fonction QA dans les projets agentiques.

• Harmoniser les pratiques de test et les critères de qualité entre les différentes équipes.

• Sensibiliser les équipes aux risques spécifiques liés aux LLM et aux architectures multi-agents.

• Être force de proposition sur l'amélioration continue des pratiques de qualité et de delivery.