Mission freelance QC IA – Qualité & Agents de test IA
La Défense (92)
5COM Consulting
Partager cette offre
Le contexte
Notre client est un grand cabinet d’audit et de conseil. Il développe et opère en interne une quinzaine de produits applicatifs en C# .NET / Vue.js sur Microsoft Azure, destinés à ses métiers Audit, Advisory et à ses fonctions support.
Il renforce aujourd’hui sa capacité à industrialiser des POC/POV construits rapidement avec l’IA générative (« vibe coding »). Ces prototypes s’appuient sur des services d’IA cloud (LLM, RAG, agents) et doivent devenir des produits fiables, sécurisés et exploitables en production.
Vos missions
Concevoir, développer et améliorer des agents IA de conception et de scripting de tests : génération de cas de test, de scénarios et de scripts automatisés
Définir et mettre en œuvre la stratégie de qualification des solutions IA (LLM, RAG, agents)
Mettre en place des méthodes d’évaluation adaptées à l’IA générative :
jeux de tests de référence
métriques de qualité (pertinence, fidélité, hallucinations)
non-régression des prompts et des modèles
Sécuriser le passage du POC au produit : critères d’acceptation, robustesse, sécurité (injection de prompt, fuite de données), performance et maîtrise des coûts
Intégrer les tests dans les chaînes CI/CD (Azure DevOps / GitHub)
Accompagner les équipes produit sur les bonnes pratiques qualité appliquées à l’IA
Profil recherché
Expérience confirmée en QA / ingénierie de la qualité, niveau Senior / Expert
Indispensable : une solide expérience en automatisation des tests, avec conception et maintenance de frameworks automatisés en production (Playwright, Selenium, Cypress, SpecFlow ou équivalent) et intégration dans les chaînes CI/CD
Indispensable : la maîtrise d’au moins un langage d’automatisation (C#, Python ou TypeScript), avec du code de test écrit au quotidien
Indispensable : une expérience concrète et démontrable de développement assisté par IA et de mise en production d’applications à base de LLM (Azure OpenAI / AI Foundry ou équivalent)
Indispensable : une réalisation IA à présenter en entretien, sous forme d’agent, d’application LLM en production, de dépôt de code ou de démonstration
Pratique des briques IA générative : prompt engineering, RAG, frameworks d’agents (Semantic Kernel, LangChain, AutoGen ou équivalent)
Seraient un plus :
connaissance des outils d’évaluation LLM (Azure AI Foundry evaluation, Promptfoo, DeepEval, Ragas…)
environnement Azure : Azure OpenAI, AI Search, Azure DevOps
Environnement de travail
Vous allez rejoindre une équipe dynamique, vous bénéficierez de 3 jours de télé travail par semaine.
Technos demandées : Playwright , AzureOpenAI , LLM ,TestAutomation
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
QC IA – Qualité & Agents de test IA
5COM Consulting