Mission freelance QA / AI Test Engineer – GenAI
Paris
WINSIDE Technology
Partager cette offre
Au sein d’une équipe produit internationale, vous rejoignez un projet de plateforme d’automatisation basée sur l’IA et les agents LLM. Votre rôle sera de garantir la qualité, la fiabilité et la robustesse des agents IA tout au long du cycle de test.
Missions principalesConcevoir et exécuter des cas de tests fonctionnels et AI/LLM.
Évaluer la qualité des réponses des agents : pertinence, précision, cohérence, hallucinations, robustesse, sécurité et conformité.
Réaliser des tests API et GUI et analyser les résultats des campagnes de tests automatisées.
Investiguer les anomalies à partir des logs, traces et données d’observabilité (Datadog ou équivalent).
Identifier les causes racines, reproduire les incidents et documenter les bugs.
Suivre les anomalies et la couverture de tests dans Jira.
Collaborer avec les Product Owners, Test Managers et Business Owners pour transformer les besoins métier en scénarios de test évaluables.
Participer à l’amélioration continue des prompts, des scénarios d’évaluation et des processus QA.
Profil recherché
Expérience confirmée en QA / Software Testing / Test Automation.
Maîtrise des tests API et GUI.
Connaissance de Git, Jira et des méthodologies de test, idéalement ISTQB.
Expérience avec l’analyse de logs et traces (Datadog ou outil similaire).
Bonne compréhension des critères de qualité des systèmes AI/ML/LLM.
Capacité à travailler avec des interlocuteurs techniques et métier.
Anglais professionnel écrit et oral.
Selon expérience : Playwright, Cypress, Selenium, Postman, Rest Assured, SoapUI, Karate, Datadog, Jira, Git, frameworks d’évaluation LLM et outils de prompt engineering.
Profil idéalUn QA/Test Engineer orienté automatisation, disposant d’une première expérience ou d’un fort intérêt pour les technologies GenAI/LLM, capable d’allier méthodologie de test classique et évaluation de systèmes d’IA.
Environnement de travail
Expérience confirmée en QA / Software Testing / Test Automation.
Maîtrise des tests API et GUI.
Connaissance de Git, Jira et des méthodologies de test, idéalement ISTQB.
Expérience avec l’analyse de logs et traces (Datadog ou outil similaire).
Bonne compréhension des critères de qualité des systèmes AI/ML/LLM.
Capacité à travailler avec des interlocuteurs techniques et métier.
Anglais professionnel écrit et oral.
Selon expérience : Playwright, Cypress, Selenium, Postman, Rest Assured, SoapUI, Karate, Datadog, Jira, Git, frameworks d’évaluation LLM et outils de prompt engineering.
Profil idéalUn QA/Test Engineer orienté automatisation, disposant d’une première expérience ou d’un fort intérêt pour les technologies GenAI/LLM, capable d’allier méthodologie de test classique et évaluation de systèmes d’IA.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
QA / AI Test Engineer – GenAI
WINSIDE Technology