Trouvez votre prochaine offre d’emploi ou de mission freelance K6

Dans le cadre du renforcement de ses activités de qualité logicielle et de performance applicative, notre client recherche un Consultant Test Performance & Automatisation. Au sein d'un environnement technique riche et composé de multiples services applicatifs, vous interviendrez en étroite collaboration avec le Test Lead et les équipes techniques afin de contribuer à la fiabilité, à la performance et à la robustesse des parcours applicatifs critiques. La mission s'articule principalement autour de deux axes : • Tests de performance, de charge et de montée en charge • Automatisation des parcours de tests, avec une dominante backend 📋 Vos missions • Concevoir et exécuter des tests de performance, de charge et de montée en charge • Définir des scénarios d'injection représentatifs des différents usages de la plateforme • Mettre en œuvre et automatiser les campagnes de charge avec k6 et/ou JMeter • Tester des parcours et services de bout en bout sur l'ensemble de la chaîne applicative • Analyser les résultats des campagnes afin d'identifier les goulots d'étranglement, limites de capacité et éventuels points de fragilité • Exploiter les outils de monitoring et d'observabilité, notamment Datadog • Mettre en place et maintenir des dashboards permettant de suivre les indicateurs de performance • Contribuer aux activités de capacity planning afin d'anticiper les évolutions de volumétrie et les pics de charge • Concevoir et développer des scénarios de tests automatisés • Automatiser des parcours fonctionnels et transactionnels complexes et automatiser les interactions avec les différents services et APIs • Fiabiliser et industrialiser les tests automatisés • Garantir la maintenabilité, la réutilisabilité et la robustesse des scripts • Contribuer à l'amélioration du framework et des pratiques d'automatisation existantes

Notre client dans le secteur Banque et finance recherche un/une Ingénieur(e) IA / DevOps – Industrialisation d'agents IA et de serveurs MCP H/F Description de la mission : Notre client, banque de détail d'un grand goupe bancaire, cherche à renforcer sa Tribu dédiée à l'IA. Contexte Une équipe d'intelligence artificielle dispose d'une solution agentique développée en interne et fonctionnelle au stade de prototype : un agent IA orchestrateur et trois serveurs MCP (Model Context Protocol) exposant les outils mobilisés par l'agent. Les choix d'architecture, de frameworks et de composants d'infrastructure ont été arrêtés et validés lors d'une première phase de développement. La prestation s'appuie sur un assistant de code mis à disposition. Son utilisation est nécessaire pour réaliser le périmètre dans l'enveloppe de 40 jours. La capacité à cadrer les demandes, à revoir de manière critique le code produit et à garantir la non-régression sera évaluée. Mission Porter les quatre composants existants du prototype à un niveau de qualité compatible avec une exploitation en production, en améliorant la tenue de charge, la maintenabilité du code et la supervision. La mission porte exclusivement sur la mise à niveau de l'existant dans le cadre technique défini : elle ne comprend ni développement de nouvelles fonctionnalités métier ni remise en cause des solutions retenues. La prestation s'effectue au sein d'une squad en méthode agile, avec un point d'avancement quotidien. Chaque lot livré est soumis à la revue d'un référent technique. Des interactions régulières sont prévues avec les équipes chargées de la production, de l'exploitation, de la plateforme et du socle technique. Principales responsabilités Diagnostiquer les quatre composants et formaliser, avec la squad, un plan de mise à niveau priorisé, chiffré et arbitré, attendu à J+5. Refactorer et structurer le code : séparation des responsabilités, externalisation de la configuration, normalisation de la gestion des erreurs et des reprises, résorption de la dette de prototypage et respect des conventions de développement. Mettre en place des tests unitaires, d'intégration et de contrat sur les interfaces MCP, intégrer les tests à la chaîne CI/CD et définir un seuil de couverture. Améliorer la tenue de charge par la gestion de la concurrence et des appels asynchrones, le pooling des connexions, les time-outs, les stratégies de retry et les coupe-circuits. Réaliser des tests de performance et de montée en charge, puis documenter le dimensionnement cible et les limites connues de la solution. Instrumenter l'observabilité : logs structurés et corrélés, métriques techniques et métiers, traces distribuées de la chaîne agent–serveurs MCP–systèmes appelés, suivi de la consommation de jetons et des coûts d'inférence, tableaux de bord et alertes. Renforcer la sécurité d'exploitation définie lors de la première phase : gestion des secrets, contrôle des jetons et des périmètres d'autorisation, journalisation d'audit. Produire la documentation d'exploitation et de maintenance, les procédures de diagnostic et le runbook, puis transférer les compétences à l'équipe interne. Utiliser l'assistant de code avec discernement et assurer la revue critique du code généré ainsi que la non-régression. Environnement technique Développement : Python, programmation asynchrone, concurrence, gestion des erreurs et des reprises IA et protocoles : agents IA, MCP (Model Context Protocol), frameworks d'orchestration LLM, SDK MCP DevOps et conteneurisation : Git, GitLab CI ou équivalent, CI/CD, Docker, Kubernetes Tests et performance : pytest, Locust, k6 ou équivalent Observabilité : logs, métriques, traces distribuées, tableaux de bord et alertes Méthodes : Scrum, Kanban Assistance au développement : Claude Code Livrables attendus Programme documenté Dossier technique et dossier d'architecture technique Dossier d'exploitation et dossier de configuration Plan de développement et documents de suivi Résultats des tests et relevés de mesures Procédures de diagnostic et runbook Bilan de projet et transfert de compétences Profil recherché Expérience Expérience confirmée de 3 à 7 ans dans le passage à l'échelle de composants logiciels. Expérience en ingénierie logicielle appliquée à l'IA, avec un accent sur la qualité, la robustesse et l'exploitabilité du code plutôt que sur la modélisation. Compétences techniques Développement avancé en Python en contexte de production. Industrialisation logicielle : refactoring, tests automatisés, CI/CD, qualité et maintenabilité du code. Gestion de la performance et de la charge : tests de montée en charge, time-outs, retries, coupe-circuits et dimensionnement. Observabilité : logs structurés, métriques, tableaux de bord et alertes. Écosystème agents IA et MCP, frameworks d'orchestration LLM et usage professionnel d'un assistant de code. Pratiques DevOps : conteneurisation, déploiement automatisé et gestion de configuration. Compétences personnelles Rigueur et capacité à travailler sur du code écrit par d'autres. Autonomie dans la conduite du chantier, capacité à documenter ses choix et à les défendre en revue. Capacité à prioriser et à concilier exigences techniques et délais. Capacité à challenger une solution existante sans remettre en cause le cadre technique retenu. Langues Anglais technique professionnel, pour la lecture de documentation et les échanges écrits. Compétences / Qualités indispensables : Python avancé en production, Industrialisation logicielle et CI/CD, Performance et tenue de charge, Observabilité, Agents IA et MCP, Usage critique d'un assistant de code Compétences / Qualités qui seraient un + : Expérience en environnement bancaire ou réglementéInformations concernant le télétravail : Oui — 2 jours/semaine

Développeur Python IA & Connectivité SharePoint Mission - Concevoir et développer un chatbot IA centralisé à l'échelle de la banque, intégrant SharePoint comme source de données principale - Garantir la qualité, la fiabilité et la couverture de tests du chatbot via une stratégie QA rigoureuse Responsabilités Développement Python / Go / IA - Concevoir l'architecture du chatbot (orchestration, RAG, gestion du contexte, multi-turn) - Développer les composants IA : ingestion, embedding, retrieval, génération (LLM on-premise ou API) - Intégrer les modèles LLM avec les sources de connaissance SharePoint - Optimiser les performances (latence, throughput, qualité des réponses) - Gestion des prompts, templates, et évaluation des réponses (prompt engineering) - Développement d'outils et services en Go (performance-critical, sidecar utilities) Connectivité SharePoint - Intégration avec SharePoint Online / On-Premise via API Graph ou SharePoint REST API - Authentification : OAuth2, Azure AD, certificats app-only, managed identities - Crawling et indexation des documents, pages, listes, et bibliothèques SharePoint - Gestion des permissions et de la sécurité au niveau des sites/documents (respect des ACLs dans le retrieval) - Synchronisation et rafraîchissement incrémental du contenu SharePoint - Gestion des métadonnées, types de contenu, et structures de sites complexes (multi-sites, multi-tenants) - Gestion des quotas API Graph (throttling, retry, pagination) QA / Testing — Focus Principal - Concevoir et implémenter la stratégie de test end-to-end du chatbot - Tests unitaires (pytest, Go testing) — couverture des composants IA, connecteurs SharePoint, orchestration - Tests d'intégration : SharePoint API mocking, vector store, LLM endpoints - Tests de contrat API (schema validation, Pydantic AI schema enforcement) - Tests de non-régression sur les réponses IA : - Golden datasets et évaluation automatique des réponses - Scoring de qualité (relevance, faithfulness, hallucination detection) - A/B testing des prompts et des versions de modèles - Tests de charge et de performance (locust / k6) — simulation multi-utilisateurs concurrents - Tests de sécurité : - Injection de prompts (prompt injection, jailbreak) - Fuite de données (data exfiltration, cross-tenant leakage) - Accès non autorisés (bypass d'ACLs SharePoint) - Tests de robustesse LLM : edge cases, context overflow, model fallback, timeout handling - Observabilité de la qualité via Langfuse : - Tracing des chaînes RAG (retrieval → génération → réponse) - Évaluation continue des réponses en production (drift detection, feedback loops) - Dashboards de qualité (latence, token usage, user satisfaction, error rates) - Alerting sur dégradation de qualité - Mise en place de pipelines CI/CD avec gates de qualité (tests, linting, évaluation IA) - Gestion des environnements de test (dev / staging / prod) avec données représentatives Architecture & Intégration - Concevoir le pipeline de données : SharePoint → extraction → chunking → embedding → vector store - Exposer le chatbot via API REST (FastAPI) et interface utilisateur - Intégration avec les systèmes internes (SSO, logging, audit, monitoring) - Gestion multi-langues (FR/EN) Stack Technique - Langages : Python 3.11+, Go - IA / LLM : Pydantic AI, LangChain / LlamaIndex, vLLM, Hugging Face, OpenAI-compatible APIs - Observabilité IA / QA : Langfuse (tracing, évaluation, monitoring) - Vector Store : Milvus / Qdrant / pgvector - SharePoint : Microsoft Graph API, SharePoint REST API, MSAL - API : FastAPI, Pydantic - Testing : pytest, pytest-asyncio, Go testing, locust, k6 - CI/CD : GitLab CI, Tekton - Observabilité infra : Prometheus, Grafana, OpenTelemetry - Conteneurisation : Docker, Kubernetes / OpenShift Compétences Requises - Développement Python en production (min. 3 ans) avec solides bases en architecture logicielle - Expérience en Go (services performants, CLI tools, sidecar components) - Expérience avec les frameworks LLM : Pydantic AI, LangChain, LlamaIndex et patterns RAG - Expérience avec Langfuse (ou équivalent) pour le tracing et l'évaluation des chaînes IA - Expérience d'intégration avec SharePoint Online et/ou SharePoint On-Premise (API Graph, REST, CSOM) - Connaissance d'Azure AD : OAuth2, app registrations, permissions déléguées vs application - Maîtrise des pratiques de testing : unitaires, intégration, E2E, contract, charge - Expérience avec les vector stores et les pipelines d'embedding - CI/CD et automatisation des tests — culture qualité forte - Compréhension des enjeux de sécurité en environnement bancaire (confidentialité, audit, traçabilité) - Bonus : expérience avec Microsoft Graph webhook/Change API, Azure Functions