VISIAN
ContexteEntreprise du secteur bancaire, développement d'un chatbot IA centralisé à l'échelle de la banque, intégrant SharePoint comme source de données principale. Projet impliquant une équipe technique spécialisée en IA, connectivité SharePoint et qualité logicielle. MissionsConcevoir et développer un chatbot IA centralisé intégrant SharePoint comme source de données principale Garantir la qualité, la fiabilité et la couverture de tests du chatbot via une stratégie QA rigoureuse Développement Python / Go / IA Concevoir l'architecture du chatbot (orchestration, RAG, gestion du contexte, multi-turn) Développer les composants IA : ingestion, embedding, retrieval, génération (LLM on-premise ou API) Intégrer les modèles LLM avec les sources de connaissance SharePoint Optimiser les performances (latence, throughput, qualité des réponses) Gestion des prompts, templates, et évaluation des réponses (prompt engineering) Développement d'outils et services en Go (performance-critical, sidecar utilities) Connectivité SharePoint Intégration avec SharePoint Online / On-Premise via API Graph ou SharePoint REST API Authentification : OAuth2, Azure AD, certificats app-only, managed identities Crawling et indexation des documents, pages, listes, et bibliothèques SharePoint Gestion des permissions et de la sécurité au niveau des sites/documents (respect des ACLs dans le retrieval) Synchronisation et rafraîchissement incrémental du contenu SharePoint Gestion des métadonnées, types de contenu, et structures de sites complexes (multi-sites, multi-tenants) Gestion des quotas API Graph (throttling, retry, pagination) QA / Testing — Focus Principal Concevoir et implémenter la stratégie de test end-to-end du chatbot Tests unitaires (pytest, Go testing) — couverture des composants IA, connecteurs SharePoint, orchestration Tests d'intégration : SharePoint API mocking, vector store, LLM endpoints Tests de contrat API (schema validation, Pydantic AI schema enforcement) Tests de non-régression sur les réponses IA : Golden datasets et évaluation automatique des réponses Scoring de qualité (relevance, faithfulness, hallucination detection) A/B testing des prompts et des versions de modèles Tests de charge et de performance (locust / k6) — simulation multi-utilisateurs concurrents Tests de sécurité : Injection de prompts (prompt injection, jailbreak) Fuite de données (data exfiltration, cross-tenant leakage) Accès non autorisés (bypass d'ACLs SharePoint) Tests de robustesse LLM : edge cases, context overflow, model fallback, timeout handling Observabilité de la qualité via Langfuse : Tracing des chaînes RAG (retrieval → génération → réponse) Évaluation continue des réponses en production (drift detection, feedback loops) Dashboards de qualité (latence, token usage, user satisfaction, error rates) Alerting sur dégradation de qualité Mise en place de pipelines CI/CD avec gates de qualité (tests, linting, évaluation IA) Gestion des environnements de test (dev / staging / prod) avec données représentatives Architecture & Intégration Concevoir le pipeline de données : SharePoint → extraction → chunking → embedding → vector store Exposer le chatbot via API REST (FastAPI) et interface utilisateur Intégration avec les systèmes internes (SSO, logging, audit, monitoring) Gestion multi-langues (FR/EN) Stack techniqueLangages : Python 3.11+, Go IA / LLM : Pydantic AI, LangChain / LlamaIndex, vLLM, Hugging Face, OpenAI-compatible APIs Observabilité IA / QA : Langfuse (tracing, évaluation, monitoring) Vector Store : Milvus / Qdrant / pgvector SharePoint : Microsoft Graph API, SharePoint REST API, MSAL API : FastAPI, Pydantic Testing : pytest, pytest-asyncio, Go testing, locust, k6 CI/CD : GitLab CI, Tekton Observabilité infra : Prometheus, Grafana, OpenTelemetry Conteneurisation : Docker, Kubernetes / OpenShift
