Contractor job [FBO] Lead AI / RAG Engineer – Python, SharePoint & QA

Développeur Python IA & Connectivité SharePoint

Mission

- Concevoir et développer un chatbot IA centralisé à l'échelle de la banque, intégrant SharePoint comme source de données principale

- Garantir la qualité, la fiabilité et la couverture de tests du chatbot via une stratégie QA rigoureuse

Responsabilités

Développement Python / Go / IA

- Concevoir l'architecture du chatbot (orchestration, RAG, gestion du contexte, multi-turn)

- Développer les composants IA : ingestion, embedding, retrieval, génération (LLM on-premise ou API)

- Intégrer les modèles LLM avec les sources de connaissance SharePoint

- Optimiser les performances (latence, throughput, qualité des réponses)

- Gestion des prompts, templates, et évaluation des réponses (prompt engineering)

- Développement d'outils et services en Go (performance-critical, sidecar utilities)

Connectivité SharePoint

- Intégration avec SharePoint Online / On-Premise via API Graph ou SharePoint REST API

- Authentification : OAuth2, Azure AD, certificats app-only, managed identities

- Crawling et indexation des documents, pages, listes, et bibliothèques SharePoint

- Gestion des permissions et de la sécurité au niveau des sites/documents (respect des ACLs dans le retrieval)

- Synchronisation et rafraîchissement incrémental du contenu SharePoint

- Gestion des métadonnées, types de contenu, et structures de sites complexes (multi-sites, multi-tenants)

- Gestion des quotas API Graph (throttling, retry, pagination)

QA / Testing — Focus Principal

- Concevoir et implémenter la stratégie de test end-to-end du chatbot

- Tests unitaires (pytest, Go testing) — couverture des composants IA, connecteurs SharePoint, orchestration

- Tests d'intégration : SharePoint API mocking, vector store, LLM endpoints

- Tests de contrat API (schema validation, Pydantic AI schema enforcement)

- Tests de non-régression sur les réponses IA :

- Golden datasets et évaluation automatique des réponses

- Scoring de qualité (relevance, faithfulness, hallucination detection)

- A/B testing des prompts et des versions de modèles

- Tests de charge et de performance (locust / k6) — simulation multi-utilisateurs concurrents

- Tests de sécurité :

- Injection de prompts (prompt injection, jailbreak)

- Fuite de données (data exfiltration, cross-tenant leakage)

- Accès non autorisés (bypass d'ACLs SharePoint)

- Tests de robustesse LLM : edge cases, context overflow, model fallback, timeout handling

- Observabilité de la qualité via Langfuse :

- Tracing des chaînes RAG (retrieval → génération → réponse)

- Évaluation continue des réponses en production (drift detection, feedback loops)

- Dashboards de qualité (latence, token usage, user satisfaction, error rates)

- Alerting sur dégradation de qualité

- Mise en place de pipelines CI/CD avec gates de qualité (tests, linting, évaluation IA)

- Gestion des environnements de test (dev / staging / prod) avec données représentatives

Architecture & Intégration

- Concevoir le pipeline de données : SharePoint → extraction → chunking → embedding → vector store

- Exposer le chatbot via API REST (FastAPI) et interface utilisateur

- Intégration avec les systèmes internes (SSO, logging, audit, monitoring)

- Gestion multi-langues (FR/EN)

Stack Technique

- Langages : Python 3.11+, Go

- IA / LLM : Pydantic AI, LangChain / LlamaIndex, vLLM, Hugging Face, OpenAI-compatible APIs

- Observabilité IA / QA : Langfuse (tracing, évaluation, monitoring)

- Vector Store : Milvus / Qdrant / pgvector

- SharePoint : Microsoft Graph API, SharePoint REST API, MSAL

- API : FastAPI, Pydantic

- Testing : pytest, pytest-asyncio, Go testing, locust, k6

- CI/CD : GitLab CI, Tekton

- Observabilité infra : Prometheus, Grafana, OpenTelemetry

- Conteneurisation : Docker, Kubernetes / OpenShift

Compétences Requises

- Développement Python en production (min. 3 ans) avec solides bases en architecture logicielle

- Expérience en Go (services performants, CLI tools, sidecar components)

- Expérience avec les frameworks LLM : Pydantic AI, LangChain, LlamaIndex et patterns RAG

- Expérience avec Langfuse (ou équivalent) pour le tracing et l'évaluation des chaînes IA

- Expérience d'intégration avec SharePoint Online et/ou SharePoint On-Premise (API Graph, REST, CSOM)

- Connaissance d'Azure AD : OAuth2, app registrations, permissions déléguées vs application

- Maîtrise des pratiques de testing : unitaires, intégration, E2E, contract, charge

- Expérience avec les vector stores et les pipelines d'embedding

- CI/CD et automatisation des tests — culture qualité forte

- Compréhension des enjeux de sécurité en environnement bancaire (confidentialité, audit, traçabilité)

- Bonus : expérience avec Microsoft Graph webhook/Change API, Azure Functions