Trouvez votre prochaine offre d’emploi ou de mission freelance IA

Développeur IA Agentique & RAG (Python / LangChain) Expérience de mise en production requise Objectif de la mission Vous integrez, optimisez et déployez des cas d'usage IA avancés. L'enjeu principal est de disposer d'un développeur capable d'aller au-delà du simple développement de prototypes ou de PoC, et de construire de véritables solutions robustes destinées à la production. Environnement technique L'ensemble de la stack IA est développé en Python. Les technologies et concepts utilisés comprennent notamment : Python /LangChain / Architectures RAG / Bases de données vectorielles Qdrant / Onyx II / Orchestration de prompts / Agents IA / API OpenAI Points qui seront challengés Les candidats devront notamment pouvoir être interrogés sur : •Leur expérience réelle de mise en production d'applications IA •Leur capacité à passer d'un PoC à une solution robuste en production •La conception et l'optimisation d'une architecture RAG •Leur utilisation de LangChain •La gestion des bases de données vectorielles •La gestion des comportements inattendus des LLMs •La sécurisation des agents IA •Les risques liés aux prompt injections •Les mécanismes mis en place pour limiter ces risques •La mise en oeuvre de guardrails •Leur manière de gérer les imprévus et incidents en production

Nous recherchons un Directeur de Programme IA Agentique pour un grand groupe du CAC 40. Mission freelance hybride de 3 mois renouvelables sur Paris Ouest. Vous aurez pour rôle de structurer un programme IA Agentique : Définir et piloter la stratégie IA & Agentic AI à l'échelle Définir les bases de la gouvernance, l'Operating Model et les standards autour de l'Agentic AI Identifier un premier cas d'usage à fort ROI et piloter leur déploiement avec les équipes métiers et les partenaires Évangéliser les équipes, embarquer les parties prenantes et porter les investissements auprès du CODIR

En tant que QA Practice & Tools Manager vous serez responsable de la définition, de la structuration et de l'industrialisation des pratiques d'ingénierie qualité au sein d'Estreem. Directement rattaché, au Quality Engineering Director, vous jouerez un rôle déterminant dans la montée en maturité des équipes QA Estreem en garantissant la cohérence méthodologique entre les squads ainsi que les QA plateforme tout en assurant l'alignement des outils, frameworks et standards avec la stratégie technologique Estreem. Véritable référent qualité et leader d'influence, vous contribuerez à faire de la qualité un vecteur de performance, de maîtrise des risques et d'accélération du delivery. Responsabilités principales Définition et pilotage des pratiques Quality Engineering · Définir les bonnes pratiques en matière d'ingénierie qualité, · Formaliser le référentiel méthodologique (Processus, pratiques, DoR, DoD, quality gates, etc.), · Définir les standards de test par niveau : unitaire, intégration composant, intégration système, système, UAT, performance, sécurité), · Structurer la pyramide des tests cible et le niveau de maille des tests, · Mettre en place une stratégie Shift Left / shift Right, · Définir une stratégie d'automatisation alignée ROI et roadmap produit. Gouvernance des outils et architecture d'automatisation · Sélectionner et rationnaliser les outils (test management, framework, etc.), · Définir une architecture d'automatisation (framework , CI, reporting), · Standardiser les pratiques convention de code, qualité des scripts, · Intégrer les outils dans la CI/CD et les pipelines DevOPs Industrialisation et performance Standardiser et industrialiser les pratiques de tests, Définir les KPI Qualité (Taux de défauts, Couverture des tests, Flakiness, Lead time des anomalies, etc.) Construire un dashboard qualité consolidé de niveau plateforme Identifier les axes d'amélioration continue Leadership et animation de la practice · Recruter et manager votre équipe, · Animer la practice QA, · Développer les compétences de la QA Estreem (plan de formation, certifications, coaching, mentorat), · Structurer les parcours de carrière des QA, · Mettre en place des communautés techniques de partage, · Accompagner les squads dans leur montée en compétence et dans l'amélioration continue. Innovation et veille · Intégrer l'IA générative dans les processus de test (pompt engineering, génération de tests, automations), · Etudier l'impact des LLM dans la conception et la maintenance des tests, Environnement & outils • Jira, Confluence, Xray • Cucumber, BDD, Gherkin, Vulcain (outil interne)

Mission de l'équipe : Dans le cadre du renforcement de la sécurité des usages et architectures d'Intelligence Artificielle, la mission vise à apporter une expertise avancée en sécurité IA et cybersécurité, depuis l'analyse des risques jusqu'à la définition des architectures sécurisées, l'accompagnement des projets et la construction de la gouvernance associée. Le consultant interviendra en collaboration étroite avec les équipes Sécurité LoD1 et LoD2, les équipes Data et IA, les équipes technologiques ainsi que les projets métiers et infrastructures. La mission s'articule autour de trois piliers majeurs. 1. Expertise technique & sécurité de l'IA Le consultant sera responsable de l'analyse des risques spécifiques aux technologies IA et Machine Learning. Les principales activités comprennent : • Réaliser des analyses de risques et du Threat Modeling sur les systèmes IA. • Identifier les menaces spécifiques telles que l'empoisonnement des données, l'évasion de modèle, le vol de modèle ou le Prompt Injection, en s'appuyant sur les référentiels du marché. • Définir des patterns d'architecture sécurisés pour l'intégration de solutions IA et les techniques de remédiation associées. • Apporter une expertise spécifique sur la sécurité des architectures agentiques. • Participer à l'évaluation des solutions techniques et des dispositifs de sécurité. • Assurer une veille technologique sur les nouvelles solutions et menaces IA et proposer, lorsque pertinent, des démarches permettant d'anticiper leur émergence. 2. Accompagnement sécurité des projets IA Le consultant interviendra comme référent sécurité IA auprès des projets métiers, des socles techniques et des projets de sécurisation de l'IA. Il devra notamment : • Accompagner les projets selon une démarche Security by Design, depuis leur cadrage jusqu'à leur implémentation. • Appliquer les frameworks et démarches de sécurité IA définis au sein de l'organisation. • Réaliser les analyses de risques et définir les exigences et mesures de sécurité associées. • Être l'interlocuteur sécurité IT opérationnel des projets et des acteurs de sécurité LoD2. • Traduire les exigences réglementaires et sécuritaires en contrôles techniques de sécurité. • Intégrer notamment les enjeux liés à l'AI Act européen. • Participer à l'évaluation des risques liés aux fournisseurs et solutions IA tierces. 3. Stratégie, gouvernance & roadmap Sécurité IA Le consultant contribuera à structurer durablement le dispositif de sécurité IA et Cyber. Les responsabilités comprennent : • Participer à l'élaboration et au suivi de la roadmap stratégique Sécurité Cyber & IA. • Contribuer à la définition des standards de sécurité encadrant les usages de l'IA. • Participer à la rédaction des directives et procédures de sécurité. • Contribuer au modèle d'opérationnalisation de la sécurité IA & Cyber au sein de l'organisation. • Vulgariser les concepts de sécurité IA auprès des équipes métiers, du management et des populations non techniques. Prestations demandées La mission nécessite une expertise combinant cybersécurité, sécurité de l'IA, architecture et accompagnement de projets. Les principales responsabilités attendues sont : • Réaliser les analyses de risques et Threat Modeling spécifiques à l'IA. • Sécuriser les architectures IA et les architectures agentiques. • Définir les exigences et contrôles techniques de sécurité. • Accompagner les projets selon une démarche Security by Design. • Évaluer les solutions IA et les risques liés aux fournisseurs tiers. • Contribuer à la gouvernance, aux standards et à la roadmap Sécurité IA. • Participer à la prise en compte des exigences réglementaires, notamment de l'AI Act européen. • Assurer une veille active sur les technologies, vulnérabilités et solutions de sécurité IA. Secteur d'activité : Banque

Au sein de la Direction de la Sécurité des Systèmes d'Information d'un grand groupe financier international, vous rejoignez une équipe Cyber d'une vingtaine de collaborateurs. Cette équipe accompagne les directions métiers et les équipes IT dans la sécurisation des projets et l'intégration des bonnes pratiques de sécurité. Dans un contexte d'automatisation, plusieurs cas d'usage d'intelligence artificielle ont été identifiés et priorisés. Un premier projet est déjà en production et d'autres sont en cours de développement. Vous prenez en charge la conception, le développement et la mise en production des applications permettant d'automatiser les activités de l'équipe Cyber. Missions principales Analyser les besoins et participer au cadrage technique avec les équipes Cyber Concevoir des architectures applicatives simples, robustes et maintenables Développer des applications Full Stack en Python (backend) et Angular (frontend) Concevoir et maintenir des API REST, des bases de données et des mécanismes d'authentification Intégrer des composants d'intelligence artificielle : API LLM, pipelines RAG, embeddings, bases vectorielles, agents IA via LangChain ou LangGraph Assurer les tests, la documentation technique et les procédures de mise en production Contribuer à l'amélioration continue des applications selon les retours des utilisateurs Assurer le transfert de compétences et la documentation nécessaire à la reprise en exploitation par les équipes internes

L'enjeu : déployer de nouvelles solutions d'automatisation et d'intelligence artificielle (alertes sur retards de livraison, garde-fous sur la passation de commandes, chatbot self-service) pour gagner en efficacité opérationnelle et en qualité de service. Vous intégrez une équipe produit de 5 à 8 personnes (Lead PM, développeurs, QA, AI Engineer, Tech Lead) sur 2 à 3 projets à forte criticité. Vos missions : - Repenser les processus métier cibles au-delà de la simple automatisation, pour maximiser la valeur créée par la donnée et l'IA - Cadrer, instruire et spécifier en détail les fonctionnalités à développer - Structurer et prioriser le backlog et la roadmap produit - Piloter le delivery en lien direct avec les équipes de réalisation - Mesurer les impacts opérationnels et analyser les résultats avec les équipes Data Analytics - Garantir la cohérence transverse avec les autres produits data

Au sein de sa Direction de la Performance Opérationnelle (périmètre Marché des Professionnels & Entreprises), lance un programme stratégique d'acculturation et d'adoption de l'Intelligence Artificielle auprès de ses équipes de souscription. Le constat est clair : malgré la mise à disposition d'outils IA performants l'usage de l'IA par les collaborateurs et les managers reste très faible. La direction a identifié un vrai sujet de change management : il ne s'agit pas de former les équipes à un outil, mais de les accompagner dans une transformation durable orientée IA, en allant à leur rencontre, en parlant leur langue métier, et en ciblant des cas d'usage concrets et à fort impact. Le périmètre concerné représente plus de 2 000 souscripteurs répartis sur toute la France (Toulouse, Bordeaux, Angers, Alsace, Lorraine, Lille…), spécialisés en assurance IARD professionnels et entreprises — une population à pyramide d'âge élevée souvent réfractaire à l'IA, et dont l'adhésion nécessite une approche terrain, interactive et personnalisée. Périmètre & Objectifs de la mission Le consultant interviendra en appui d'une équipe interne composée de deux chefs de projet, d'un data officer et d'un sponsor direction métier, pour piloter et animer le dispositif de transformation IA. Cadrage & Stratégie - Analyser et challenger le dispositif de transformation IA en cours de construction en interne - Identifier et prioriser les cas d'usage IA les plus pertinents pour les métiers de souscription IARD (une vingtaine de cas d'usage identifiés, à rationaliser) - Proposer un plan de déploiement structuré, idéalement éprouvé dans un contexte grand compte (CAC 40 ou secteur assurance / banque apprécié) - Apporter un regard extérieur pour sortir des schémas habituels et proposer des solutions innovantes Animation & Conduite du changement - Aller à la rencontre des équipes terrain partout en France (intégration dans les réunions d'équipe existantes) - Animer des sessions de sensibilisation et d'adoption IA de manière interactive et engageante (pas de slides verticaux descendant — approche participative et terrain attendue) - Cibler et démontrer les cas d'usage IA directement liés aux réalités métiers des souscripteurs (analyse de dossiers complexes, résumé de pièces techniques, RC, dommages, tous risques chantier…) - Créer du lien avec les équipes pour favoriser l'adhésion et lever les résistances Pilotage & Recommandations - Définir le RACI du programme de transformation IA - Produire des recommandations claires sur les outils à privilégier (et justifier les choix auprès des équipes) - Assurer un reporting régulier et proactif auprès du manager de la mission Livrables attendus 1. Audit et analyse du dispositif IA existant (outils, usages, adoption) 2. Cartographie et priorisation des cas d'usage IA pour les métiers IARD 3. Plan de déploiement du programme de transformation IA 4. RACI et gouvernance du programme 5. Kit d'animation et supports d'ateliers terrain (format interactif) 6. Compte-rendus des sessions d'animation et suivi de l'adoption par équipe 7. Recommandations sur les outils IA (Secure Chat, Copilot, Mistral…) 8. Points de vigilance : sécurité, conformité, gouvernance des données 9. Reporting hebdomadaire d'avancement avec propositions proactives 10. Bilan de mission et recommandations pour la suite (budget 2027)

Au sein du département Model Risk Management d'un acteur majeur du secteur financier, qui veille à la qualité et à la pertinence des modèles développés dans le groupe ainsi qu'au suivi du risque de modèle, nous recherchons un consultant pour renforcer les activités de validation indépendante (2ᵉ ligne de défense). L'équipe est notamment en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées, incluant les modèles de data science et d'intelligence artificielle. Le consultant sera amené à : ▪ Réaliser la validation indépendante de modèles statistiques, de machine learning et d'IA générative ▪ Étudier et implémenter des benchmarks sur des systèmes multi-agents basés sur des LLM, dans le cadre de cas d'usage bancaires ▪ Analyser la performance, la stabilité et l'explicabilité des modèles ▪ Caractériser les erreurs, biais et limites des modèles évalués ▪ Documenter les travaux de validation et contribuer aux référentiels de gouvernance des modèles ▪ Restituer les conclusions auprès des équipes de modélisation et des instances de contrôle

Contexte La prestation s'inscrit au sein d'une System Team SMART IA, composée d'une dizaine de profils pluridisciplinaires, en charge du développement et de l'évolution d'une plateforme IA sur Microsoft Azure. L'équipe recherche un profil expérimenté en développement souhaitant évoluer vers le Platform Engineering, dans une logique de construction d'une Internal Developer Platform. L'enjeu principal est l'industrialisation des solutions IA — notamment agentiques — des équipes produit, ainsi que l'intégration progressive de l'IA dans les pratiques de développement. Rôle et responsabilités principales Conception et développement de composants et services de plateforme Développement et évolution des pipelines CI/CD Automatisation du déploiement et de la configuration des ressources Azure Accompagnement des équipes produit dans l'industrialisation de leurs solutions IA (notamment agentiques) Intégration progressive de l'IA dans les pratiques de développement et de Platform Engineering Contribution aux choix techniques, à la qualité du code et aux pratiques collectives de l'équipe Livrables attendus Composants et services de plateforme développés et livrés Pipelines CI/CD développés et/ou fait évoluer Scripts et configurations d'automatisation Azure (IaC) Contributions à l'industrialisation des solutions IA des équipes produit Restitution documentée d'une réalisation concrète (rôle, choix technique, difficultés rencontrées)

Contexte : Dans le cadre d'un projet stratégique autour de la Data Science et de l'Intelligence Artificielle, notre client recherche un Data Scientist IA confirmé capable d'intervenir de manière autonome sur des problématiques de Machine Learning, Computer Vision et traitement automatisé de documents. Le consultant intégrera un environnement technique exigeant, en collaboration étroite avec les équipes métiers et les équipes spécialisées en IA. Il interviendra notamment sur des sujets de reconnaissance de formulaires, traitement d'images, reconnaissance d'écriture manuscrite et évaluation de modèles de vision et de langage. La mission sera réalisée en environnement sécurisé, avec de fortes exigences en matière de confidentialité, reproductibilité, traçabilité et qualité des traitements. Missions : Concevoir et développer des pipelines de Machine Learning / Deep Learning dédiés au traitement automatisé de documents. Prétraiter et analyser des images : redressement, binarisation, recalage et alignement de formulaires. Réaliser la segmentation, détection et extraction de zones d'intérêt sur des documents. Mettre en œuvre des solutions de reconnaissance d'écriture manuscrite (OCR / HTR). Étudier et exploiter des modèles Vision-Language (VLM) : prompting, évaluation et, selon les besoins, fine-tuning de modèles open-weight. Comparer différentes architectures et approches afin d'identifier les modèles les plus adaptés aux différents types de variables. Concevoir des métriques d'évaluation adaptées aux cas d'usage, analyser les performances et caractériser les erreurs. Mettre en place des mécanismes de score de confiance et de gestion de l'incertitude. Automatiser la comparaison des résultats produits par les modèles avec les données de référence. Développer des pipelines reproductibles permettant de générer les sorties attendues et d'automatiser les contrôles qualité. Assurer la mise en production et l'industrialisation des modèles dans un environnement conteneurisé. Utiliser des infrastructures GPU et des environnements de type Kubernetes / stockage objet S3. Assurer le suivi des expérimentations et des modèles avec des pratiques MLOps, notamment via MLflow. Produire un code source versionné, documenté, lisible et reproductible. Rédiger la documentation technique et méthodologique permettant la réappropriation des travaux par les équipes internes. Présenter les résultats et restituer les travaux auprès d'interlocuteurs techniques et métiers.

Dans le cadre de la modernisation de ses opérations de sécurité, un grand compte recherche un Ingénieur IA pour automatiser et augmenter les capacités de son SOC grâce à l'intelligence artificielle générative et agentique. Le consultant interviendra notamment sur : ▪ La conception et le développement d'agents IA d'assistance aux analystes : enrichissement automatique des alertes, corrélation d'événements, pré-qualification des incidents ▪ L'automatisation de la réponse à incident : orchestration des playbooks, actions de remédiation assistées, génération des rapports d'incident ▪ L'intégration de l'IA générative aux outils du SOC (SIEM, SOAR, plateformes de threat intelligence) ▪ L'exploitation des LLM pour l'analyse de threat intelligence : synthèse de bulletins de sécurité, extraction d'indicateurs de compromission ▪ La mise en place des garde-fous garantissant que les décisions critiques restent sous supervision humaine ▪ La mesure de l'impact : réduction du temps de qualification, du temps de réponse, du volume d'alertes traitées manuellement ▪ La collaboration étroite avec les analystes SOC pour concevoir des outils réellement adoptés

Contexte de la missionDans le cadre du développement et de l'industrialisation des usages de l'Intelligence Artificielle Générative, nous recherchons un Consultant IA Générative spécialisé sur Claude d'Anthropic. Le consultant accompagnera les équipes métier et IT dans l'identification, la conception, l'intégration et l'optimisation de cas d'usage exploitant les modèles Claude. Missions principalesRecueillir et analyser les besoins métier liés à l'IA générative. Identifier les cas d'usage pertinents pour l'utilisation de Claude / Anthropic. Concevoir et optimiser des prompts adaptés aux différents cas d'usage. Expérimenter et évaluer les capacités des modèles Claude. Mettre en place des POC et contribuer à leur industrialisation. Concevoir des solutions exploitant les API et modèles d'Anthropic. Participer à l'intégration de Claude dans les applications et outils existants. Travailler sur des architectures de type RAG (Retrieval-Augmented Generation). Participer à la mise en place de systèmes exploitant les bases documentaires et/ou vectorielles. Évaluer la qualité, la pertinence et la fiabilité des réponses générées par les modèles. Mettre en place des mécanismes de contrôle, de sécurité et de gouvernance des usages IA. Documenter les solutions et accompagner les équipes dans leur adoption. Assurer une veille sur les évolutions des modèles et fonctionnalités Anthropic.

Contexte Dans le cadre de ses ambitions à horizon 2030, l'entreprise souhaite renforcer l'efficacité opérationnelle de ses métiers et accompagner ses enjeux de souveraineté énergétique, de flexibilité et de transition vers les gaz renouvelables. La Data et l'IA constituent des leviers majeurs pour accompagner ces transformations, améliorer l'efficacité opérationnelle des métiers et optimiser les performances économiques de l'entreprise. Une étude lancée début 2026 a permis d'analyser les usages Data & IA actuels et futurs, l'architecture et la gouvernance existantes, et de définir une trajectoire cible de transformation. Le programme vise désormais à concrétiser cette trajectoire à travers la modernisation du patrimoine Data & IA, la convergence vers une plateforme cible moderne, le développement des usages IA et l'accompagnement des métiers dans cette transformation. Mission Le/la Pilote de Programme Transformation Data & IA est responsable du pilotage global de la transformation, de la trajectoire stratégique jusqu'à sa mise en œuvre opérationnelle. Il/elle pilote notamment la modernisation et la migration d'applications historiques vers la plateforme cible, ainsi que leur décommissionnement, tout en garantissant l'appropriation des nouveaux usages par les métiers. Le poste combine une dimension stratégique, opérationnelle et transverse, avec une forte composante de conduite du changement. Principales responsabilités1. Piloter la trajectoire de transformation Traduire les conclusions de l'étude préalable en feuille de route opérationnelle. Structurer et prioriser les différents chantiers Data & IA. Piloter le planning, le budget, les ressources, les risques et les dépendances. Préparer les arbitrages et assurer le reporting auprès des instances de gouvernance. Garantir l'alignement avec les enjeux métiers, SI, architecture, cybersécurité et souveraineté. 2. Piloter la modernisation et la migration des applications Réaliser / piloter les études détaillées de migration des applications existantes. Cartographier les applications, données, interfaces, dépendances et usages. Construire les business cases et définir les vagues de migration et la roadmap associée. Piloter les migrations vers la plateforme cible, en coordination avec les équipes techniques et métiers. Sécuriser les reprises de données, tests, bascules et plans de retour arrière. 3. Piloter les usages Data & IA Structurer et prioriser le portefeuille de cas d'usage. Accompagner les métiers dans l'identification des opportunités Data & IA. Favoriser le passage des expérimentations à l'industrialisation. Suivre la valeur métier et les bénéfices générés. Veiller à la cohérence entre les nouveaux usages et la plateforme cible. 4. Conduire le changement et l'adoption Définir et mettre en œuvre la stratégie de conduite du changement. Identifier les impacts sur les métiers et les utilisateurs. Piloter communication, acculturation et formation. Suivre l'adoption des nouvelles solutions et accompagner les résistances au changement. Garantir une transition réussie lors du remplacement des applications historiques. 5. Animer la gouvernance et les parties prenantes Mettre en place et animer les instances de gouvernance du programme. Coordonner les parties prenantes métiers, IT, architecture, cybersécurité, Data, équipes du groupe, partenaires technologiques et intégrateurs. Préparer les dossiers d'arbitrage et faciliter la prise de décision. Maintenir un alignement permanent entre vision stratégique, enjeux métiers et réalisation opérationnelle. Compétences requisesExpertise confirmée (+10 ans) CompétenceNiveauPilotage de programme : planning, budget, risques, ressources, dépendancesExpert (+10 ans)Pilotage d'une transformation SI/Data de bout en bout, de la stratégie à l'industrialisationExpert (+10 ans)Compréhension des architectures Data, plateformes et systèmes d'informationExpert (+10 ans)Compréhension des enjeux IA et de leur industrialisationExpert (+10 ans)Construction de business cases et pilotage de la valeurExpert (+10 ans)Maîtrise des enjeux de gouvernance, sécurité et souveraineté des donnéesExpert (+10 ans)Connaissance des enjeux de conformité, d'éthique et de maîtrise des risques liés à l'IAExpert (+10 ans)Maîtrise des méthodes de conduite du changementExpert (+10 ans) Compétences comportementales et transverses CompétenceRequisLeadership transverse et capacité à fédérerOuiForte capacité d'accompagnement du changementOuiAptitude à dialoguer avec des interlocuteurs métiers, techniques et dirigeantsOuiCapacité à prioriser et à obtenir des arbitragesOuiEsprit structuré, pragmatique et orienté résultatsOuiExcellentes capacités de communication et de synthèseOui

Entité : mon client (grand groupe, secteur énergie / services) Site : Province, hybride (à préciser) Rôle : MLOps Senior TJM max : 500 euros Date de démarrage : 01/10/2026 Date de fin : 30/09/2028 Profil recherché : Consultant MLOps intervenant sur l'industrialisation, le déploiement et l'exploitation de solutions d'IA générative, avec une forte expertise en Python, CI/CD, Kubernetes et Dataiku dans un environnement Dataiku. Missions principales : Industrialiser et déployer des solutions d'IA et de Machine Learning. Mettre en place et maintenir les pipelines CI/CD. Automatiser les déploiements, les tests et la supervision des modèles. Assurer le maintien en conditions opérationnelles des plateformes IA. Contribuer à l'intégration de solutions d'IA générative et de RAG. Garantir la performance, la sécurité et la fiabilité des environnements. Rédiger la documentation technique et les bonnes pratiques. Compétences indispensables : Dataiku Python MLOps et industrialisation des modèles IA GitLab CI/CD Kubernetes / OpenShift Docker Supervision : Grafana, ELK, Dynatrace Connaissance des architectures RAG et IA générative Compétences souhaitées : Terraform Bases vectorielles (PGVector, ChromaDB, Qdrant) Environnement Cloud / MultiCloud Expérience sur des projets de chatbot ou d'IA générative

Description du poste Dans le cadre du développement et de l'encadrement des usages de l'intelligence artificielle générative au sein de la banque, le groupe souhaite renforcer ses capacités d'évaluation, de qualification et de sécurisation des LLM. Les LLM sont amenés à être utilisés dans différents cas d'usage métiers, que ce soit pour l'assistance aux collaborateurs, l'analyse documentaire, la génération de contenus, l'aide à la décision, l'automatisation de processus ou l'exploitation de bases de connaissances internes. Leur adoption nécessite toutefois un cadre rigoureux afin de garantir leur performance, leur robustesse, leur sécurité, leur conformité et leur adéquation aux exigences du secteur bancaire. La mission consiste à intervenir en tant que Data Scientist spécialisé dans l'évaluation des LLM, afin de définir et de mettre en œuvre des méthodologies d'évaluation, de benchmark et de red teaming des modèles d'IA générative utilisés, testés ou envisagés par le groupe. Cette mission s'inscrit dans une démarche de gouvernance des modèles d'IA, de maîtrise des risques liés à l'IA générative et d'industrialisation des pratiques d'évaluation avant mise en production. Principaux objectifs Définir et mettre en œuvre un cadre d'évaluation des LLM adapté aux enjeux de la banque. Évaluer les performances, limites, risques et comportements des modèles d'IA générative. Réaliser des benchmarks comparatifs entre différents LLM, qu'ils soient internes, open source ou fournis par des éditeurs. Concevoir et exécuter des campagnes de red teaming pour identifier les vulnérabilités, biais, hallucinations et comportements indésirables. Contribuer à la sélection, la validation et la qualification des modèles LLM avant usage ou mise en production. Produire des analyses objectives permettant d'éclairer les décisions métiers, techniques, risques et conformité. Participer à l'industrialisation des processus d'évaluation des LLM dans le cycle de vie des modèles d'IA. Contribuer à la constitution de jeux de tests, métriques, référentiels d'évaluation et outils de suivi. Activités principalesÉvaluation des LLM Définir les protocoles d'évaluation adaptés aux cas d'usage d'IA générative de la banque. Identifier les métriques pertinentes pour mesurer la qualité des réponses générées : exactitude, pertinence, cohérence, complétude, factualité, robustesse, sécurité, explicabilité et conformité. Évaluer les capacités des modèles sur différents types de tâches : résumé, extraction d'information, classification, question-réponse, génération de texte, analyse documentaire, raisonnement, traduction ou reformulation. Mettre en place des jeux de tests représentatifs des usages métiers bancaires. Analyser les performances des modèles selon différents contextes, langues, domaines métiers et niveaux de complexité. Identifier les limites fonctionnelles et techniques des modèles testés. Documenter les résultats d'évaluation et formuler des recommandations. Benchmark LLM Concevoir et conduire des benchmarks comparatifs entre plusieurs modèles LLM. Comparer les modèles selon des critères de performance, coût, latence, robustesse, sécurité, empreinte technique et conformité. Tester différents modèles propriétaires, open source ou internes selon les contraintes du groupe. Mettre en place des grilles d'analyse permettant d'aider au choix des modèles selon les cas d'usage. Évaluer l'impact de différents paramètres : prompt, température, taille de contexte, modèle d'embedding, architecture RAG, fine-tuning ou quantization. Produire des rapports de benchmark clairs, exploitables par les équipes métiers, data, IT, sécurité et conformité. Participer à la définition de standards internes pour la comparaison et la qualification des LLM. Red teaming et sécurité des LLM Définir et exécuter des scénarios de red teaming adaptés aux risques liés à l'IA générative. Tester la résistance des modèles face aux attaques de type prompt injection, jailbreak, data leakage, contournement de garde-fous, génération de contenu inapproprié ou non conforme. Identifier les risques d'hallucination, de biais, de toxicité, de désinformation ou de réponses dangereuses. Concevoir des corpus de prompts adversariaux adaptés aux contextes bancaires et réglementaires. Évaluer la capacité des modèles à respecter les politiques internes, les règles de conformité et les contraintes de sécurité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation. Collaborer avec les équipes sécurité, conformité, risques et architecture pour renforcer le cadre d'usage des LLM. Méthodologie, outillage et industrialisation Mettre en place des outils, notebooks, scripts ou pipelines d'évaluation automatisée. Contribuer à l'industrialisation des campagnes d'évaluation dans le cycle de vie des modèles. Définir des référentiels de métriques et de seuils d'acceptabilité. Construire et maintenir des datasets d'évaluation internes, anonymisés et représentatifs. Participer à l'intégration des résultats d'évaluation dans les outils de gouvernance des modèles, notamment ModelHub v2. Assurer la traçabilité des campagnes d'évaluation, des versions de modèles et des résultats obtenus. Mettre en place des tableaux de bord ou rapports de suivi de la qualité des LLM. Contribuer à la veille technologique sur les méthodes d'évaluation, frameworks de benchmark et pratiques de red teaming LLM. Livrables attendus Cadre méthodologique d'évaluation des LLM adapté aux usages bancaires. Protocoles de test et grilles d'évaluation des modèles d'IA générative. Jeux de tests et datasets d'évaluation documentés. Corpus de prompts de benchmark et de red teaming. Rapports d'évaluation des LLM testés. Rapports de benchmark comparatif entre modèles. Analyses de risques liées aux comportements des LLM. Synthèses des vulnérabilités identifiées lors des campagnes de red teaming. Recommandations de mitigation et plans d'amélioration. Tableaux de bord ou indicateurs de suivi de performance et de sécurité. Scripts, notebooks ou pipelines d'évaluation automatisée. Documentation des métriques, seuils et critères de validation. Recommandations pour la sélection et la mise en production des modèles. Contributions à l'intégration des résultats d'évaluation dans ModelHub v2 ou tout autre outil de gouvernance IA. Supports de présentation à destination des équipes métiers, techniques,

Au sein du Pôle Architecture Logicielle & IA (DSI), le Lead IA / Architecte IA & MLOps du stream IA conçoit, cadre et met en œuvre les architectures IA industrielles (ML classiques et IA générative), en garantissant leur cohérence avec le SI, leur industrialisation via le MLOps, et leur observabilité en production. Il intervient de la faisabilité technique au passage à l'échelle, en lien étroit avec la DSMC (valeur métier) et dans le respect des cadres Groupe (Design Authority IA, sécurité, conformité). Périmètre et rattachement Rattachement : Direction des Systèmes d'Information / Architecture Logicielle & IA Interactions clés : DSMC (cadrage valeur, priorisation des cas d'usage), Architectes SI et Logiciel / équipe infra / Cloud, équipe Data, équipes projets DSI, prestataires IA, RSSI, Conformité / Juridique (interfaces), Groupe (Design Authority IA, ITD DataLab Missions principales Cadrage technique & architecture IA Réaliser les études de faisabilité technique IA (données, intégration, sécurité, MLOps). Définir les architectures cibles IA (ML prédictif, RAG, GenAI), alignées avec : le SI existant, les standards Groupe, le socle technique commun (CI/CD, API, SCOM) Formaliser les choix dans des dossiers d'architecture. Prototypage & validation des cas d'usage Piloter ou réaliser des POC IA rapides (4–6 semaines) en lien avec la DSMC. Tester la viabilité des modèles, des données et des chaînes techniques. Documenter résultats, limites, risques techniques et conditions d'industrialisation MLOps & industrialisation Définir et mettre en œuvre les chaînes MLOps : Accompagner l'intégration des solutions IA dans le SI existant. Contribuer au catalogue de services IA de la DSI Observabilité IA & fiabilité Définir et déployer les principes de ML Observability : Mettre en place les alertes et indicateurs nécessaires au pilotage. Contribuer à la stratégie de run IA avec les équipes concernées Gouvernance des modèles IA Contribuer à la gouvernance IA DSI / DSMC : Participer aux comités IA et Architecture. Garantir la conformité des solutions avec les exigences RGPD / AI Act (en lien avec les instances dédiées) Référent IA & accompagnement des équipes Agir comme référent technique IA pour la DSI. Accompagner Data Engineers, équipes projets et prestataires. Diffuser les bonnes pratiques IA / MLOps (standards, patterns, retours d'expérience). Contribuer à la montée en compétence globale sur l'IA industrielle Responsabilités clés Validation des choix techniques IA (outils, modèles, architectures). Définition des standards MLOps & observabilité IA. Contribution aux livrables structurants : Reporting sur l'avancement et la maturité IA du SI Compétences techniques (hard skills) Indispensables Python, Git, CI/CD (GitLabCI) Cloud (priorité Azure) Concepts ML & IA générative (RAG, LLM, embeddings) MLOps (versioning, pipelines, monitoring) Intégration SI / APIs Agent IA Appréciées (non bloquantes) Snowflake Airflow Sécurité IA (prompts, cloisonnement, traçabilité) Compétences comportementales (soft skills) Leadership technique, pédagogie et capacité à influencer. Culture produit et sens de la valeur métier. Rigueur, documentation et standards d'ingénierie. Orientation sécurité et conformité. Communication claire avec équipes techniques et métiers. Profil & qualifications Bac+5 (école d'ingénieur, master en informatique/data/IA) ou équivalent. Expérience : 5–8+ ans en data/ML/Cloud, dont 2–3+ ans en MLOps/architecture. Expérience concrète en industrialisation de solutions IA Bonne compréhension des enjeux DSI et Groupe Certifications (appréciées) : Cloud Architect (AWS/Azure/GCP), AzureML Langues : Français, anglais technique. Localisation : obligatoirement sur Toulouse