Trouvez votre prochaine mission ou futur job IT.

Développeur IA Agentique & RAG (Python / LangChain) Expérience de mise en production requise Objectif de la mission Vous integrez, optimisez et déployez des cas d'usage IA avancés. L'enjeu principal est de disposer d'un développeur capable d'aller au-delà du simple développement de prototypes ou de PoC, et de construire de véritables solutions robustes destinées à la production. Environnement technique L'ensemble de la stack IA est développé en Python. Les technologies et concepts utilisés comprennent notamment : Python /LangChain / Architectures RAG / Bases de données vectorielles Qdrant / Onyx II / Orchestration de prompts / Agents IA / API OpenAI Points qui seront challengés Les candidats devront notamment pouvoir être interrogés sur : •Leur expérience réelle de mise en production d'applications IA •Leur capacité à passer d'un PoC à une solution robuste en production •La conception et l'optimisation d'une architecture RAG •Leur utilisation de LangChain •La gestion des bases de données vectorielles •La gestion des comportements inattendus des LLMs •La sécurisation des agents IA •Les risques liés aux prompt injections •Les mécanismes mis en place pour limiter ces risques •La mise en oeuvre de guardrails •Leur manière de gérer les imprévus et incidents en production

L'enjeu : déployer de nouvelles solutions d'automatisation et d'intelligence artificielle (alertes sur retards de livraison, garde-fous sur la passation de commandes, chatbot self-service) pour gagner en efficacité opérationnelle et en qualité de service. Vous intégrez une équipe produit de 5 à 8 personnes (Lead PM, développeurs, QA, AI Engineer, Tech Lead) sur 2 à 3 projets à forte criticité. Vos missions : - Repenser les processus métier cibles au-delà de la simple automatisation, pour maximiser la valeur créée par la donnée et l'IA - Cadrer, instruire et spécifier en détail les fonctionnalités à développer - Structurer et prioriser le backlog et la roadmap produit - Piloter le delivery en lien direct avec les équipes de réalisation - Mesurer les impacts opérationnels et analyser les résultats avec les équipes Data Analytics - Garantir la cohérence transverse avec les autres produits data

En tant que QA Practice & Tools Manager vous serez responsable de la définition, de la structuration et de l'industrialisation des pratiques d'ingénierie qualité au sein d'Estreem. Directement rattaché, au Quality Engineering Director, vous jouerez un rôle déterminant dans la montée en maturité des équipes QA Estreem en garantissant la cohérence méthodologique entre les squads ainsi que les QA plateforme tout en assurant l'alignement des outils, frameworks et standards avec la stratégie technologique Estreem. Véritable référent qualité et leader d'influence, vous contribuerez à faire de la qualité un vecteur de performance, de maîtrise des risques et d'accélération du delivery. Responsabilités principales Définition et pilotage des pratiques Quality Engineering · Définir les bonnes pratiques en matière d'ingénierie qualité, · Formaliser le référentiel méthodologique (Processus, pratiques, DoR, DoD, quality gates, etc.), · Définir les standards de test par niveau : unitaire, intégration composant, intégration système, système, UAT, performance, sécurité), · Structurer la pyramide des tests cible et le niveau de maille des tests, · Mettre en place une stratégie Shift Left / shift Right, · Définir une stratégie d'automatisation alignée ROI et roadmap produit. Gouvernance des outils et architecture d'automatisation · Sélectionner et rationnaliser les outils (test management, framework, etc.), · Définir une architecture d'automatisation (framework , CI, reporting), · Standardiser les pratiques convention de code, qualité des scripts, · Intégrer les outils dans la CI/CD et les pipelines DevOPs Industrialisation et performance Standardiser et industrialiser les pratiques de tests, Définir les KPI Qualité (Taux de défauts, Couverture des tests, Flakiness, Lead time des anomalies, etc.) Construire un dashboard qualité consolidé de niveau plateforme Identifier les axes d'amélioration continue Leadership et animation de la practice · Recruter et manager votre équipe, · Animer la practice QA, · Développer les compétences de la QA Estreem (plan de formation, certifications, coaching, mentorat), · Structurer les parcours de carrière des QA, · Mettre en place des communautés techniques de partage, · Accompagner les squads dans leur montée en compétence et dans l'amélioration continue. Innovation et veille · Intégrer l'IA générative dans les processus de test (pompt engineering, génération de tests, automations), · Etudier l'impact des LLM dans la conception et la maintenance des tests, Environnement & outils • Jira, Confluence, Xray • Cucumber, BDD, Gherkin, Vulcain (outil interne)

Au sein de sa Direction de la Performance Opérationnelle (périmètre Marché des Professionnels & Entreprises), lance un programme stratégique d'acculturation et d'adoption de l'Intelligence Artificielle auprès de ses équipes de souscription. Le constat est clair : malgré la mise à disposition d'outils IA performants l'usage de l'IA par les collaborateurs et les managers reste très faible. La direction a identifié un vrai sujet de change management : il ne s'agit pas de former les équipes à un outil, mais de les accompagner dans une transformation durable orientée IA, en allant à leur rencontre, en parlant leur langue métier, et en ciblant des cas d'usage concrets et à fort impact. Le périmètre concerné représente plus de 2 000 souscripteurs répartis sur toute la France (Toulouse, Bordeaux, Angers, Alsace, Lorraine, Lille…), spécialisés en assurance IARD professionnels et entreprises — une population à pyramide d'âge élevée souvent réfractaire à l'IA, et dont l'adhésion nécessite une approche terrain, interactive et personnalisée. Périmètre & Objectifs de la mission Le consultant interviendra en appui d'une équipe interne composée de deux chefs de projet, d'un data officer et d'un sponsor direction métier, pour piloter et animer le dispositif de transformation IA. Cadrage & Stratégie - Analyser et challenger le dispositif de transformation IA en cours de construction en interne - Identifier et prioriser les cas d'usage IA les plus pertinents pour les métiers de souscription IARD (une vingtaine de cas d'usage identifiés, à rationaliser) - Proposer un plan de déploiement structuré, idéalement éprouvé dans un contexte grand compte (CAC 40 ou secteur assurance / banque apprécié) - Apporter un regard extérieur pour sortir des schémas habituels et proposer des solutions innovantes Animation & Conduite du changement - Aller à la rencontre des équipes terrain partout en France (intégration dans les réunions d'équipe existantes) - Animer des sessions de sensibilisation et d'adoption IA de manière interactive et engageante (pas de slides verticaux descendant — approche participative et terrain attendue) - Cibler et démontrer les cas d'usage IA directement liés aux réalités métiers des souscripteurs (analyse de dossiers complexes, résumé de pièces techniques, RC, dommages, tous risques chantier…) - Créer du lien avec les équipes pour favoriser l'adhésion et lever les résistances Pilotage & Recommandations - Définir le RACI du programme de transformation IA - Produire des recommandations claires sur les outils à privilégier (et justifier les choix auprès des équipes) - Assurer un reporting régulier et proactif auprès du manager de la mission Livrables attendus 1. Audit et analyse du dispositif IA existant (outils, usages, adoption) 2. Cartographie et priorisation des cas d'usage IA pour les métiers IARD 3. Plan de déploiement du programme de transformation IA 4. RACI et gouvernance du programme 5. Kit d'animation et supports d'ateliers terrain (format interactif) 6. Compte-rendus des sessions d'animation et suivi de l'adoption par équipe 7. Recommandations sur les outils IA (Secure Chat, Copilot, Mistral…) 8. Points de vigilance : sécurité, conformité, gouvernance des données 9. Reporting hebdomadaire d'avancement avec propositions proactives 10. Bilan de mission et recommandations pour la suite (budget 2027)

Au sein du département Model Risk Management d'un acteur majeur du secteur financier, qui veille à la qualité et à la pertinence des modèles développés dans le groupe ainsi qu'au suivi du risque de modèle, nous recherchons un consultant pour renforcer les activités de validation indépendante (2ᵉ ligne de défense). L'équipe est notamment en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées, incluant les modèles de data science et d'intelligence artificielle. Le consultant sera amené à : ▪ Réaliser la validation indépendante de modèles statistiques, de machine learning et d'IA générative ▪ Étudier et implémenter des benchmarks sur des systèmes multi-agents basés sur des LLM, dans le cadre de cas d'usage bancaires ▪ Analyser la performance, la stabilité et l'explicabilité des modèles ▪ Caractériser les erreurs, biais et limites des modèles évalués ▪ Documenter les travaux de validation et contribuer aux référentiels de gouvernance des modèles ▪ Restituer les conclusions auprès des équipes de modélisation et des instances de contrôle

Contexte de la missionDans le cadre du développement et de l'industrialisation des usages de l'Intelligence Artificielle Générative, nous recherchons un Consultant IA Générative spécialisé sur Claude d'Anthropic. Le consultant accompagnera les équipes métier et IT dans l'identification, la conception, l'intégration et l'optimisation de cas d'usage exploitant les modèles Claude. Missions principalesRecueillir et analyser les besoins métier liés à l'IA générative. Identifier les cas d'usage pertinents pour l'utilisation de Claude / Anthropic. Concevoir et optimiser des prompts adaptés aux différents cas d'usage. Expérimenter et évaluer les capacités des modèles Claude. Mettre en place des POC et contribuer à leur industrialisation. Concevoir des solutions exploitant les API et modèles d'Anthropic. Participer à l'intégration de Claude dans les applications et outils existants. Travailler sur des architectures de type RAG (Retrieval-Augmented Generation). Participer à la mise en place de systèmes exploitant les bases documentaires et/ou vectorielles. Évaluer la qualité, la pertinence et la fiabilité des réponses générées par les modèles. Mettre en place des mécanismes de contrôle, de sécurité et de gouvernance des usages IA. Documenter les solutions et accompagner les équipes dans leur adoption. Assurer une veille sur les évolutions des modèles et fonctionnalités Anthropic.

Au sein de la Digital Factory d'INFOBAM, vous rejoignez l'équipe produit qui conçoit et fait vivre les produits digitaux de plusieurs enseignes de distribution dans les territoires ultramarins : plateformes e-commerce, programmes de fidélité et nouveaux services, sur web et applications mobiles. L'équipe est de taille réduite, en contact direct avec les directions métier, et chaque décision produit se voit rapidement en production. En tant que Product Manager Digital, vous portez vos sujets du besoin à la production, puis vous en assurez le suivi (TMA sur votre périmètre). A ce titre, vos missions seront les suivantes : Cadrer les demandes métier et utilisateur : identifier le problème réel derrière la demande formulée, puis définir ce qui sera fait, pourquoi, et ce qui ne le sera pas Concevoir les solutions selon la nature du sujet : parcours, ergonomie et maquettes lorsqu'il y a une interface ; règles de gestion, pertinence de recherche, paiement ou flux de données lorsqu'il n'y en a pas ou peu, dans tous les cas, arbitrer les cas limites et les cas d'erreur Rédiger des user stories et des critères d'acceptation directement exploitables par les développeur Construire et dérouler des cahiers de recette complets, scénarios nominaux et cas d'erreur, et valider la qualité avant toute mise en production Prioriser les évolutions de votre périmètre selon la valeur métier et utilisateur, suivre l'usage et les indicateurs de vos produits en production, et en proposer les évolutions à la roadmap Dialoguer avec les interlocuteurs métier des enseignes, tenir les engagements pris et faire remonter les arbitrages au bon niveau

Contexte : Dans le cadre d'un projet stratégique autour de la Data Science et de l'Intelligence Artificielle, notre client recherche un Data Scientist IA confirmé capable d'intervenir de manière autonome sur des problématiques de Machine Learning, Computer Vision et traitement automatisé de documents. Le consultant intégrera un environnement technique exigeant, en collaboration étroite avec les équipes métiers et les équipes spécialisées en IA. Il interviendra notamment sur des sujets de reconnaissance de formulaires, traitement d'images, reconnaissance d'écriture manuscrite et évaluation de modèles de vision et de langage. La mission sera réalisée en environnement sécurisé, avec de fortes exigences en matière de confidentialité, reproductibilité, traçabilité et qualité des traitements. Missions : Concevoir et développer des pipelines de Machine Learning / Deep Learning dédiés au traitement automatisé de documents. Prétraiter et analyser des images : redressement, binarisation, recalage et alignement de formulaires. Réaliser la segmentation, détection et extraction de zones d'intérêt sur des documents. Mettre en œuvre des solutions de reconnaissance d'écriture manuscrite (OCR / HTR). Étudier et exploiter des modèles Vision-Language (VLM) : prompting, évaluation et, selon les besoins, fine-tuning de modèles open-weight. Comparer différentes architectures et approches afin d'identifier les modèles les plus adaptés aux différents types de variables. Concevoir des métriques d'évaluation adaptées aux cas d'usage, analyser les performances et caractériser les erreurs. Mettre en place des mécanismes de score de confiance et de gestion de l'incertitude. Automatiser la comparaison des résultats produits par les modèles avec les données de référence. Développer des pipelines reproductibles permettant de générer les sorties attendues et d'automatiser les contrôles qualité. Assurer la mise en production et l'industrialisation des modèles dans un environnement conteneurisé. Utiliser des infrastructures GPU et des environnements de type Kubernetes / stockage objet S3. Assurer le suivi des expérimentations et des modèles avec des pratiques MLOps, notamment via MLflow. Produire un code source versionné, documenté, lisible et reproductible. Rédiger la documentation technique et méthodologique permettant la réappropriation des travaux par les équipes internes. Présenter les résultats et restituer les travaux auprès d'interlocuteurs techniques et métiers.

Dans le cadre de la modernisation de ses opérations de sécurité, un grand compte recherche un Ingénieur IA pour automatiser et augmenter les capacités de son SOC grâce à l'intelligence artificielle générative et agentique. Le consultant interviendra notamment sur : ▪ La conception et le développement d'agents IA d'assistance aux analystes : enrichissement automatique des alertes, corrélation d'événements, pré-qualification des incidents ▪ L'automatisation de la réponse à incident : orchestration des playbooks, actions de remédiation assistées, génération des rapports d'incident ▪ L'intégration de l'IA générative aux outils du SOC (SIEM, SOAR, plateformes de threat intelligence) ▪ L'exploitation des LLM pour l'analyse de threat intelligence : synthèse de bulletins de sécurité, extraction d'indicateurs de compromission ▪ La mise en place des garde-fous garantissant que les décisions critiques restent sous supervision humaine ▪ La mesure de l'impact : réduction du temps de qualification, du temps de réponse, du volume d'alertes traitées manuellement ▪ La collaboration étroite avec les analystes SOC pour concevoir des outils réellement adoptés

Au sein du Pôle Architecture Logicielle & IA (DSI), le Lead IA / Architecte IA & MLOps du stream IA conçoit, cadre et met en œuvre les architectures IA industrielles (ML classiques et IA générative), en garantissant leur cohérence avec le SI, leur industrialisation via le MLOps, et leur observabilité en production. Il intervient de la faisabilité technique au passage à l'échelle, en lien étroit avec la DSMC (valeur métier) et dans le respect des cadres Groupe (Design Authority IA, sécurité, conformité). Périmètre et rattachement Rattachement : Direction des Systèmes d'Information / Architecture Logicielle & IA Interactions clés : DSMC (cadrage valeur, priorisation des cas d'usage), Architectes SI et Logiciel / équipe infra / Cloud, équipe Data, équipes projets DSI, prestataires IA, RSSI, Conformité / Juridique (interfaces), Groupe (Design Authority IA, ITD DataLab Missions principales Cadrage technique & architecture IA Réaliser les études de faisabilité technique IA (données, intégration, sécurité, MLOps). Définir les architectures cibles IA (ML prédictif, RAG, GenAI), alignées avec : le SI existant, les standards Groupe, le socle technique commun (CI/CD, API, SCOM) Formaliser les choix dans des dossiers d'architecture. Prototypage & validation des cas d'usage Piloter ou réaliser des POC IA rapides (4–6 semaines) en lien avec la DSMC. Tester la viabilité des modèles, des données et des chaînes techniques. Documenter résultats, limites, risques techniques et conditions d'industrialisation MLOps & industrialisation Définir et mettre en œuvre les chaînes MLOps : Accompagner l'intégration des solutions IA dans le SI existant. Contribuer au catalogue de services IA de la DSI Observabilité IA & fiabilité Définir et déployer les principes de ML Observability : Mettre en place les alertes et indicateurs nécessaires au pilotage. Contribuer à la stratégie de run IA avec les équipes concernées Gouvernance des modèles IA Contribuer à la gouvernance IA DSI / DSMC : Participer aux comités IA et Architecture. Garantir la conformité des solutions avec les exigences RGPD / AI Act (en lien avec les instances dédiées) Référent IA & accompagnement des équipes Agir comme référent technique IA pour la DSI. Accompagner Data Engineers, équipes projets et prestataires. Diffuser les bonnes pratiques IA / MLOps (standards, patterns, retours d'expérience). Contribuer à la montée en compétence globale sur l'IA industrielle Responsabilités clés Validation des choix techniques IA (outils, modèles, architectures). Définition des standards MLOps & observabilité IA. Contribution aux livrables structurants : Reporting sur l'avancement et la maturité IA du SI Compétences techniques (hard skills) Indispensables Python, Git, CI/CD (GitLabCI) Cloud (priorité Azure) Concepts ML & IA générative (RAG, LLM, embeddings) MLOps (versioning, pipelines, monitoring) Intégration SI / APIs Agent IA Appréciées (non bloquantes) Snowflake Airflow Sécurité IA (prompts, cloisonnement, traçabilité) Compétences comportementales (soft skills) Leadership technique, pédagogie et capacité à influencer. Culture produit et sens de la valeur métier. Rigueur, documentation et standards d'ingénierie. Orientation sécurité et conformité. Communication claire avec équipes techniques et métiers. Profil & qualifications Bac+5 (école d'ingénieur, master en informatique/data/IA) ou équivalent. Expérience : 5–8+ ans en data/ML/Cloud, dont 2–3+ ans en MLOps/architecture. Expérience concrète en industrialisation de solutions IA Bonne compréhension des enjeux DSI et Groupe Certifications (appréciées) : Cloud Architect (AWS/Azure/GCP), AzureML Langues : Français, anglais technique. Localisation : obligatoirement sur Toulouse

Entité : mon client (grand groupe, secteur énergie / services) Site : Province, hybride (à préciser) Rôle : MLOps Senior TJM max : 500 euros Date de démarrage : 01/10/2026 Date de fin : 30/09/2028 Profil recherché : Consultant MLOps intervenant sur l'industrialisation, le déploiement et l'exploitation de solutions d'IA générative, avec une forte expertise en Python, CI/CD, Kubernetes et Dataiku dans un environnement Dataiku. Missions principales : Industrialiser et déployer des solutions d'IA et de Machine Learning. Mettre en place et maintenir les pipelines CI/CD. Automatiser les déploiements, les tests et la supervision des modèles. Assurer le maintien en conditions opérationnelles des plateformes IA. Contribuer à l'intégration de solutions d'IA générative et de RAG. Garantir la performance, la sécurité et la fiabilité des environnements. Rédiger la documentation technique et les bonnes pratiques. Compétences indispensables : Dataiku Python MLOps et industrialisation des modèles IA GitLab CI/CD Kubernetes / OpenShift Docker Supervision : Grafana, ELK, Dynatrace Connaissance des architectures RAG et IA générative Compétences souhaitées : Terraform Bases vectorielles (PGVector, ChromaDB, Qdrant) Environnement Cloud / MultiCloud Expérience sur des projets de chatbot ou d'IA générative

Contexte Dans le cadre de ses ambitions à horizon 2030, l'entreprise souhaite renforcer l'efficacité opérationnelle de ses métiers et accompagner ses enjeux de souveraineté énergétique, de flexibilité et de transition vers les gaz renouvelables. La Data et l'IA constituent des leviers majeurs pour accompagner ces transformations, améliorer l'efficacité opérationnelle des métiers et optimiser les performances économiques de l'entreprise. Une étude lancée début 2026 a permis d'analyser les usages Data & IA actuels et futurs, l'architecture et la gouvernance existantes, et de définir une trajectoire cible de transformation. Le programme vise désormais à concrétiser cette trajectoire à travers la modernisation du patrimoine Data & IA, la convergence vers une plateforme cible moderne, le développement des usages IA et l'accompagnement des métiers dans cette transformation. Mission Le/la Pilote de Programme Transformation Data & IA est responsable du pilotage global de la transformation, de la trajectoire stratégique jusqu'à sa mise en œuvre opérationnelle. Il/elle pilote notamment la modernisation et la migration d'applications historiques vers la plateforme cible, ainsi que leur décommissionnement, tout en garantissant l'appropriation des nouveaux usages par les métiers. Le poste combine une dimension stratégique, opérationnelle et transverse, avec une forte composante de conduite du changement. Principales responsabilités1. Piloter la trajectoire de transformation Traduire les conclusions de l'étude préalable en feuille de route opérationnelle. Structurer et prioriser les différents chantiers Data & IA. Piloter le planning, le budget, les ressources, les risques et les dépendances. Préparer les arbitrages et assurer le reporting auprès des instances de gouvernance. Garantir l'alignement avec les enjeux métiers, SI, architecture, cybersécurité et souveraineté. 2. Piloter la modernisation et la migration des applications Réaliser / piloter les études détaillées de migration des applications existantes. Cartographier les applications, données, interfaces, dépendances et usages. Construire les business cases et définir les vagues de migration et la roadmap associée. Piloter les migrations vers la plateforme cible, en coordination avec les équipes techniques et métiers. Sécuriser les reprises de données, tests, bascules et plans de retour arrière. 3. Piloter les usages Data & IA Structurer et prioriser le portefeuille de cas d'usage. Accompagner les métiers dans l'identification des opportunités Data & IA. Favoriser le passage des expérimentations à l'industrialisation. Suivre la valeur métier et les bénéfices générés. Veiller à la cohérence entre les nouveaux usages et la plateforme cible. 4. Conduire le changement et l'adoption Définir et mettre en œuvre la stratégie de conduite du changement. Identifier les impacts sur les métiers et les utilisateurs. Piloter communication, acculturation et formation. Suivre l'adoption des nouvelles solutions et accompagner les résistances au changement. Garantir une transition réussie lors du remplacement des applications historiques. 5. Animer la gouvernance et les parties prenantes Mettre en place et animer les instances de gouvernance du programme. Coordonner les parties prenantes métiers, IT, architecture, cybersécurité, Data, équipes du groupe, partenaires technologiques et intégrateurs. Préparer les dossiers d'arbitrage et faciliter la prise de décision. Maintenir un alignement permanent entre vision stratégique, enjeux métiers et réalisation opérationnelle. Compétences requisesExpertise confirmée (+10 ans) CompétenceNiveauPilotage de programme : planning, budget, risques, ressources, dépendancesExpert (+10 ans)Pilotage d'une transformation SI/Data de bout en bout, de la stratégie à l'industrialisationExpert (+10 ans)Compréhension des architectures Data, plateformes et systèmes d'informationExpert (+10 ans)Compréhension des enjeux IA et de leur industrialisationExpert (+10 ans)Construction de business cases et pilotage de la valeurExpert (+10 ans)Maîtrise des enjeux de gouvernance, sécurité et souveraineté des donnéesExpert (+10 ans)Connaissance des enjeux de conformité, d'éthique et de maîtrise des risques liés à l'IAExpert (+10 ans)Maîtrise des méthodes de conduite du changementExpert (+10 ans) Compétences comportementales et transverses CompétenceRequisLeadership transverse et capacité à fédérerOuiForte capacité d'accompagnement du changementOuiAptitude à dialoguer avec des interlocuteurs métiers, techniques et dirigeantsOuiCapacité à prioriser et à obtenir des arbitragesOuiEsprit structuré, pragmatique et orienté résultatsOuiExcellentes capacités de communication et de synthèseOui

Description du poste Dans le cadre du développement et de l'encadrement des usages de l'intelligence artificielle générative au sein de la banque, le groupe souhaite renforcer ses capacités d'évaluation, de qualification et de sécurisation des LLM. Les LLM sont amenés à être utilisés dans différents cas d'usage métiers, que ce soit pour l'assistance aux collaborateurs, l'analyse documentaire, la génération de contenus, l'aide à la décision, l'automatisation de processus ou l'exploitation de bases de connaissances internes. Leur adoption nécessite toutefois un cadre rigoureux afin de garantir leur performance, leur robustesse, leur sécurité, leur conformité et leur adéquation aux exigences du secteur bancaire. La mission consiste à intervenir en tant que Data Scientist spécialisé dans l'évaluation des LLM, afin de définir et de mettre en œuvre des méthodologies d'évaluation, de benchmark et de red teaming des modèles d'IA générative utilisés, testés ou envisagés par le groupe. Cette mission s'inscrit dans une démarche de gouvernance des modèles d'IA, de maîtrise des risques liés à l'IA générative et d'industrialisation des pratiques d'évaluation avant mise en production. Principaux objectifs Définir et mettre en œuvre un cadre d'évaluation des LLM adapté aux enjeux de la banque. Évaluer les performances, limites, risques et comportements des modèles d'IA générative. Réaliser des benchmarks comparatifs entre différents LLM, qu'ils soient internes, open source ou fournis par des éditeurs. Concevoir et exécuter des campagnes de red teaming pour identifier les vulnérabilités, biais, hallucinations et comportements indésirables. Contribuer à la sélection, la validation et la qualification des modèles LLM avant usage ou mise en production. Produire des analyses objectives permettant d'éclairer les décisions métiers, techniques, risques et conformité. Participer à l'industrialisation des processus d'évaluation des LLM dans le cycle de vie des modèles d'IA. Contribuer à la constitution de jeux de tests, métriques, référentiels d'évaluation et outils de suivi. Activités principalesÉvaluation des LLM Définir les protocoles d'évaluation adaptés aux cas d'usage d'IA générative de la banque. Identifier les métriques pertinentes pour mesurer la qualité des réponses générées : exactitude, pertinence, cohérence, complétude, factualité, robustesse, sécurité, explicabilité et conformité. Évaluer les capacités des modèles sur différents types de tâches : résumé, extraction d'information, classification, question-réponse, génération de texte, analyse documentaire, raisonnement, traduction ou reformulation. Mettre en place des jeux de tests représentatifs des usages métiers bancaires. Analyser les performances des modèles selon différents contextes, langues, domaines métiers et niveaux de complexité. Identifier les limites fonctionnelles et techniques des modèles testés. Documenter les résultats d'évaluation et formuler des recommandations. Benchmark LLM Concevoir et conduire des benchmarks comparatifs entre plusieurs modèles LLM. Comparer les modèles selon des critères de performance, coût, latence, robustesse, sécurité, empreinte technique et conformité. Tester différents modèles propriétaires, open source ou internes selon les contraintes du groupe. Mettre en place des grilles d'analyse permettant d'aider au choix des modèles selon les cas d'usage. Évaluer l'impact de différents paramètres : prompt, température, taille de contexte, modèle d'embedding, architecture RAG, fine-tuning ou quantization. Produire des rapports de benchmark clairs, exploitables par les équipes métiers, data, IT, sécurité et conformité. Participer à la définition de standards internes pour la comparaison et la qualification des LLM. Red teaming et sécurité des LLM Définir et exécuter des scénarios de red teaming adaptés aux risques liés à l'IA générative. Tester la résistance des modèles face aux attaques de type prompt injection, jailbreak, data leakage, contournement de garde-fous, génération de contenu inapproprié ou non conforme. Identifier les risques d'hallucination, de biais, de toxicité, de désinformation ou de réponses dangereuses. Concevoir des corpus de prompts adversariaux adaptés aux contextes bancaires et réglementaires. Évaluer la capacité des modèles à respecter les politiques internes, les règles de conformité et les contraintes de sécurité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation. Collaborer avec les équipes sécurité, conformité, risques et architecture pour renforcer le cadre d'usage des LLM. Méthodologie, outillage et industrialisation Mettre en place des outils, notebooks, scripts ou pipelines d'évaluation automatisée. Contribuer à l'industrialisation des campagnes d'évaluation dans le cycle de vie des modèles. Définir des référentiels de métriques et de seuils d'acceptabilité. Construire et maintenir des datasets d'évaluation internes, anonymisés et représentatifs. Participer à l'intégration des résultats d'évaluation dans les outils de gouvernance des modèles, notamment ModelHub v2. Assurer la traçabilité des campagnes d'évaluation, des versions de modèles et des résultats obtenus. Mettre en place des tableaux de bord ou rapports de suivi de la qualité des LLM. Contribuer à la veille technologique sur les méthodes d'évaluation, frameworks de benchmark et pratiques de red teaming LLM. Livrables attendus Cadre méthodologique d'évaluation des LLM adapté aux usages bancaires. Protocoles de test et grilles d'évaluation des modèles d'IA générative. Jeux de tests et datasets d'évaluation documentés. Corpus de prompts de benchmark et de red teaming. Rapports d'évaluation des LLM testés. Rapports de benchmark comparatif entre modèles. Analyses de risques liées aux comportements des LLM. Synthèses des vulnérabilités identifiées lors des campagnes de red teaming. Recommandations de mitigation et plans d'amélioration. Tableaux de bord ou indicateurs de suivi de performance et de sécurité. Scripts, notebooks ou pipelines d'évaluation automatisée. Documentation des métriques, seuils et critères de validation. Recommandations pour la sélection et la mise en production des modèles. Contributions à l'intégration des résultats d'évaluation dans ModelHub v2 ou tout autre outil de gouvernance IA. Supports de présentation à destination des équipes métiers, techniques,

Contexte : Dans le cadre de l'accélération de sa transformation numérique, un acteur majeur du secteur bancaire recherche un Responsable de Programme / Tech Lead IA pour accompagner le développement et l'adoption des usages de l'intelligence artificielle au sein de ses équipes IT. Le consultant évoluera au sein d'un environnement international et interviendra sur des sujets stratégiques liés à la gouvernance IA, au déploiement de solutions d'IA générative, aux LLM, à l'IA agentique et à la sécurité des usages IA. Missions : Piloter les différents chantiers liés à la stratégie IA for Tech et assurer leur suivi opérationnel. Préparer et animer les instances de gouvernance : comités de pilotage, réunions de suivi, ateliers et sessions de planification. Coordonner les contributions des équipes IT, métiers, sécurité, conformité et architecture. Identifier les arbitrages nécessaires, les risques et les alertes, puis les présenter aux parties prenantes concernées. Suivre les projets liés au déploiement des outils IA, aux LLM, aux modèles de consommation et aux architectures IA. Contribuer à la définition et à la mise en œuvre de la stratégie IA agentique. Participer aux travaux autour du déploiement de solutions LLM en environnement maîtrisé / on-premise. Mettre en place et suivre des indicateurs permettant de mesurer l'adoption et la consommation des solutions IA. Produire les synthèses, reportings et supports destinés au management. Alimenter la feuille de route IA et assurer une veille sur les évolutions technologiques, réglementaires et sécuritaires. Participer aux instances de planification et de gouvernance à l'échelle du Groupe. Assurer l'interface entre les différentes entités et équipes impliquées dans les programmes IA.

La mission consiste à intervenir en tant que SDD Coach dans le cadre d'un programme AI for IT pour un acteur du secteur bancaire. Le consultant aura pour rôle de garantir la cohérence globale de la démarche Spec-Driven Development et d'accompagner les équipes IT dans l'adoption du développement augmenté par l'IA. Il interviendra notamment sur l'usage de GitHub Copilot, des chatbots LLM, des prompts, skills, agents, workflows agentiques et serveurs MCP. La mission vise à structurer l'usage de l'IA sur l'ensemble du cycle de vie logiciel, en priorité sur les phases de design, développement et tests, avec une approche dans laquelle la spécification devient la source de vérité entre les équipes et les outils IA. Le consultant devra coacher les équipes pilotes, promouvoir les bonnes pratiques SDD, contribuer aux AI Delivery Playbooks, formaliser des recettes, templates et supports de formation, tout en renforçant les pratiques de software craftsmanship.

Dans le cadre de la Direction Informatique de notre client, l'équipe Communication & Expérience Utilisateurs joue un rôle central : rendre l'IT plus accessible, plus utile et plus autonome pour tous les collaborateurs. Dans ce cadre, nous recherchons pour notre client un(e) Knowledge Management pour structurer, valoriser et faire évoluer nos bases de connaissances, au cœur de leurs dispositifs de selfcare et notamment de leur chatbot. Le/La consultant(e) devra fournir les prestations suivantes : Principales missions : 1. Définir et piloter la stratégie Knowledge Management • Construire et faire évoluer la gouvernance de la connaissance. • Définir les standards de rédaction (UX et IA), de validation et de maintenance des contenus. • Structurer les rôles, processus et circuits de validation. • Développer une culture du partage et de la contribution. 2. Faire vivre les bases de connaissances • Organiser, structurer et enrichir les référentiels de connaissances, FAQ, aides en ligne et espaces collaboratifs. • Garantir la qualité, la cohérence, l'accessibilité et l'actualisation des contenus. • Identifier les doublons, obsolescences et lacunes documentaires. • Assurer la disponibilité de la bonne information, au bon moment, pour les bons utilisateurs. Animer l'écosystème de la connaissance • Créer et animer un réseau de contributeurs et d'experts métiers. • Piloter des communautés de pratique et groupes de travail. • Accompagner les équipes dans la capitalisation de leurs savoirs et retours d'expérience. • Développer l'adoption des outils et des bonnes pratiques KM. Accompagner les usages de l'IA • Préparer et fiabiliser les corpus utilisés par les assistants IA. • Identifier les opportunités d'automatisation, de recherche augmentée et de génération de contenus. • Analyser les questions utilisateurs, les recherches infructueuses et les besoins émergents afin d'enrichir continuellement les connaissances. • Veiller à la qualité et à la fiabilité des réponses produites par les dispositifs d'IA. Mesurer et améliorer en continu • Mettre en place les indicateurs de pilotage : usage, contribution, réutilisation, satisfaction et qualité des contenus. • Exploiter les retours utilisateurs pour améliorer les dispositifs existants. • Identifier les leviers de simplification, d'efficacité et de montée en compétences. • Valoriser les résultats et démontrer l'impact du Knowledge Management sur la performance collective.