Trouvez votre prochaine offre d’emploi ou de mission freelance IA Générative

Au sein d'un grand groupe (Secteur bancaire), nous recherchons pour notre client un(e) Tech Lead (F/H) pour rejoindre la squad dédiée aux Assistants augmentés d'IA. Vous interviendrez sur la conception et le développement d'agents IA innovants destinés à guider au quotidien les clients, conseillers et collaborateurs. Vos missions principal :En tant que gardien de la qualité du code et de la cohérence architecturale de la plateforme, vos responsabilités seront les suivantes : Architecture & Choix techniques : Définir l'architecture technique en collaboration avec l'architecte projet (choix des frameworks, frameworks IA, alignement avec les besoins business). Leadership & Hands-on (~30% à 50% de code) : Développer sur les briques critiques et accompagner l'équipe au quotidien dans la résolution de problèmes complexes. Garant de la qualité : Instaurer et maintenir les bonnes pratiques de développement (Clean Code, tests unitaires, revues de code, intégration continue, scalabilité). Animation & Transmission : Créer un environnement de confiance, partager vos connaissances et faire monter l'équipe en compétences.

Dans le cadre d'un projet stratégique au sein d'un acteur majeur du secteur des paiements, nous recherchons un Senior Python Engineer spécialisé en Intelligence Artificielle Générative (LLM). Vous interviendrez au sein d'une équipe dédiée au développement d'une plateforme IA générative en environnement on-premise. Le rôle est fortement orienté développement logiciel et architecture applicative : nous recherchons un profil capable de concevoir, développer et industrialiser des applications IA en production. Vos principales responsabilités : Concevoir et développer des applications backend Python intégrant des modèles de langage (LLM). Développer des APIs robustes avec FastAPI (ou frameworks équivalents). Concevoir des architectures RAG (Retrieval-Augmented Generation) performantes. Mettre en œuvre les mécanismes d'ingestion documentaire, chunking, embeddings et recherche sémantique. Intégrer et orchestrer différents modèles LLM (GPT, Mistral, Claude ou équivalents). Développer des composants exploitables en production avec une approche qualité logicielle. Participer aux choix d'architecture technique et aux bonnes pratiques de développement. Mettre en place les pratiques de qualité : tests, revue de code, Clean Code, documentation technique. Compétences attendues Techniques Python confirmé (développement applicatif backend) FastAPI / Flask / Django Développement d'API REST Architecture backend et microservices LLM : GPT, Mistral, Claude, OpenAI API, Anthropic API RAG (Retrieval-Augmented Generation) LangChain, LlamaIndex ou frameworks équivalents Embeddings et recherche sémantique Bases vectorielles : Qdrant, Pinecone, Weaviate, Chroma ou équivalent PostgreSQL / bases de données relationnelles Docker CI/CD Tests automatisés Git et pratiques de revue de code Savoir-être Esprit d'analyse et capacité à résoudre des problématiques complexes Autonomie et force de proposition Sens de la qualité logicielle Capacité à travailler dans un environnement exigeant Bon relationnel avec les équipes techniques et métiers Curiosité technologique et veille active sur les évolutions IA

Dans le cadre du renforcement d'une équipe Data & Intelligence Artificielle, nous recherchons un Data Scientist expérimenté pour intervenir sur un projet stratégique d'IA Générative à forte valeur métier. Tu reprendras des travaux déjà engagés autour d'une solution capable de générer automatiquement des pré-réponses à des sollicitations clients, avec un fort enjeu de pertinence, de performance et d'industrialisation. Tes missions principales : Reprendre et poursuivre les travaux Data Science déjà engagés Concevoir, évaluer et optimiser des solutions basées sur des Large Language Models (LLM) Améliorer les mécanismes de Retrieval-Augmented Generation (RAG) Travailler sur la pertinence et la qualité des réponses générées Participer à l'intégration et au déploiement des modèles en production Mettre en œuvre les bonnes pratiques MLOps / LLMOps Industrialiser le versioning, le monitoring et le déploiement des modèles Analyser les performances et identifier les axes d'amélioration Collaborer avec les développeurs, Product Owners, architectes et équipes Data Participer aux rituels Agile de l'équipe Assurer une veille active sur les évolutions en IA Générative, NLP et Machine Learning Documenter les développements et architectures réalisés

Au sein d'une équipe spécialisée en Data et Intelligence Artificielle, vous intervenez sur des problématiques à forte dimension technique autour de la gestion de données, de l'Information Retrieval et de l'IA générative. Votre mission consiste à concevoir et industrialiser les pipelines permettant de collecter, transformer, indexer et rechercher de grands volumes de données, afin d'alimenter des applications basées sur les LLM et les architectures RAG. Vous serez également impliqué dans les choix d'architecture, l'amélioration de la pertinence des recherches et l'industrialisation des solutions en production. Vos principales missions Data Engineering & Indexation Concevoir et industrialiser des pipelines d'ingestion de données provenant de sources hétérogènes. Mettre en œuvre les traitements de parsing, nettoyage, normalisation et chunking. Concevoir et maintenir des systèmes d'indexation à grande échelle. Mettre en œuvre des bases vectorielles et des embeddings. Garantir la qualité, la fraîcheur, la traçabilité et la scalabilité des données et des index. Retrieval & RAG Concevoir des stratégies de recherche sémantique et hybride. Combiner recherche lexicale (BM25), embeddings, filtrage et reranking. Mettre en place des indicateurs de pertinence : Recall, Precision, nDCG, MRR. Optimiser les mécanismes de Retrieval alimentant les LLM et architectures RAG. Travailler sur la gestion du contexte, la déduplication et la qualité des résultats. Architecture & qualité Participer aux choix techniques et à l'évolution de la stack Data/IA. Mettre en place les bonnes pratiques de développement : Clean Code, SOLID, tests automatisés. Assurer l'observabilité des pipelines et des services. Contribuer à la sécurité et à la conformité des données. Accompagner techniquement les équipes et partager les bonnes pratiques. Environnement technique Indispensable : Python 3.11+ Data Engineering / Information Retrieval Embeddings / NLP Recherche sémantique et hybride RAG / LLM Bases vectorielles : Qdrant, Weaviate, pgvector, OpenSearch PostgreSQL Tests avec Pytest Environnement apprécié : LangChain OpenAI, Mistral, Amazon Bedrock BM25 / reranking Kafka Redis Airflow / Spark Docker / Kubernetes CI/CD Go ou Java

Contexte de la mission Notre objectif est de transformer notre stratégie de pricing grâce à la donnée et à l'intelligence artificielle. Nous voulons passer d'une tarification traditionnelle à une tarification dynamique, plus intelligente et prédictive, capable d'équilibrer la rentabilité de l'entreprise et la perception de la valeur par nos clients. Pour porter cette ambition, au sein de notre équipe digital data Pricing nous concevons, développons et industrialisons les algorithmes et les produits Data qui piloteront nos prix de manière proactive et agile. Objectifs et livrables Le consultant interviendra sur un scope large, allant de l'analyse exploratoire à la mise en production (MLOps). Les chantiers majeurs identifiés pour les prochains mois sont : • Élasticité Prix: Optimisation des algorithmes d'élasticité prix existants, avec un focus majeur sur la modélisation pour le lancement de nouveaux produits. • Moteur de Promotion : Développement d'un algorithme d'optimisation des campagnes promotionnelles. • Tarification Dynamique : Analyses exploratoires préliminaires et formulation de propositions pour un moteur d'aide à la décision (Dynamic Pricing “home-made”). • Industrialisation & MLOps : Optimisation des modèles existants, intégration de nouvelles sources de données, APIzation et automatisation des pipelines (Ops). • Agent amélioration : Contribution sur notre agent pricing. • Monitoring : Mise en place d'un tracking robuste de la performance des modèles et de la qualité de la donnée. Nous recherchons un profil hybride et autonome, capable de naviguer entre la vision produit et la technique. Hard skills: • Core Tech : Maîtrise avancée de Python et de son écosystème Data Science / ML (Pandas, Scikit-Learn, TensorFlow/PyTorch). • ML Engineering & MLOps : Expérience solide en mise en production d'algorithmes à grande échelle, packaging de modèles, CI/CD (Git) et industrialisation d'API. • Data & Cloud : Pratique des environnements Cloud (AWS / Databricks appréciés) et manipulation de gros volumes de données (Spark, dbt). Soft skills: • Product Ownership & Proactivité : Capacité à creuser le besoin métier, clarifier les exigences et proposer des solutions concrètes sans attendre un cahier des charges figé. • Leadership technique : Autonomie pour piloter des sujets de bout en bout et interagir avec des interlocuteurs variés (équipes Data, Tech et Métier). • Langues : Anglais courant indispensable. Une expérience préalable ou un fort background sur des problématiques de Pricing (élasticité, yield management, optimisation de marge) sera grandement valorisée.

Merci de contacter Sumi Delplanque via LinkedIn directment/msg privé. Je vous répond immédiatement Nous recherchons un développeur Python expérimenté pour rejoindre une équipe dynamique dédiée au développement de solutions exploitant des LLM avec un fort accent sur l'IA générative. Le candidat idéal doit posséder une solide expérience dans le développement backend, ainsi qu'une compréhension approfondie des technologies d'IA générative, avec une expérience concrète dans le développement d'agents LLM. Responsabilités Principales :Développer et maintenir des solutions backend robustes en Python. Collaborer avec les équipes d'intégration et de développement pour mettre en œuvre de nouveaux cas d'usage LLM. Assurer la qualité du code et la conformité avec les meilleures pratiques. Intégrer des SDK et frameworks LLM dans les applications existantes. Participer à l'architecture et à la conception d'agents pour l'analyse de requêtes utilisateur. Exigences Clés :Maîtrise avancée de Python. Expérience significative en développement backend. Connaissance des LLM / IA générative. Compréhension des architectures agentiques. Expérience avec un ou plusieurs frameworks agentic tels que LangChain, LangGraph, CrewAI, AutoGen, ou Semantic Kernel. Capacité à intégrer des SDK et frameworks LLM. Sensibilité aux problématiques de qualité et de sécurité du code. Atouts Appréciés :Expérience avec des SDK ou des frameworks internes pour l'exposition de services LLM. Compétences en sécurité des applications Python. Compréhension des meilleures pratiques en matière de revue de code et de tests. Autres Informations :Ce poste se situe dans une organisation innovante avec une équipe engagée dans un environnement collaboratif. La mission inclut une forte interaction avec divers profils tels que des architectes et DevOps, avec des opportunités d'enrichissement continu de la plateforme. Une disponibilité immédiate est un avantage dans le processus de candidature. Lieu : La Défense Télétravail : 2,5 jours par semaine Mission longue

Contexte de la missionDans le cadre du développement et de l'industrialisation des usages de l'Intelligence Artificielle Générative, nous recherchons un Consultant IA Générative spécialisé sur Claude d'Anthropic. Le consultant accompagnera les équipes métier et IT dans l'identification, la conception, l'intégration et l'optimisation de cas d'usage exploitant les modèles Claude. Missions principalesRecueillir et analyser les besoins métier liés à l'IA générative. Identifier les cas d'usage pertinents pour l'utilisation de Claude / Anthropic. Concevoir et optimiser des prompts adaptés aux différents cas d'usage. Expérimenter et évaluer les capacités des modèles Claude. Mettre en place des POC et contribuer à leur industrialisation. Concevoir des solutions exploitant les API et modèles d'Anthropic. Participer à l'intégration de Claude dans les applications et outils existants. Travailler sur des architectures de type RAG (Retrieval-Augmented Generation). Participer à la mise en place de systèmes exploitant les bases documentaires et/ou vectorielles. Évaluer la qualité, la pertinence et la fiabilité des réponses générées par les modèles. Mettre en place des mécanismes de contrôle, de sécurité et de gouvernance des usages IA. Documenter les solutions et accompagner les équipes dans leur adoption. Assurer une veille sur les évolutions des modèles et fonctionnalités Anthropic.

Le prestataire interviendra de manière transverse en qualité de Tech Lead Fullstack & AI Engineer (Java/NodeJS/Angular, DevSecOps, Agentic AI) sur le périmètre applicatif de la Plateforme. Intégré au dispositif Shared Services, il aura pour rôle d'accompagner techniquement les Lead Développeurs, de garantir la cohérence des architectures microservices (REST/GraphQL) et d'intégrer des technologies d'Intelligence Artificielle Générative (systèmes agentiques). Livrables attendus : - Audit de code et feuille de route associée : Rapports d'analyse de la dette technique, plans d'action pour la modernisation du patrimoine applicatif et préconisations d'évolution de l'architecture microservices. - Socle d'Intégration IA & Écosystème Agentique : Spécifications et implémentation de services de connexion IA, serveurs MCP (Model Context Protocol), Tools / Skills, system prompts et intercepteurs de cycle de vie (hooks). - Architecture d'intégration d'API & GraphQL : Conception et mise à jour des schémas d'API, définition de la stratégie de fédération d'API (GraphQL subgraphs / gateways), et gestion d'états asynchrones complexes. - Modernisation DevSecOps & Orchestration : Optimisation des pipelines CI/CD, sécurité applicative et gestion des configurations de conteneurisation (Docker) et d'orchestration (Kubernetes / manifests Helm). - Développements de référence : Code propre, documenté et testé (Java/NodeJS/Angular) répondant aux problématiques d'intégration et d'implémentation les plus complexes. - Normes de développement & Veille : Mise à jour du socle de bonnes pratiques (Golden Rules) et livrables de restitution de veille technologique. Les prestations attendues sont les suivantes : - Évolution d'architecture & Systèmes Cognitifs : Cadrer et formaliser les préconisations d'évolutions de l'architecture microservices, des passerelles d'API REST/GraphQL et des intégrations d'architectures agentiques multi-agents. - Ingénierie de l'IA Générative : Concevoir, implémenter et optimiser des workflows d'agents autonomes à l'aide de protocoles d'échange standardisés (MCP), de compétences (skills), d'ingénierie de prompts et d'intercepteurs (execution hooks). - Industrialisation DevSecOps & Cloud Native : Contribuer activement à l'industrialisation, à l'automatisation et à la mise à l'échelle des processus DevSecOps en concevant et optimisant les configurations Docker, Kubernetes et Helm. - Revues de code, API Design & Refactoring : Réaliser des revues de code systématiques sur les briques Java, NodeJS et Angular, et concevoir les contrats d'interface GraphQL et REST. - Développement technique complexe : Prendre en charge le prototypage (POC) et le développement des sujets techniques, d'intégration (fédération GraphQL / middlewares NodeJS) ou d'IA les plus sensibles. - Mentoring & Accompagnement : Accompagner au quotidien les Lead Développeurs de la plateforme dans l'adoption des meilleures pratiques de conception, de codage, de déploiement et de développement d'applications conteneurisées. - Animation technique : Assurer une veille technologique constante et animer activement la communauté interne des développeurs.

Vous interviendrez au sein des équipes commerciales d'un grand compte du secteur de l'énergie verte, dans un contexte de transformation digitale et d'optimisation des processus CRM. Missions : - Recueillir et analyser les besoins des équipes commerciales. - Définir, prioriser et gérer le Product Backlog. - Rédiger les user stories et critères d'acceptation. - Piloter les évolutions fonctionnelles du CRM Salesforce Sales Cloud. - Assurer la coordination entre les équipes métier, IT et les parties prenantes. - Accompagner l'intégration et les usages de l'IA générative dans les processus CRM. - Participer aux phases de recette, déploiement et amélioration continue. - Suivre les indicateurs et garantir l'adéquation de la solution avec les besoins métiers.

Pour l'un de nos clients, acteur majeur du secteur des services et de la transformation digitale, nous recherchons un Tech Lead Full Stack & IA Engineer afin d'accompagner l'évolution d'une plateforme stratégique au sein d'un environnement technologique innovant. Vous interviendrez sur des sujets à forte valeur ajoutée mêlant architecture microservices, développement Full Stack, DevSecOps et Intelligence Artificielle Générative, avec un rôle transverse auprès des équipes de développement. Descriptif du posteAu sein d'une équipe technologique dynamique, vous aurez pour missions de : Piloter les évolutions d'architecture des applications basées sur des microservices et API REST/GraphQL. Concevoir et intégrer des solutions d'Intelligence Artificielle Générative et des systèmes agentiques multi-agents. Développer et optimiser des workflows d'agents autonomes, en utilisant notamment les protocoles MCP, les Skills, le Prompt Engineering et les mécanismes d'interception (Hooks). Participer à l'industrialisation des pratiques DevSecOps et à l'automatisation des déploiements cloud native. Réaliser des revues de code et garantir la qualité des développements Java, NodeJS et Angular. Concevoir des architectures d'intégration complexes autour de GraphQL, REST et middleware. Accompagner les équipes techniques dans l'adoption des bonnes pratiques de conception, développement et déploiement. Assurer une veille technologique active et contribuer à l'amélioration continue des standards de développement.

Contexte de la missionDans le cadre du renforcement d'une équipe Data Science / Intelligence Artificielle au sein d'un grand acteur du secteur bancaire – Banque d'Investissement, nous recherchons un Data Scientist / AI Engineer Senior. L'équipe intervient sur la conception et l'intégration de solutions d'IA innovantes au sein d'applications métiers, notamment autour de l'exploitation de données issues de documents financiers, de documents de crédit et de différents systèmes internes. La mission s'inscrit dans une forte dynamique autour de l'IA générative, des LLM et des architectures agentiques, avec un objectif d'industrialisation et de mise en production de cas d'usage à forte valeur métier. Localisation : Est parisien – proche banlieue Missions et responsabilitésLe consultant interviendra sur l'ensemble du cycle de vie des projets IA : Concevoir et contribuer à la mise en œuvre de solutions et architectures agentiques permettant de simplifier et d'accélérer des processus métiers complexes. Concevoir des pipelines IA agentiques capables d'extraire, structurer et exploiter des données provenant de documents et de systèmes internes. Travailler avec les équipes métiers afin de comprendre leurs problématiques et de maximiser l'impact, la pertinence et l'adoption des solutions IA. Concevoir et intégrer des solutions reposant sur des LLM et modèles d'IA générative. Déployer et exécuter des LLM / modèles sur GPU au sein des environnements de développement. Mettre en place des dispositifs d'évaluation, de monitoring et d'observabilité des pipelines agentiques. Définir des métriques permettant d'évaluer la qualité et la fiabilité des réponses et extractions produites par les modèles. Améliorer de manière continue les performances des modèles et des pipelines selon une approche itérative et incrémentale. Définir et mettre en œuvre des stratégies de tests automatisés afin de garantir la qualité des solutions. Industrialiser les développements Data Science en respectant les standards IT de l'entreprise. Collaborer étroitement avec les architectes, développeurs et équipes de production / DevOps. Assurer la responsabilité technique de certains use cases métiers, jusqu'à leur mise en production. Participer au support technique et au transfert de compétences auprès des équipes. Environnement techniqueIA / Agentic AI LLM / Generative AI Google ADK LangGraph DSPy Phoenix / Arize Architectures agentiques et multi-agents vLLM Développement Python FastAPI Pytest APIs REST Industrialisation / Infrastructure Kubernetes Jenkins GPU / déploiement de modèles CI/CD Profil recherchéNous recherchons un profil Senior, capable d'aller au-delà de l'expérimentation Data Science et de participer réellement à l'industrialisation de solutions IA. Une expérience significative est attendue sur : IA générative et LLM. Développement Python. Conception de pipelines et/ou systèmes agentiques. Intégration de solutions IA dans des applications métiers. Évaluation et observabilité de modèles ou de systèmes LLM. APIs et architectures applicatives. Kubernetes et environnements CI/CD. Mise en production de solutions Data Science / Machine Learning. Une expérience dans le secteur bancaire, financier ou sur des problématiques documentaires complexes constitue un plus. Qualités attenduesAutonomie et capacité de prise en charge d'un sujet de bout en bout. Très bonnes capacités d'analyse et de résolution de problèmes. Capacité à interagir avec des interlocuteurs métiers et techniques. Curiosité forte autour des évolutions de l'IA générative. Capacité à challenger les solutions et être force de proposition. Culture de la qualité et de l'industrialisation. Communication et capacité de transmission.

TEKsystems recherche pour son client grand compte un Développeur IA Générative Confirmé Python / TypeScript (H/F). Il s'agit d'un programme d emodernisation du système d'information. Le Développeur sera chargé d'accompagner la conception et la mise en œuvre des premières solutions basées sur l'IA générative. L'objectif est de construire des assistants IA et des agents intelligents capables d'interagir avec les outils de l'entreprise afin d'améliorer l'accès à l'information, d'automatiser certaines tâches et d'apporter de nouveaux services aux collaborateurs. Le programme est actuellement en phase de cadrage et de définition des cas d'usage prioritaires, avec une mise en production des premières solutions prévue prochainement. Missions Au sein d'une équipe pluridisciplinaire dédiée à l'innovation et à l'IA, vous participerez à la conception, au développement et à l'industrialisation des solutions. Vos responsabilités seront notamment les suivantes : Concevoir et développer des workflows agentiques et des composants réutilisables. Développer des assistants IA connectés aux outils et services de l'entreprise. Construire des agents IA, prompts outillés et services d'orchestration. Développer et intégrer des APIs. Concevoir des connecteurs vers les outils collaboratifs et applications du SI. Mettre en œuvre des intégrations avec Jira, Confluence, Git, plateformes ITSM et autres services métiers. Participer à l'adoption des standards émergents tels que MCP (Model Context Protocol). Réaliser les tests techniques et automatisés. Mettre en place les dispositifs de monitoring et d'observabilité. Contribuer à l'industrialisation et à la mise en production des composants développés. Produire la documentation technique, les guides d'utilisation et les démonstrateurs. Accompagner les équipes dans l'adoption des nouvelles solutions. Environnement techniqueDéveloppement Python TypeScript APIs REST Architecture logicielle IA Générative LLM Agents IA Prompt Engineering Workflows agentiques LangChain, LangGraph, Semantic Kernel, CrewAI ou équivalent Intégration SI APIs et services internes Jira Confluence Git Outils ITSM MCP (un plus) Industrialisation Cloud Git CI/CD DevOps Tests automatisés Monitoring et observabilité

CONTEXTE DE LA MISSION Le consultant intégrera l'équipe Études et Expertises Territoriales et portera la compétence GéoData Analyse pour produire des analyses, des outils et des visualisations géospatiales au service de la stratégie énergétique et territoriale du client. MISSIONS PRINCIPALES - Participer aux ateliers de cadrage et de recueil des besoins métiers - Assurer une veille active sur les bases de données territoriales et énergétiques - Collecter, nettoyer, croiser et enrichir les données (open data, données internes) - Développer des traitements et automatisations en Python - Réaliser des analyses spatiales et géographiques - Concevoir des cartographies et visualisations interactives - Développer et maintenir des tableaux de bord Power BI et/ou Tableau Software - Développer des outils et services web liés à la donnée territoriale - Assurer la maintenance et l'évolution des solutions existantes - Participer aux phases de recette et de validation - Former et accompagner les utilisateurs et profils juniors - Produire la documentation technique et méthodologique - Contribuer à la capitalisation et à l'amélioration continue

En tant que QA Practice & Tools Manager vous serez responsable de la définition, de la structuration et de l'industrialisation des pratiques d'ingénierie qualité au sein d'Estreem. Directement rattaché, au Quality Engineering Director, vous jouerez un rôle déterminant dans la montée en maturité des équipes QA Estreem en garantissant la cohérence méthodologique entre les squads ainsi que les QA plateforme tout en assurant l'alignement des outils, frameworks et standards avec la stratégie technologique Estreem. Véritable référent qualité et leader d'influence, vous contribuerez à faire de la qualité un vecteur de performance, de maîtrise des risques et d'accélération du delivery. Responsabilités principales Définition et pilotage des pratiques Quality Engineering · Définir les bonnes pratiques en matière d'ingénierie qualité, · Formaliser le référentiel méthodologique (Processus, pratiques, DoR, DoD, quality gates, etc.), · Définir les standards de test par niveau : unitaire, intégration composant, intégration système, système, UAT, performance, sécurité), · Structurer la pyramide des tests cible et le niveau de maille des tests, · Mettre en place une stratégie Shift Left / shift Right, · Définir une stratégie d'automatisation alignée ROI et roadmap produit. Gouvernance des outils et architecture d'automatisation · Sélectionner et rationnaliser les outils (test management, framework, etc.), · Définir une architecture d'automatisation (framework , CI, reporting), · Standardiser les pratiques convention de code, qualité des scripts, · Intégrer les outils dans la CI/CD et les pipelines DevOPs Industrialisation et performance Standardiser et industrialiser les pratiques de tests, Définir les KPI Qualité (Taux de défauts, Couverture des tests, Flakiness, Lead time des anomalies, etc.) Construire un dashboard qualité consolidé de niveau plateforme Identifier les axes d'amélioration continue Leadership et animation de la practice · Recruter et manager votre équipe, · Animer la practice QA, · Développer les compétences de la QA Estreem (plan de formation, certifications, coaching, mentorat), · Structurer les parcours de carrière des QA, · Mettre en place des communautés techniques de partage, · Accompagner les squads dans leur montée en compétence et dans l'amélioration continue. Innovation et veille · Intégrer l'IA générative dans les processus de test (pompt engineering, génération de tests, automations), · Etudier l'impact des LLM dans la conception et la maintenance des tests, Environnement & outils • Jira, Confluence, Xray • Cucumber, BDD, Gherkin, Vulcain (outil interne)

Description du poste Dans le cadre du développement et de l'encadrement des usages de l'intelligence artificielle générative au sein de la banque, le groupe souhaite renforcer ses capacités d'évaluation, de qualification et de sécurisation des LLM. Les LLM sont amenés à être utilisés dans différents cas d'usage métiers, que ce soit pour l'assistance aux collaborateurs, l'analyse documentaire, la génération de contenus, l'aide à la décision, l'automatisation de processus ou l'exploitation de bases de connaissances internes. Leur adoption nécessite toutefois un cadre rigoureux afin de garantir leur performance, leur robustesse, leur sécurité, leur conformité et leur adéquation aux exigences du secteur bancaire. La mission consiste à intervenir en tant que Data Scientist spécialisé dans l'évaluation des LLM, afin de définir et de mettre en œuvre des méthodologies d'évaluation, de benchmark et de red teaming des modèles d'IA générative utilisés, testés ou envisagés par le groupe. Cette mission s'inscrit dans une démarche de gouvernance des modèles d'IA, de maîtrise des risques liés à l'IA générative et d'industrialisation des pratiques d'évaluation avant mise en production. Principaux objectifs Définir et mettre en œuvre un cadre d'évaluation des LLM adapté aux enjeux de la banque. Évaluer les performances, limites, risques et comportements des modèles d'IA générative. Réaliser des benchmarks comparatifs entre différents LLM, qu'ils soient internes, open source ou fournis par des éditeurs. Concevoir et exécuter des campagnes de red teaming pour identifier les vulnérabilités, biais, hallucinations et comportements indésirables. Contribuer à la sélection, la validation et la qualification des modèles LLM avant usage ou mise en production. Produire des analyses objectives permettant d'éclairer les décisions métiers, techniques, risques et conformité. Participer à l'industrialisation des processus d'évaluation des LLM dans le cycle de vie des modèles d'IA. Contribuer à la constitution de jeux de tests, métriques, référentiels d'évaluation et outils de suivi. Activités principalesÉvaluation des LLM Définir les protocoles d'évaluation adaptés aux cas d'usage d'IA générative de la banque. Identifier les métriques pertinentes pour mesurer la qualité des réponses générées : exactitude, pertinence, cohérence, complétude, factualité, robustesse, sécurité, explicabilité et conformité. Évaluer les capacités des modèles sur différents types de tâches : résumé, extraction d'information, classification, question-réponse, génération de texte, analyse documentaire, raisonnement, traduction ou reformulation. Mettre en place des jeux de tests représentatifs des usages métiers bancaires. Analyser les performances des modèles selon différents contextes, langues, domaines métiers et niveaux de complexité. Identifier les limites fonctionnelles et techniques des modèles testés. Documenter les résultats d'évaluation et formuler des recommandations. Benchmark LLM Concevoir et conduire des benchmarks comparatifs entre plusieurs modèles LLM. Comparer les modèles selon des critères de performance, coût, latence, robustesse, sécurité, empreinte technique et conformité. Tester différents modèles propriétaires, open source ou internes selon les contraintes du groupe. Mettre en place des grilles d'analyse permettant d'aider au choix des modèles selon les cas d'usage. Évaluer l'impact de différents paramètres : prompt, température, taille de contexte, modèle d'embedding, architecture RAG, fine-tuning ou quantization. Produire des rapports de benchmark clairs, exploitables par les équipes métiers, data, IT, sécurité et conformité. Participer à la définition de standards internes pour la comparaison et la qualification des LLM. Red teaming et sécurité des LLM Définir et exécuter des scénarios de red teaming adaptés aux risques liés à l'IA générative. Tester la résistance des modèles face aux attaques de type prompt injection, jailbreak, data leakage, contournement de garde-fous, génération de contenu inapproprié ou non conforme. Identifier les risques d'hallucination, de biais, de toxicité, de désinformation ou de réponses dangereuses. Concevoir des corpus de prompts adversariaux adaptés aux contextes bancaires et réglementaires. Évaluer la capacité des modèles à respecter les politiques internes, les règles de conformité et les contraintes de sécurité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation. Collaborer avec les équipes sécurité, conformité, risques et architecture pour renforcer le cadre d'usage des LLM. Méthodologie, outillage et industrialisation Mettre en place des outils, notebooks, scripts ou pipelines d'évaluation automatisée. Contribuer à l'industrialisation des campagnes d'évaluation dans le cycle de vie des modèles. Définir des référentiels de métriques et de seuils d'acceptabilité. Construire et maintenir des datasets d'évaluation internes, anonymisés et représentatifs. Participer à l'intégration des résultats d'évaluation dans les outils de gouvernance des modèles, notamment ModelHub v2. Assurer la traçabilité des campagnes d'évaluation, des versions de modèles et des résultats obtenus. Mettre en place des tableaux de bord ou rapports de suivi de la qualité des LLM. Contribuer à la veille technologique sur les méthodes d'évaluation, frameworks de benchmark et pratiques de red teaming LLM. Livrables attendus Cadre méthodologique d'évaluation des LLM adapté aux usages bancaires. Protocoles de test et grilles d'évaluation des modèles d'IA générative. Jeux de tests et datasets d'évaluation documentés. Corpus de prompts de benchmark et de red teaming. Rapports d'évaluation des LLM testés. Rapports de benchmark comparatif entre modèles. Analyses de risques liées aux comportements des LLM. Synthèses des vulnérabilités identifiées lors des campagnes de red teaming. Recommandations de mitigation et plans d'amélioration. Tableaux de bord ou indicateurs de suivi de performance et de sécurité. Scripts, notebooks ou pipelines d'évaluation automatisée. Documentation des métriques, seuils et critères de validation. Recommandations pour la sélection et la mise en production des modèles. Contributions à l'intégration des résultats d'évaluation dans ModelHub v2 ou tout autre outil de gouvernance IA. Supports de présentation à destination des équipes métiers, techniques,

Contexte : Dans le cadre de l'accélération de sa transformation numérique, un acteur majeur du secteur bancaire recherche un Responsable de Programme / Tech Lead IA pour accompagner le développement et l'adoption des usages de l'intelligence artificielle au sein de ses équipes IT. Le consultant évoluera au sein d'un environnement international et interviendra sur des sujets stratégiques liés à la gouvernance IA, au déploiement de solutions d'IA générative, aux LLM, à l'IA agentique et à la sécurité des usages IA. Missions : Piloter les différents chantiers liés à la stratégie IA for Tech et assurer leur suivi opérationnel. Préparer et animer les instances de gouvernance : comités de pilotage, réunions de suivi, ateliers et sessions de planification. Coordonner les contributions des équipes IT, métiers, sécurité, conformité et architecture. Identifier les arbitrages nécessaires, les risques et les alertes, puis les présenter aux parties prenantes concernées. Suivre les projets liés au déploiement des outils IA, aux LLM, aux modèles de consommation et aux architectures IA. Contribuer à la définition et à la mise en œuvre de la stratégie IA agentique. Participer aux travaux autour du déploiement de solutions LLM en environnement maîtrisé / on-premise. Mettre en place et suivre des indicateurs permettant de mesurer l'adoption et la consommation des solutions IA. Produire les synthèses, reportings et supports destinés au management. Alimenter la feuille de route IA et assurer une veille sur les évolutions technologiques, réglementaires et sécuritaires. Participer aux instances de planification et de gouvernance à l'échelle du Groupe. Assurer l'interface entre les différentes entités et équipes impliquées dans les programmes IA.