Trouvez votre prochaine mission ou futur job IT.

Description du poste Dans le cadre du développement et de l'encadrement des usages de l'intelligence artificielle générative au sein de la banque, le groupe souhaite renforcer ses capacités d'évaluation, de qualification et de sécurisation des LLM. Les LLM sont amenés à être utilisés dans différents cas d'usage métiers, que ce soit pour l'assistance aux collaborateurs, l'analyse documentaire, la génération de contenus, l'aide à la décision, l'automatisation de processus ou l'exploitation de bases de connaissances internes. Leur adoption nécessite toutefois un cadre rigoureux afin de garantir leur performance, leur robustesse, leur sécurité, leur conformité et leur adéquation aux exigences du secteur bancaire. La mission consiste à intervenir en tant que Data Scientist spécialisé dans l'évaluation des LLM, afin de définir et de mettre en œuvre des méthodologies d'évaluation, de benchmark et de red teaming des modèles d'IA générative utilisés, testés ou envisagés par le groupe. Cette mission s'inscrit dans une démarche de gouvernance des modèles d'IA, de maîtrise des risques liés à l'IA générative et d'industrialisation des pratiques d'évaluation avant mise en production. Principaux objectifs Définir et mettre en œuvre un cadre d'évaluation des LLM adapté aux enjeux de la banque. Évaluer les performances, limites, risques et comportements des modèles d'IA générative. Réaliser des benchmarks comparatifs entre différents LLM, qu'ils soient internes, open source ou fournis par des éditeurs. Concevoir et exécuter des campagnes de red teaming pour identifier les vulnérabilités, biais, hallucinations et comportements indésirables. Contribuer à la sélection, la validation et la qualification des modèles LLM avant usage ou mise en production. Produire des analyses objectives permettant d'éclairer les décisions métiers, techniques, risques et conformité. Participer à l'industrialisation des processus d'évaluation des LLM dans le cycle de vie des modèles d'IA. Contribuer à la constitution de jeux de tests, métriques, référentiels d'évaluation et outils de suivi. Activités principalesÉvaluation des LLM Définir les protocoles d'évaluation adaptés aux cas d'usage d'IA générative de la banque. Identifier les métriques pertinentes pour mesurer la qualité des réponses générées : exactitude, pertinence, cohérence, complétude, factualité, robustesse, sécurité, explicabilité et conformité. Évaluer les capacités des modèles sur différents types de tâches : résumé, extraction d'information, classification, question-réponse, génération de texte, analyse documentaire, raisonnement, traduction ou reformulation. Mettre en place des jeux de tests représentatifs des usages métiers bancaires. Analyser les performances des modèles selon différents contextes, langues, domaines métiers et niveaux de complexité. Identifier les limites fonctionnelles et techniques des modèles testés. Documenter les résultats d'évaluation et formuler des recommandations. Benchmark LLM Concevoir et conduire des benchmarks comparatifs entre plusieurs modèles LLM. Comparer les modèles selon des critères de performance, coût, latence, robustesse, sécurité, empreinte technique et conformité. Tester différents modèles propriétaires, open source ou internes selon les contraintes du groupe. Mettre en place des grilles d'analyse permettant d'aider au choix des modèles selon les cas d'usage. Évaluer l'impact de différents paramètres : prompt, température, taille de contexte, modèle d'embedding, architecture RAG, fine-tuning ou quantization. Produire des rapports de benchmark clairs, exploitables par les équipes métiers, data, IT, sécurité et conformité. Participer à la définition de standards internes pour la comparaison et la qualification des LLM. Red teaming et sécurité des LLM Définir et exécuter des scénarios de red teaming adaptés aux risques liés à l'IA générative. Tester la résistance des modèles face aux attaques de type prompt injection, jailbreak, data leakage, contournement de garde-fous, génération de contenu inapproprié ou non conforme. Identifier les risques d'hallucination, de biais, de toxicité, de désinformation ou de réponses dangereuses. Concevoir des corpus de prompts adversariaux adaptés aux contextes bancaires et réglementaires. Évaluer la capacité des modèles à respecter les politiques internes, les règles de conformité et les contraintes de sécurité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation. Collaborer avec les équipes sécurité, conformité, risques et architecture pour renforcer le cadre d'usage des LLM. Méthodologie, outillage et industrialisation Mettre en place des outils, notebooks, scripts ou pipelines d'évaluation automatisée. Contribuer à l'industrialisation des campagnes d'évaluation dans le cycle de vie des modèles. Définir des référentiels de métriques et de seuils d'acceptabilité. Construire et maintenir des datasets d'évaluation internes, anonymisés et représentatifs. Participer à l'intégration des résultats d'évaluation dans les outils de gouvernance des modèles, notamment ModelHub v2. Assurer la traçabilité des campagnes d'évaluation, des versions de modèles et des résultats obtenus. Mettre en place des tableaux de bord ou rapports de suivi de la qualité des LLM. Contribuer à la veille technologique sur les méthodes d'évaluation, frameworks de benchmark et pratiques de red teaming LLM. Livrables attendus Cadre méthodologique d'évaluation des LLM adapté aux usages bancaires. Protocoles de test et grilles d'évaluation des modèles d'IA générative. Jeux de tests et datasets d'évaluation documentés. Corpus de prompts de benchmark et de red teaming. Rapports d'évaluation des LLM testés. Rapports de benchmark comparatif entre modèles. Analyses de risques liées aux comportements des LLM. Synthèses des vulnérabilités identifiées lors des campagnes de red teaming. Recommandations de mitigation et plans d'amélioration. Tableaux de bord ou indicateurs de suivi de performance et de sécurité. Scripts, notebooks ou pipelines d'évaluation automatisée. Documentation des métriques, seuils et critères de validation. Recommandations pour la sélection et la mise en production des modèles. Contributions à l'intégration des résultats d'évaluation dans ModelHub v2 ou tout autre outil de gouvernance IA. Supports de présentation à destination des équipes métiers, techniques,

Dans le cadre du développement de ses solutions de traitement du langage, un grand compte recherche un NLP/LLM Scientist pour concevoir, adapter et évaluer des modèles de langage sur ses cas d'usage métier. Le consultant interviendra notamment sur : ▪ L'étude et la sélection des modèles de langage adaptés aux cas d'usage (modèles propriétaires vs open-weight) ▪ Le fine-tuning et l'adaptation de modèles open-weight sur des corpus métier ▪ La conception et l'optimisation des stratégies de prompting et d'augmentation par récupération (RAG) ▪ L'évaluation rigoureuse des modèles : conception de jeux d'évaluation, métriques par tâche, analyse des erreurs, calibration ▪ Le traitement de problématiques NLP classiques : classification, extraction d'entités, résumé, similarité sémantique ▪ La veille scientifique sur les nouveaux modèles et techniques ▪ La documentation méthodologique et la restitution des travaux

Nous recherchons un(e) Architecte IA Générative/Agentique expérimenté(e), à l'aise aussi bien sur l'architecture solution/fonctionnelle que sur les enjeux techniques IA, pour accompagner nos projets de la stratégie jusqu'à la mise en production. Vos missions : Définir l'architecture applicative (cible/trajectoire) des cas d'usage IA et du socle de plateforme agentique Rédiger les dossiers d'architecture et supports de communication Conseiller sur les choix techniques et arbitrer les évolutions applicatives Contribuer à la cartographie du SI cible Accompagner les projets du cadrage à la production Votre profil : Expérience confirmée en architecture solution/fonctionnelle Expérience concrète sur des projets LLM / RAG / architectures agentiques Sensibilité aux enjeux de conformité et sécurité (secteur régulé apprécié) Bonne maîtrise des outils de cartographie d'architecture d'entreprise Excellent relationnel et sens du conseil

Niveau d'expérience : Junior (1 à 3 ans) Type de poste : Ingénieur IA / MLOps Junior (H/F) Localisation : Région parisienne (hybride possible) Démarrage : Dès que possible. Contexte Dans le cadre du développement de ses activités Data & Intelligence Artificielle, un grand groupe du secteur des services financiers recherche un(e) Ingénieur IA / MLOps Junior pour rejoindre son équipe dédiée à la conception, l'industrialisation et le déploiement de solutions d'Intelligence Artificielle. Vous interviendrez sur des projets innovants à fort impact, couvrant aussi bien l'IA générative que les modèles de Machine Learning traditionnels, dans un environnement cloud et DevOps moderne. Vos missions En tant qu'Ingénieur IA / MLOps, vous aurez pour responsabilités de : Agir comme référent technique IA auprès des différentes parties prenantes : équipes projets, développeurs, architectes et métiers. Concevoir, développer, industrialiser et déployer des solutions d'Intelligence Artificielle de bout en bout. Participer à l'intégration de solutions IA développées en interne ou proposées par des éditeurs externes. Contribuer à la mise en place et à l'évolution de la plateforme IA (MLOps, monitoring, gouvernance, catalogue de modèles). Industrialiser les modèles développés par les équipes Data Science afin de garantir leur passage en production. Assurer le respect des bonnes pratiques de développement, d'exploitation et de gouvernance IA. Participer à la mise en conformité des projets avec les exigences réglementaires et les standards de sécurité des données. Profil recherchéCompétences comportementales Nous recherchons une personne : Orientée résultats et capable de respecter les délais fixés. Dotée d'un fort esprit d'équipe et d'une bonne capacité de collaboration. Rigoureuse, organisée et autonome. Capable de communiquer efficacement à l'écrit comme à l'oral. Force de proposition avec une approche pragmatique des problématiques. Curieuse et en veille permanente sur les évolutions technologiques. Disposant d'un niveau d'anglais professionnel permettant d'évoluer dans un environnement technique international. Compétences techniquesExpérience Première expérience réussie (1 an minimum) en Intelligence Artificielle et/ou IA Générative. Participation à un projet de mise en production ou d'industrialisation de solutions IA. Une expérience dans un environnement réglementé constitue un atout. Langages et développement Excellente maîtrise de Python. Connaissances en SQL. La maîtrise des technologies JavaScript constitue un plus. Cloud & Infrastructure Expérience sur un environnement cloud de type AWS : S3 SageMaker Bedrock Lambda API Gateway ECS / EKS EC2 OpenSearch Aurora DevOps & MLOps Bonne connaissance des outils et pratiques : GitLab Docker Kubernetes Airflow MLflow Artifactory APIs REST Hugging Face Frameworks d'orchestration d'agents IA Outils de monitoring et de gouvernance des modèles Écosystème IA & Machine Learning Maîtrise des bibliothèques et frameworks : Scikit-learn Pandas TensorFlow PyTorch Transformers LangChain LangGraph Connaissances des concepts suivants : Machine Learning supervisé et non supervisé Deep Learning RAG (Retrieval Augmented Generation) Fine-tuning de modèles Agentic AI et systèmes multi-agents Human-In-The-Loop (HITL) Monitoring et observabilité des systèmes IA Data & Bases de données SQL et NoSQL Bases vectorielles (OpenSearch, Redis, PGVector ou équivalent) Notions de bases orientées graphe appréciées Méthodologies Bonne pratique des méthodes Agile (Scrum, Kanban ou équivalent).

Dans le cadre de l'optimisation de ses solutions d'IA générative, un grand compte recherche un Prompt Engineer pour concevoir, tester et industrialiser les prompts qui pilotent ses applications basées sur les LLM. Le consultant interviendra notamment sur : ▪ La création et l'optimisation de prompts pour améliorer la qualité des réponses des applications IA (classification, catégorisation, génération, extraction) ▪ La conception de stratégies de prompting avancées : few-shot, chain-of-thought, ReAct, Plan & Execute ▪ L'évaluation systématique des prompts : jeux de test, métriques de qualité, analyse des échecs ▪ La constitution et la maintenance de bibliothèques de prompts versionnées et documentées ▪ L'adaptation des prompts aux différents modèles utilisés et à leurs évolutions ▪ La collaboration avec les équipes métier pour traduire leurs besoins en instructions efficaces ▪ La contribution aux bonnes pratiques et à l'acculturation des équipes

Ingénieur IA : Mistral & AWS Le rôle consiste à concevoir, développer et déployer des solutions d'IA générative et agentique, avec une forte expertise autour de la plateforme Mistral et de son industrialisation à grande échelle. L'AI Engineer intervient sur l'intégration, la configuration et l'optimisation des LLM, ainsi que sur la mise en place de solutions d'agents autonomes et multi-agents, de pipelines techniques et de mécanismes d'évaluation, de monitoring et de détection des hallucinations et biais. Il contribue également au déploiement sécurisé des solutions, à leur versioning et à leur industrialisation avec Python, Docker, Kubernetes et CI/CD, en collaboration avec les équipes IT, Data, DevOps et Sécurité. Une attention particulière est portée aux contraintes RGPD, AI Act, sécurité, explicabilité et auditabilité. Technologies clés : Mistral, LLM, Python, LangChain, AutoGen, CrewAI, Docker, Kubernetes, CI/CD, fine-tuning, transfer learning, prompt engineering, few-shot learning et multi-agent systems.

Nous recherchons un Architecte IA/MLOps H/F qui conçoit, cadre et met en œuvre les architectures IA industrielles (ML classiques et IA générative), en garantissant leur cohérence avec le SI, leur industrialisation via le MLOps, et leur observabilité en production. Il/Elle intervient de la faisabilité technique au passage à l'échelle, en lien étroit avec la DSMC (valeur métier) et dans le respect des cadres Groupe (Design Authority IA, sécurité, conformité). Missions principales Cadrage technique & architecture IA Réaliser les études de faisabilité technique IA (données, intégration, sécurité, MLOps). Définir les architectures cibles IA (ML prédictif, RAG, GenAI), alignées avec : le SI existant, les standards Groupe, le socle technique commun (CI/CD, API, SCOM) Formaliser les choix dans des dossiers d'architecture. Prototypage & validation des cas d'usage Piloter ou réaliser des POC IA rapides (4–6 semaines) en lien avec la DSMC. Tester la viabilité des modèles, des données et des chaînes techniques. Documenter résultats, limites, risques techniques et conditions d'industrialisation MLOps & industrialisation Définir et mettre en œuvre les chaînes MLOps : Accompagner l'intégration des solutions IA dans le SI existant. Contribuer au catalogue de services IA de la DSI Observabilité IA & fiabilité Définir et déployer les principes de ML Observability : Mettre en place les alertes et indicateurs nécessaires au pilotage. Contribuer à la stratégie de run IA avec les équipes concernées Gouvernance des modèles IA Contribuer à la gouvernance IA DSI / DSMC : Participer aux comités IA et Architecture. Garantir la conformité des solutions avec les exigences RGPD / AI Act (en lien avec les instances dédiées) Référent IA & accompagnement des équipes Agir comme référent technique IA pour la DSI. Accompagner Data Engineers, équipes projets et prestataires. Diffuser les bonnes pratiques IA / MLOps (standards, patterns, retours d'expérience). Contribuer à la montée en compétence globale sur l'IA industrielle

Merci de contacter Sumi Delplanque via LinkedIn directment/msg privé. Je vous répond immédiatement Nous recherchons un développeur Python expérimenté pour rejoindre une équipe dynamique dédiée au développement de solutions exploitant des LLM avec un fort accent sur l'IA générative. Le candidat idéal doit posséder une solide expérience dans le développement backend, ainsi qu'une compréhension approfondie des technologies d'IA générative, avec une expérience concrète dans le développement d'agents LLM. Responsabilités Principales :Développer et maintenir des solutions backend robustes en Python. Collaborer avec les équipes d'intégration et de développement pour mettre en œuvre de nouveaux cas d'usage LLM. Assurer la qualité du code et la conformité avec les meilleures pratiques. Intégrer des SDK et frameworks LLM dans les applications existantes. Participer à l'architecture et à la conception d'agents pour l'analyse de requêtes utilisateur. Exigences Clés :Maîtrise avancée de Python. Expérience significative en développement backend. Connaissance des LLM / IA générative. Compréhension des architectures agentiques. Expérience avec un ou plusieurs frameworks agentic tels que LangChain, LangGraph, CrewAI, AutoGen, ou Semantic Kernel. Capacité à intégrer des SDK et frameworks LLM. Sensibilité aux problématiques de qualité et de sécurité du code. Atouts Appréciés :Expérience avec des SDK ou des frameworks internes pour l'exposition de services LLM. Compétences en sécurité des applications Python. Compréhension des meilleures pratiques en matière de revue de code et de tests. Autres Informations :Ce poste se situe dans une organisation innovante avec une équipe engagée dans un environnement collaboratif. La mission inclut une forte interaction avec divers profils tels que des architectes et DevOps, avec des opportunités d'enrichissement continu de la plateforme. Une disponibilité immédiate est un avantage dans le processus de candidature. Lieu : La Défense Télétravail : 2,5 jours par semaine Mission longue

Dans le cadre de la sécurisation de ses systèmes d'IA générative, un grand compte recherche un AI Red Teamer pour tester la robustesse de ses applications basées sur les LLM face aux attaques et détournements. Le consultant interviendra notamment sur : ▪ La conduite de tests offensifs sur les applications IA : prompt injection, jailbreak, extraction de données sensibles, contournement des garde-fous ▪ L'évaluation de la robustesse des systèmes agentiques : détournement d'outils, escalade de privilèges via les agents ▪ L'analyse des risques de fuite de données à travers les modèles et les architectures RAG ▪ La documentation des vulnérabilités identifiées et la formulation de recommandations de remédiation ▪ La contribution à la définition des garde-fous : filtres, validation des entrées/sorties, supervision ▪ La mise en place de campagnes de tests récurrentes et l'outillage associé ▪ La veille sur les nouvelles techniques d'attaque des systèmes IA

Dans le cadre du programme de déploiement de l'intelligence artificielle, l'équipe IA conçoit, industrialise et exploite les cas d'usage IA au service des métiers (épargne, banque, retraite complémentaire) et des collaborateurs internes. Ces cas d'usage se situent à différents stades de maturité : sujets à cadrer, prototypes à industrialiser, solutions déjà en production à maintenir et faire évoluer. Ils portent notamment sur : l'exploitation documentaire et la recherche augmentée (RAG) sur des corpus métier : contrats, garanties, procédures, réglementaire l'assistance aux collaborateurs en gestion et en relation client : aide à la réponse, synthèse de dossier, qualification de demandes l'extraction et la structuration d'informations à partir de documents entrants (courriers, pièces justificatives, formulaires) : OCR, modèles vision la conception d'agents IA et de workflows d'automatisation multi-étapes intégrés au SI Nous recherchons un ingénieur IA senior, capable de concevoir et développer des solutions à base de LLM et d'agents, sur une architecture Python, avec un objectif de solutions robustes, réutilisables, sécurisées et optimisées en coût, performance et latence. L'intervenant travaillera en interaction directe avec les référents métier, les architectes, les équipes Data et les équipes de production.

Pour un poste en CDI sur PAris , nous recherchons un développeur de Solutions IA Conditions Rémunération fixe définie selon votre expérience et votre profil, complétée par une prime de performance. . Package d'avantages incluant mutuelle, prévoyance et chèques-repas. Le Développeur de Solutions IA sera responsable du développement de solutions basées sur l'intelligence artificielle afin de renforcer les solutions et processus de sécurité de la Production IT. Ce poste implique une collaboration étroite avec des experts métiers afin d'adapter les outils et de les améliorer en continu. Le développeur utilisera Python ainsi que les bibliothèques associées pour concevoir et déployer des modèles de machine learning et des interfaces utilisateurs. MissionsResponsabilités principales Développer et déployer des solutions basées sur l'IA en utilisant Python. Concevoir des interfaces utilisateurs avec Streamlit, Gradio, Flask et d'autres frameworks pertinents. Collaborer avec des experts métiers afin de comprendre les besoins et adapter les outils en conséquence. Mettre en œuvre des processus ETL (Extract, Transform, Load) pour gérer et transformer les données. Utiliser des bibliothèques telles que pandas et scikit-learn pour la manipulation de données et les tâches de machine learning. Améliorer continuellement les outils en fonction des retours utilisateurs et des analyses de données. Une bonne culture en cybersécurité est attendue. Comment se passe la suite Le processus tient en trois temps : un premier échange avec l'équipe recrutement pour faire connaissance, une mise en situation concrète sur des cas proches de votre futur quotidien ou des besoins de nos clients, et — en option, si l'exercice vous tente — un entretien vidéo à enregistrer quand cela vous arrange, guidé par un assistant IA.

Accompagner les métiers sur des use cases IA agentiques complexes, accompagnement du 1er MVP Agentic sur les produits financiers à destination d'un agent conversationnel en ligne pour l'ensemble des clients Intégrer les assets transverses existants de la plateforme Augmented (frameworks, orchestrateurs, connecteurs, briques de monitoring, mécanismes de sécurité & gouvernance), Ou d'en définir de nouveaux afin d'enrichir le socle technologique de la plateforme dans le cadre des synergies avec le groupe.

Au sein du département Model Risk Management d'un acteur majeur du secteur financier, qui veille à la qualité et à la pertinence des modèles développés dans le groupe ainsi qu'au suivi du risque de modèle, nous recherchons un consultant pour renforcer les activités de validation indépendante (2ᵉ ligne de défense). L'équipe est notamment en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées, incluant les modèles de data science et d'intelligence artificielle. Le consultant sera amené à : ▪ Réaliser la validation indépendante de modèles statistiques, de machine learning et d'IA générative ▪ Étudier et implémenter des benchmarks sur des systèmes multi-agents basés sur des LLM, dans le cadre de cas d'usage bancaires ▪ Analyser la performance, la stabilité et l'explicabilité des modèles ▪ Caractériser les erreurs, biais et limites des modèles évalués ▪ Documenter les travaux de validation et contribuer aux référentiels de gouvernance des modèles ▪ Restituer les conclusions auprès des équipes de modélisation et des instances de contrôle

Dans le cadre du déploiement de ses solutions d'IA générative, un grand compte recherche un AI Security Engineer pour concevoir et mettre en œuvre les dispositifs de sécurité protégeant ses applications basées sur les LLM et ses systèmes agentiques. Le consultant interviendra notamment sur : ▪ La définition de l'architecture de sécurité des solutions IA : segmentation, contrôle des flux, isolation des environnements d'inférence ▪ La conception et la mise en œuvre des garde-fous (guardrails) : filtrage des entrées et sorties, détection des prompts malveillants, contrôle des contenus générés ▪ La sécurisation des architectures RAG : contrôle d'accès aux bases documentaires, cloisonnement des données par population d'utilisateurs ▪ La sécurisation des systèmes agentiques : périmètre d'action des agents, contrôle des appels d'outils, validation humaine des actions sensibles ▪ La gestion des identités, des secrets et des habilitations dans les chaînes IA ▪ La définition des exigences de sécurité applicables aux projets IA et l'accompagnement des équipes de développement (approche Security by Design) ▪ La contribution aux revues de sécurité des cas d'usage avant mise en production

Dans le cadre de la transformation et de l'industrialisation de ses processus, une grande organisation recherche un Développeur IA technico-fonctionnel pour intégrer des solutions d'intelligence artificielle, de machine learning et d'automatisation au sein de ses outils et applications métiers existants. Le consultant interviendra notamment sur : ▪ Le développement et l'intégration d'APIs permettant l'orchestration des processus métiers ▪ La conception et la mise en œuvre de solutions IA intégrées aux outils existants : classification automatique, assistance à la rédaction, catégorisation ▪ La création et l'optimisation de prompts adaptés aux cas d'usage applicatifs ▪ La mise en œuvre et l'ajustement de modèles de machine learning (classification, clustering) ▪ L'intégration des solutions IA aux processus et outils en place, dans le respect de la sécurité des données ▪ La définition et le suivi d'indicateurs de performance des solutions développées ▪ Le cadrage des besoins, la définition des cas d'utilisation, la contribution aux scénarios de test et à la recette ▪ La collaboration avec les équipes de développement, production, métiers et MOA