Trouvez votre prochaine offre d’emploi ou de mission freelance Benchmarking

Votre recherche renvoie 30 résultats.
Freelance

Mission freelanceConsultant Senior / Expert BI as Code & Analytics IA Freelance

Actual Talent
Publiée le
CI/CD
Claude
CSS

3 jours
650 €
Paris, France
Au sein de nos équipes Data, nous menons actuellement une étude comparative sur le renouvellement de nos usages BI/Dataviz, avec une forte orientation vers les approches BI as Code et l'intégration de l'IA. Plusieurs pistes sont à l'étude : Lightdash, Evidence.dev, Hex, ainsi qu'une approche expérimentale sur-mesure générée par IA (via Claude). Avant d'engager le déploiement opérationnel, nous recherchons un partenaire expert pour finaliser ce benchmark, pousser les outils dans leurs retranchements et sécuriser nos choix d'architecture technique. Vos missions Dans le cadre d'un mini-sprint de 2 à 3 jours, votre intervention s'articulera autour de 4 axes majeurs : Benchmarking final des solutions BI as Code : Pousser Lightdash au maximum de ses capacités fonctionnelles et techniques, et benchmarker de manière comparative Evidence et Hex. Évaluation de l'approche Custom IA : Tester et évaluer la viabilité d'une alternative sur-mesure, générée et packagée via de l'IA pure (Claude). Retour d'Expérience (REX) & Matrice comparative : Structurer un comparatif objectif (coûts, gouvernance, DX, adoption métier, limites techniques) entre ces différentes approches. Sécurisation de l'Architecture : Formuler des préconisations concrètes pour verrouiller les choix d'architecture et la feuille de route de mise en œuvre globale.
Voir cette offre
Freelance

Mission freelanceData Scientist spécialisé dans l’évaluation des LLMs

ISUPPLIER
Publiée le
Data science
IA Générative
MLOps

100 jours
400-550 €
Île-de-France, France
Description du poste Dans le cadre du développement et de l'encadrement des usages de l'intelligence artificielle générative au sein de la banque, le groupe souhaite renforcer ses capacités d'évaluation, de qualification et de sécurisation des LLM. Les LLM sont amenés à être utilisés dans différents cas d'usage métiers, que ce soit pour l'assistance aux collaborateurs, l'analyse documentaire, la génération de contenus, l'aide à la décision, l'automatisation de processus ou l'exploitation de bases de connaissances internes. Leur adoption nécessite toutefois un cadre rigoureux afin de garantir leur performance, leur robustesse, leur sécurité, leur conformité et leur adéquation aux exigences du secteur bancaire. La mission consiste à intervenir en tant que Data Scientist spécialisé dans l'évaluation des LLM, afin de définir et de mettre en œuvre des méthodologies d'évaluation, de benchmark et de red teaming des modèles d'IA générative utilisés, testés ou envisagés par le groupe. Cette mission s'inscrit dans une démarche de gouvernance des modèles d'IA, de maîtrise des risques liés à l'IA générative et d'industrialisation des pratiques d'évaluation avant mise en production. Principaux objectifs Définir et mettre en œuvre un cadre d'évaluation des LLM adapté aux enjeux de la banque. Évaluer les performances, limites, risques et comportements des modèles d'IA générative. Réaliser des benchmarks comparatifs entre différents LLM, qu'ils soient internes, open source ou fournis par des éditeurs. Concevoir et exécuter des campagnes de red teaming pour identifier les vulnérabilités, biais, hallucinations et comportements indésirables. Contribuer à la sélection, la validation et la qualification des modèles LLM avant usage ou mise en production. Produire des analyses objectives permettant d'éclairer les décisions métiers, techniques, risques et conformité. Participer à l'industrialisation des processus d'évaluation des LLM dans le cycle de vie des modèles d'IA. Contribuer à la constitution de jeux de tests, métriques, référentiels d'évaluation et outils de suivi. Activités principalesÉvaluation des LLM Définir les protocoles d'évaluation adaptés aux cas d'usage d'IA générative de la banque. Identifier les métriques pertinentes pour mesurer la qualité des réponses générées : exactitude, pertinence, cohérence, complétude, factualité, robustesse, sécurité, explicabilité et conformité. Évaluer les capacités des modèles sur différents types de tâches : résumé, extraction d'information, classification, question-réponse, génération de texte, analyse documentaire, raisonnement, traduction ou reformulation. Mettre en place des jeux de tests représentatifs des usages métiers bancaires. Analyser les performances des modèles selon différents contextes, langues, domaines métiers et niveaux de complexité. Identifier les limites fonctionnelles et techniques des modèles testés. Documenter les résultats d'évaluation et formuler des recommandations. Benchmark LLM Concevoir et conduire des benchmarks comparatifs entre plusieurs modèles LLM. Comparer les modèles selon des critères de performance, coût, latence, robustesse, sécurité, empreinte technique et conformité. Tester différents modèles propriétaires, open source ou internes selon les contraintes du groupe. Mettre en place des grilles d'analyse permettant d'aider au choix des modèles selon les cas d'usage. Évaluer l'impact de différents paramètres : prompt, température, taille de contexte, modèle d'embedding, architecture RAG, fine-tuning ou quantization. Produire des rapports de benchmark clairs, exploitables par les équipes métiers, data, IT, sécurité et conformité. Participer à la définition de standards internes pour la comparaison et la qualification des LLM. Red teaming et sécurité des LLM Définir et exécuter des scénarios de red teaming adaptés aux risques liés à l'IA générative. Tester la résistance des modèles face aux attaques de type prompt injection, jailbreak, data leakage, contournement de garde-fous, génération de contenu inapproprié ou non conforme. Identifier les risques d'hallucination, de biais, de toxicité, de désinformation ou de réponses dangereuses. Concevoir des corpus de prompts adversariaux adaptés aux contextes bancaires et réglementaires. Évaluer la capacité des modèles à respecter les politiques internes, les règles de conformité et les contraintes de sécurité. Analyser les vulnérabilités détectées et proposer des mesures de mitigation. Collaborer avec les équipes sécurité, conformité, risques et architecture pour renforcer le cadre d'usage des LLM. Méthodologie, outillage et industrialisation Mettre en place des outils, notebooks, scripts ou pipelines d'évaluation automatisée. Contribuer à l'industrialisation des campagnes d'évaluation dans le cycle de vie des modèles. Définir des référentiels de métriques et de seuils d'acceptabilité. Construire et maintenir des datasets d'évaluation internes, anonymisés et représentatifs. Participer à l'intégration des résultats d'évaluation dans les outils de gouvernance des modèles, notamment ModelHub v2. Assurer la traçabilité des campagnes d'évaluation, des versions de modèles et des résultats obtenus. Mettre en place des tableaux de bord ou rapports de suivi de la qualité des LLM. Contribuer à la veille technologique sur les méthodes d'évaluation, frameworks de benchmark et pratiques de red teaming LLM. Livrables attendus Cadre méthodologique d'évaluation des LLM adapté aux usages bancaires. Protocoles de test et grilles d'évaluation des modèles d'IA générative. Jeux de tests et datasets d'évaluation documentés. Corpus de prompts de benchmark et de red teaming. Rapports d'évaluation des LLM testés. Rapports de benchmark comparatif entre modèles. Analyses de risques liées aux comportements des LLM. Synthèses des vulnérabilités identifiées lors des campagnes de red teaming. Recommandations de mitigation et plans d'amélioration. Tableaux de bord ou indicateurs de suivi de performance et de sécurité. Scripts, notebooks ou pipelines d'évaluation automatisée. Documentation des métriques, seuils et critères de validation. Recommandations pour la sélection et la mise en production des modèles. Contributions à l'intégration des résultats d'évaluation dans ModelHub v2 ou tout autre outil de gouvernance IA. Supports de présentation à destination des équipes métiers, techniques,
Voir cette offre
Freelance
CDI

Offre d'emploiIngénieur Sécurité Applicative IA

VISIAN
Publiée le
Python
Static Application Security Testing (SAST)

1 an
Île-de-France, France
ContexteAu sein des équipes Cybersécurité d'une grande banque d'investissement internationale, expertise axée sur le pilotage technique et l'ingénierie d'une automatisation de sécurité de nouvelle génération basée sur l'IA agentique. Périmètre d'intervention : la conception, la construction et l'industrialisation d'« agents » de sécurité autonomes capables d'exécuter des tests de sécurité avancés et/ou des contrôles conformément aux processus de Sécurité Applicative de cette banque. La mission se concentre sur la transition au-delà de la simple correspondance de patterns vers des moteurs de raisonnement autonomes pour la contextualisation des vulnérabilités, l'orchestration de workflows de scan complexes, et la suggestion de remédiations précises et/ou un triage approprié réalisé par les développeurs. Bien que le cœur de la mission soit le développement d'outils, le périmètre inclut le soutien aux activités courantes (BAU), notamment l'analyse de vulnérabilités, les contrôles de release et le support au benchmarking. MissionsDéveloppement d'outillage de sécurité agentique Développement de harness agentique : Conception et implémentation d'agents autonomes capables de raisonner sur la logique du code (SAST) et le comportement applicatif (DAST) pour l'identification de vulnérabilités complexes Orchestration de l'analyse automatisée : Construction de pipelines modulaires pour le chaînage de LLMs, de scanners traditionnels et de couches de raisonnement personnalisées afin d'automatiser le cycle de vie « détection-triage-remédiation » Intégration SAST/DAST : Développement de wrappers intelligents et de harnesses autour des outils existants pour enrichir leurs résultats via une contextualisation pilotée par l'IA et une réduction des faux positifs Activités BAU & Contribution continue Analyse de vulnérabilités : Apport d'une expertise AppSec opérationnelle via l'analyse des vulnérabilités remontées par les outils SAST/SCA et la réalisation d'un triage manuel pour distinguer les problèmes exploitables des faux positifs Support aux releases & déploiements : Assistance à l'industrialisation et au déploiement des contrôles de sécurité dans le processus de release entreprise Guidance en remédiation : Contribution à la fourniture de recommandations de correction au niveau du code et de patterns de développement sécurisé aux équipes de développement Périmètre d'intervention technique Conception, développement et déploiement d'un harness d'analyse de sécurité modulaire, de qualité production, capable d'exécuter des scans à grande échelle Contribution aux activités de benchmarking structuré comparant les résultats de scan entre Fortify et un outil alternatif sélectionné (agentique ou SAST traditionnel), couvrant : Architecture modulaire : Un pipeline intégrant un raisonnement basé sur LLM (contextualisation, filtrage des faux positifs et suggestion de remédiation) Déploiement scalable : Un service conteneurisé exposé via API (Docker/Kubernetes) permettant des scans à la demande ou déclenchés par CI/CD Sorties industrialisées : Formatage structuré des résultats (JSON/SARIF) et intégration avec les systèmes de gestion des vulnérabilités en aval
Voir cette offre
Freelance

Mission freelanceConsultant AMOA H/F

Insitoo Freelances
Publiée le
Gestion de projet

2 ans
470-530 €
Paris, France
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Consultant AMOA H/F à Paris, France. Contexte : Le poste s'inscrit dans le cadre d'un vaste programme d'informatisation visant à optimiser le déclenchement et le suivi des interventions de maintenance sur un réseau d'infrastructures ferroviaires. Le programme s'appuie sur des applications back-office ainsi que sur un ensemble d'applications mobiles dédiées aux équipes intervenant sur le terrain. Ces outils s'intègrent dans un écosystème étendu, composé de nouvelles solutions et d'applications historiques vouées à être progressivement remplacées. L'ensemble de ces applications doit s'interfacer avec d'autres systèmes d'information du groupe. La mission consiste à accompagner le pilotage d'un sous-ensemble d'applications dédiées à la maintenance d'éléments spécifiques de l'infrastructure (voies, appareillages), en relation étroite avec la maîtrise d'œuvre (MOE) répartie sur plusieurs sites. Les missions attendues par le Consultant AMOA H/F : Phase de cadrage et d'expression des besoins o Recueillir et analyser les besoins métiers. o Formaliser les exigences fonctionnelles (cahiers des charges, user stories, cas d'utilisation). o Animer des ateliers avec les parties prenantes. o Vérifier la cohérence entre besoins métiers et stratégie SI. Conception et validation o Challenger les solutions proposées par la MOE o Participer aux choix de la solution (benchmark, POC, évaluation). o Valider la conformité des livrables fonctionnels. Recette et déploiement o Rédiger le plan de tests et les scénarios de recette. o Organiser et exécuter les tests utilisateurs. o Suivre les anomalies et garantir la qualité fonctionnelle. o Accompagner le déploiement (conduite du changement). Conduite du changement et support o Assurer le support utilisateur de niveau 3 o Préparer en fonction du besoin les supports de formation et la communication projet. o Former et accompagner les utilisateurs. o Suivre l'adoption et remonter les retours d'expérience.
Voir cette offre
Freelance

Mission freelancePrestation d'État des lieux du système de supervision

PROPULSE IT
Publiée le
Supervision

24 mois
400-800 €
Paris, France
PROPULSE IT recherche un consultant très expérimenté, et ayant déjà mené une mission identique, afin de réaliser un état des lieux technique, fonctionnel et organisationnel du système de supervision afin d'orienter les évolutions de la plateforme dans le prochain SDSI des outils Télécom, avec pour objectifs d'améliorer la disponibilité des services de supervision, la détection/prévention des anomalies, ainsi que la sécurité et le pilotage des indicateurs. La plateforme PMC (supervision des équipements Télécom) est maintenue par une MOE centralisée épaulée d'un titulaire de réalisation/MCO ; les projets de mise en supervision sont pilotés par des MOE Supervision issus du même service, avec accompagnement des experts techniques. PÉRIMÈTRE DE L'ÉTUDE - Superviseur central PMC/Centreon (y compris futurs portages) : ~25 000 équipements (hostnames), +150 000 services, ~150 VM (essentiellement des pollers), 2 environnements (Prod/Préprod), 1 instance Centreon dédiée à un autre département, plusieurs populations utilisatrices ; 3 particularités techniques de polling (zone interne à forte sensibilité, accès à une zone de sécurité externe RATP via appel de service, nouvelle offre de supervision de conteneurs OpenShift). - Hyperviseur HYSI/Canopsis (filtrage des alertes critiques issues de la PMC, utilisé par le N0/N1). - 1 instance Nagios et 1 instance Shinken en voie de décommissionnement. - Event Gateway EMS (alimentée par HYSI, échange technique de données de supervision entre systèmes hétérogènes). - Outils de gestion et d'analyse de logs utilisés par les Support/N2, pouvant générer alertes ou tickets d'incident. LOT 1 – ÉTUDE DE L'EXISTANT (supervision / hypervision / analyse de logs) - Cartographie fonctionnelle de l'écosystème (PMC, HYSI, Event GW, gestionnaires de logs) - Architecture technique : infrastructures serveur, résilience/fail-over, contrôles en zone sensible, roadmaps produit, provisioning des comptes et gestion des habilitations, DAT des outils. - Documents de référence : référentiel des besoins de maintenance (EBM), documentation d'interfaçage/normes, méthodologie de mise en supervision, modèles projet. - Gestion des alertes : principes de supervision par domaine (serveurs, Télécom Radio, Vidéo, Image, Data), supervision Système/cartographique, remontées d'alertes issues de systèmes externes. - Tableaux de bord et reporting : QOS Supervision et météo des services, performance et capacité, reporting managérial et Client. - Évolutions court terme : bon usage des fonctionnalités actuelles, fonctionnalités déployables à court/moyen terme sans remise en cause du périmètre. LOT 2 – PROSPECTIVE : ÉTAT DE L'ART FONCTIONNEL / BENCHMARK Cartographie cible et positionnement des outils ; comparatif Centreon vs autres éditeurs (couvertures fonctionnelles, niveau d'innovation, niveau technique, coûts...
Voir cette offre
Freelance
CDI

Offre d'emploiExpert Cybersécurité Cloud — CNAPP / CSPM / Conformité Multi-Cloud

CONCRETIO SERVICES
Publiée le
Cloud
Cybersécurité
Sécurité informatique

4 mois
90k-95k €
600-620 €
Saint-Ouen, Hauts-de-France
MISSIONS PRINCIPALES Détection & Alignement CSIRT Revoir et calibrer les rulesets existants sur la plateforme CNAPP en lien avec la collecte des logs cloud Concevoir et ajuster les règles d'alerting pour les aligner avec les processus opérationnels CSIRT (qualification, escalade, réponse) Réduire le bruit d'alertes (faux positifs) sans créer de zones d'ombre sur les signaux critiques Coordonner avec le CSIRT pour garantir la cohérence des processus opérationnels de bout en bout Conformité Cloud & CSPM Piloter la revue des règles de conformité CSPM par une approche risque : priorisation des non-conformités selon leur impact réel Implémenter et calibrer le CIS Benchmark Level 1 sur les environnements cloud AWS, Azure et GCP Gérer les exceptions, les suppressions et les arbitrages entre sécurité et opérabilité Produire les reportings de conformité à destination de la direction sécurité Administration & Configuration de la Plateforme CNAPP Configurer la plateforme CNAPP globalement : groupes, criticité des souscriptions cloud, mapping des accès utilisateurs Maintenir opérationnellement la solution et ses intégrations avec les services de sécurité natifs cloud Réviser les scripts d'onboarding cloud (Python, Bash, Terraform ou APIs) et contribuer à leur amélioration Analyse d'Impact & Roadmap Conduire l'analyse d'impact technique sur les modules CNAPP à activer à horizon 2027 Formuler des recommandations sur la roadmap d'activation des fonctionnalités (CWPP, CIEM, DSPM selon maturité) Conduite du Changement & Formation Faciliter l'adhésion des équipes aux nouveaux standards de sécurité cloud Créer des supports de communication, de formation et d'accompagnement adaptés à des audiences variées (techniques et non-techniques) Animer les sessions de formation et d'onboarding des équipes IT et métier
Voir cette offre
Freelance

Mission freelanceData Scientist H/F

Insitoo Freelances
Publiée le
HFSQL
Python

2 ans
306-521 €
Lille, Hauts-de-France
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Scientist H/F à Lille, France. Contexte : Afin de piloter au mieux son activité et d'accompagner les points de vente dans leur performance, un acteur majeur du secteur de la distribution renforce son équipe Data Métier, directement intégrée au sein du Département Performance (Contrôle de gestion). Les missions attendues par le Data Scientist H/F : Transformer les données en leviers d'actions concrets pour le réseau de magasins. L'intervenant travaillera au carrefour des enjeux financiers, commerciaux et supply chain, en concevant des modèles de Machine Learning et des algorithmes de recommandation directement actionnables par les équipes sur le terrain. En tant que Data Scientist, vous interviendrez sur des projets innovants, touchant à l'optimisation commerciale, au pricing et à la supply chain. Vos principaux défis seront les suivants : Maximisation du potentiel commercial : Détection des produits "pépites" (à fort potentiel) afin d'alerter les points de vente et de les aider à dynamiser leur offre en rayon. Prototypage de moteurs de préconisation de merchandising sur les produits complémentaires pour optimiser les podiums et les mises en avant (Têtes de Gondole - TG). Analyse et optimisation du merchandising : Cartographie et analyse des métrages linéaires des magasins. Croisement de ces données avec les ventes, la disponibilité et le stock pour comprendre et optimiser les performances des familles de produits. Optimisation de la rentabilité (Pricing & Supply) : Création d'algorithmes prédictifs pour alerter sur le potentiel d'un produit à devenir un "stock toxique" (dormant). Détection et alerte sur les remises locales à la main des points de vente qui s'avèrent destructrices de valeur. Benchmark et conformité : Établissement de modèles de clustering de magasins afin de créer des groupes de comparaison pertinents et d'aider les directeurs à se benchmarker.
Voir cette offre
Freelance

Mission freelanceChef de projet MOE - Archivage Numérique

Mindquest
Publiée le
Go (langage)
JIRA
Mongodb

1 an
Bry-sur-Marne, Île-de-France
Piloter et coordonner plusieurs projets techniques en environnement agile. Assurer la coordination avec les chefs de projet, Product Owners et membres des équipes transverses. Analyser, clarifier et formaliser les besoins fonctionnels et techniques. Organiser et suivre les tâches, backlogs, plannings et roadmaps. Animer les rituels agiles, COPIL, COPROJ et ateliers techniques. Coordonner les équipes multidisciplinaires internes et externes. Organiser le support utilisateur et le commissionnement des services. Définir et exécuter les tests techniques et fonctionnels. Suivre les indicateurs liés à la qualité, aux coûts, aux délais et aux risques. Garantir le respect du cadre technique, des exigences de sécurité et des niveaux de service. Réaliser des diagnostics, évaluer les solutions et élaborer les plans d'action associés. Préconiser et mettre en œuvre des solutions correctives fonctionnelles et techniques. Conduire des études, benchmarks ou POC nécessaires à l'avancement des projets. Participer à l'intégration et, si nécessaire, au paramétrage de briques du système d'information. Maintenir la documentation et les connaissances fonctionnelles et techniques. Produire les livrables suivants : Reporting d'activité et tableaux de bord. Planning projet et roadmap. Comptes rendus de réunions et de comités. Spécifications fonctionnelles et techniques. Plans de tests. Mise à jour de la CMDB.
Voir cette offre
Freelance

Mission freelanceChef de projet métier digital - iclients (chatbot, push notification, etc.)

Mon Consultant Indépendant
Publiée le
Gestion de projet
MOA

6 mois
450-510 €
Paris, France
Pour le compte d'un acteur majeur du secteur bancaire français, nous recherchons un chef de projet digital - spécialisé autour des interactions clients (alertes sms / mails / push notification, click to call, live chat, chatbot …) afin de renforcer sa Direction du Digital, responsable des espaces en ligne (site web et application mobile) du groupe. Cette direction est garante d'une expérience client optimisée et d'un haut niveau de qualité de service. Les Product Managers et chefs de projet y pilotent l'ensemble des projets d'évolution des espaces en ligne, en s'appuyant sur des experts (UX, accessibilité numérique) et sur les équipes de la DSI. Les consultants recrutés interviendront au sein du pôle canaux digitaux, en binôme avec un Product Manager ou un Product Owner, pour adresser la feuille de route 2026-2027. Rattaché à un Product Manager ou Product Owner au sein du pôle canaux digitaux, vous prenez en charge le cycle complet des projets d'évolution des espaces en ligne : cadrage métier et discovery (benchmark, recherche et tests utilisateurs, KPI, adhérences et risques), conception des parcours avec l'équipe UX, rédaction des expressions de besoins, features et user stories, suivi des développements et recettes, déploiement et analyse de performance, puis mise en marché (communication client, conduite du changement, traitement des irritants). Vous coordonnez les parties prenantes (métier, design, IT, juridique, conformité), animez vos comités et pilotez le budget de votre périmètre.
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous