Contractor job Data Scientist IA GEN

Périmètre de la consultation

Prestations attendues

Activités principales de data scientist

Comprendre les cas d’usage

Participer aux réunions de cadrage des besoins, avec le chef de projet DPIT

Apporter son expertise, évaluer la pertinence de l’IA pour répondre au besoin

Effectuer une première évaluation de l’effort nécessaire au développement d’une solution

Réaliser des POC pour démontrer la faisabilité et la performance

Collecte de Données

Identification des Sources de Données : Reconnaître et identifier les sources de données pertinentes (internes et externes) pour les problèmes à résoudre.

Extraction des Données : Récupérer les données à partir de diverses bases de données, API, fichiers texte, documents Word et PDF, web scraping, fichiers de données semi-structurées, etc.

Préparation et Nettoyage des Données

Nettoyage des Données : Corriger ou supprimer les données corrompues ou incorrectes, traiter les valeurs manquantes, éliminer les doublons.

Transformation des Données : Convertir et normaliser les données pour rendre les formats compatibles, et effectuer des transformations telles que la mise à l'échelle et la codification catégorielle.

Ingénierie des Caractéristiques : Extraire, créer et sélectionner des caractéristiques pertinentes (features) à partir des données brutes.

Traitement du Langage Naturel : Extraire, nettoyer et transformer des verbatims issus de documentations non structurées

Exploration et Visualisation des Données

Analyse Exploratoire des Données (EDA) : Utiliser des techniques statistiques et des outils de visualisation pour comprendre les distributions, les relations et les anomalies dans les données.

Détection de Motifs et de Tendances : Identifier des modèles récurrents, des corrélations et des tendances pour formuler des hypothèses et des relations causales potentielles.

Modélisation, Développement et Utilisation de Modèles

Validation des Modèles : Utiliser des techniques de validation croisée pour évaluer la robustesse des modèles et éviter le surajustement (overfitting).

Instancier des modèles de langages pré-entraînés (LLMs, embeddings, Rerankers…) et les intégrer dans des solutions complexes type RAG (Retrieval Augmented Generation).

Maitrise des principales bibliothèques Python d’analyse de données et d’IA :

Manipulation de données : Pandas et Polars, Dask et/ou PySpark

Traitement du Langage Naturel : NLTK et/ou Spacy

Machine Learning : Scikit-Learn, XGBoost, LightGBM

Deep Learning : PyTorch

IA générative : Ollama, Transformers, SentenceTransformers et Langchain et/ou LlamaIndex

Évaluation des Modèles

Métriques de Performance : Évaluer les performances des modèles à l'aide de diverses métriques comme la précision, le rappel, le score F1, l'AUC-ROC, Matthews, RMSE, MAE, R2-Score, MAPE, Silhouette etc.

Veille Technologique : Rester informé des dernières avancées en matière d'algorithmes, de techniques d'apprentissage machine et d'outils.

Prototypage et Expérimentation : Concevoir et tester de nouveaux modèles et approches pour résoudre des problèmes complexes ou améliorer les performances.

Collaboration Interdisciplinaire : Travailler avec des experts de domaine, des analystes métier et d'autres parties prenantes pour comprendre les besoins et les contraintes spécifiques.