Trouvez votre prochaine offre d’emploi ou de mission freelance TensorRT

Contexte de la mission Le déploiement des modèles d'IA constitue un nouveau chantier. Les temps d'inférence deviennent de plus en plus importants et nécessitent un diagnostic approfondi pour identifier et prioriser les optimisations. Le profiling actuel doit être amélioré afin de mieux comprendre les limites des modèles et de l'infrastructure, de challenger les pistes envisagées et de concentrer les efforts sur les actions les plus pertinentes. Objectifs et activités Diagnostiquer les performances des modèles et réduire les temps d'inférence sur GPU. Réaliser le profiling du code de deep learning, de l'infrastructure et du code compilé. Analyser les traces mémoire et comprendre les comportements d'exécution sur CPU, GPU et dans des environnements multi-GPU. Utiliser PyTorch Profiler pour identifier les goulots d'étranglement. Évaluer, challenger et prioriser les pistes d'optimisation. Améliorer l'export des modèles et leur optimisation pour l'inférence, notamment avec ONNX et TensorRT. Contribuer à la gestion et à l'utilisation efficace des ressources GPU. Accompagner les clients internes sur la chaîne allant de l'entraînement au déploiement des modèles. Assurer la traçabilité des expérimentations avec MLflow. Vulgariser les diagnostics et les recommandations auprès des équipes concernées.