Mission freelance Devéloppeur AI (H/F)

Intégré à l’équipe et à ses sprints, le consultant interviendra sur les sujets suivants :

- Intégration et déploiement de nouveaux modèles open source sur AI Endpoints (LLM, embeddings, speech-to-text, text-to-speech, ...)
- Optimisation de l’inférence avec vLLM et SGLang : quantization, batching, KV cache, prefix caching, speculative decoding
- Benchmarks de performance sur nos GPU actuels et sur les nouvelles générations à venir
- Amélioration de l’autoscaling, de l’observabilité et de la fiabilité des services en production
- Participer au run sur les produits

Livrables

- Nouveaux modèles déployés en production sur AI Endpoints, avec une configuration d’inférence optimisée et documentée
- Rapports de benchmark par modèle et par GPU, avec des recommandations
- Code livré par pull requests revues et intégrées (Python, Rust)
- Dashboards et alertes de supervision des services
- Documentation technique et transfert de connaissances à l’équipe