Exécuter un grand modèle de langage sur votre propre matériel garde vos prompts et vos données sous votre contrôle et évite les frais par token. Ce guide explique de combien de mémoire GPU vous avez besoin et comment faire tourner un modèle sur un serveur GPU loué.
Le chiffre qui compte : la VRAM
Un modèle doit tenir dans la mémoire de la carte graphique (VRAM). Règle approximative : paramètres en milliards multipliés par les octets par poids, plus 20 à 30 pour cent pour le cache de contexte.
| Taille du modèle | Quantifié en 4 bits | 16 bits complet | GPU adapté |
|---|---|---|---|
| 7 à 8B | environ 5 Go | environ 16 Go | RTX 4090 (24 Go) |
| 13 à 14B | environ 9 Go | environ 28 Go | RTX 4090 quantifié, RTX 5090 (32 Go) |
| 30 à 34B | environ 20 Go | environ 68 Go | RTX 4090 ou 5090 quantifié, H100 |
| 70B | environ 40 Go | environ 140 Go | H100 80 Go quantifié ; 2× H100 pour le 16 bits |
La quantification stocke les poids sur moins de bits, ce qui réduit fortement la mémoire pour une faible perte de qualité. C’est ainsi que la plupart des gens font tourner de gros modèles sur des cartes grand public.
Option 1 : Ollama (la plus simple)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama gère les téléchargements, la quantification et une API locale sur le port 11434. Gardez ce port privé, ou placez une authentification devant.
Option 2 : vLLM (meilleur débit)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM sert une API compatible OpenAI et regroupe de nombreuses requêtes, ce qui en fait le meilleur choix lorsque plusieurs utilisateurs ou applications partagent un même GPU. Certains modèles exigent que vous acceptiez d’abord une licence sur la page du modèle.
Vérifier que le GPU est utilisé
nvidia-smi
watch -n 1 nvidia-smiL’utilisation de la mémoire doit bondir au chargement du modèle, et le taux d’utilisation doit monter pendant la génération. Si les deux restent à zéro, le modèle tourne sur le CPU.
Autres usages des GPU loués
- Génération d’images (Stable Diffusion, ComfyUI).
- Fine-tuning de petits modèles avec LoRA.
- Rendu vidéo et 3D, et transcodage vidéo.
- Reconnaissance vocale avec Whisper.
Évaluer les coûts
Si vous avez besoin d’un GPU quelques heures par semaine, une location mensuelle peut coûter plus cher qu’une API. Si vous faites de l’inférence toute la journée ou si vous avez besoin de confidentialité, un serveur GPU dédié l’emporte généralement. Calculez votre volume mensuel de tokens avant de décider.