Pour l'IA auto-hébergée, la question est rarement « quelle carte est la plus rapide ». C'est « quelle carte convient au modèle que je veux exécuter, à un coût horaire que je peux justifier ». La mémoire décide de ce qui tient, la bande passante décide de la vitesse de génération des tokens, et le prix décide si le projet a un sens.
La mémoire passe en premier
Si un modèle ne tient pas dans la mémoire vidéo, la vitesse n'a aucune importance. Règle approximative : un modèle a besoin d'environ son nombre de paramètres multiplié par le nombre d'octets par poids, plus de la place pour le cache de contexte.
- Un modèle de 7B à 8B en 4 bits nécessite environ 5 à 6 Go.
- Un modèle de 13B à 14B en 4 bits nécessite environ 9 à 10 Go.
- Un modèle de 32B en 4 bits nécessite environ 20 à 22 Go, ce qui tient sur une carte de 24 Go avec un contexte court.
- Un modèle de 70B en 4 bits nécessite environ 40 Go ou plus : il lui faut donc une carte de 48 Go ou 80 Go, ou plusieurs cartes plus petites.
Les contextes longs font grossir le cache rapidement, prévoyez donc de la marge.
La bande passante détermine la vitesse des tokens
Pour un seul utilisateur, générer chaque token revient à lire une fois les poids du modèle. La bande passante mémoire devient donc la limite. Les cartes de datacenter dotées de mémoire HBM offrent plusieurs fois la bande passante des cartes grand public GDDR, ce qui explique pourquoi un H100 produit des tokens plus vite avec le même modèle.
Là où une carte grand public l'emporte
- Les modèles jusqu'à environ 30B en 4 bits.
- La génération d'images, comme Stable Diffusion et Flux.
- Le développement, les tests et l'usage privé à faible volume.
- Le coût : le prix horaire n'est qu'une fraction de celui d'une carte de datacenter.
Là où une carte de datacenter l'emporte
- Les modèles de classe 70B sans compression importante.
- De nombreux utilisateurs simultanés, où le traitement par lots exploite bien la puissance de calcul supplémentaire.
- Des liaisons rapides entre plusieurs GPU pour les modèles plus grands.
- Les charges de travail à contexte long et à haute précision.
Calculez le coût par tâche, pas par heure
Mesurez vos propres tokens par seconde avec le modèle que vous exécuterez réellement. Divisez ensuite le prix horaire par le nombre de tokens par heure. Une carte bon marché mais lente peut coûter plus cher par million de tokens qu'une carte coûteuse et rapide, et l'inverse est vrai lorsque la carte bon marché n'est pas bien occupée. Le temps d'inactivité est le coût caché : éteignez donc les serveurs quand ils ne servent pas.
Une façon simple de choisir
- Choisissez le modèle et la quantification souhaités.
- Vérifiez qu'il tient avec une marge de contexte.
- Louez la carte la moins chère qui convient et testez-la pendant une heure.
- Ne passez au niveau supérieur que si la vitesse ou la concurrence n'atteint pas votre objectif.
Prêt à essayer ? Exécutez Ollama et Open WebUI ou installez Stable Diffusion. Les prix et les cartes évoluent, vérifiez donc les options actuelles sur la page des serveurs GPU.