Nous avons une nouveauté. Nous proposons désormais notre propre console web. Ouvrez la console et saisissez ssh root@your-server-ip pour accéder à n’importe lequel de vos serveurs, directement depuis votre navigateur. Aucune application SSH n’est nécessaire.
Quand vous exécutez vous-même un modèle à poids ouverts, vos prompts et documents vont vers un serveur que vous louez, pas vers une API tierce. La question qui décide de tout est de savoir si le modèle tient dans la mémoire du GPU. Cette page vous donne le calcul et le serveur correspondant, avec de vrais prix.
Règle empirique : poids = paramètres × octets par poids, plus environ 20 % pour la mémoire de travail. Les besoins réels varient selon la longueur du contexte, la taille du lot et le logiciel.
| Modèle et précision | Mémoire estimée | 1x RTX 4090 (24 Go) | 1x RTX 5090 (32 Go) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B paramètres, 16 bits | ~20 GB | tient | tient | tient | tient |
| 8B paramètres, 8 bits | ~10 GB | tient | tient | tient | tient |
| 8B paramètres, 4 bits | ~5 GB | tient | tient | tient | tient |
| 32B paramètres, 16 bits | ~77 GB | no | no | tient | tient |
| 32B paramètres, 8 bits | ~39 GB | no | no | tient | tient |
| 32B paramètres, 4 bits | ~20 GB | tient | tient | tient | tient |
| 70B paramètres, 16 bits | ~168 GB | no | no | no | no |
| 70B paramètres, 8 bits | ~84 GB | no | no | no | tient |
| 70B paramètres, 4 bits | ~42 GB | no | no | tient | tient |
| 120B paramètres, 16 bits | ~288 GB | no | no | no | no |
| 120B paramètres, 8 bits | ~144 GB | no | no | no | tient |
| 120B paramètres, 4 bits | ~72 GB | no | no | tient | tient |
Ce sont des estimations pour planifier, pas des benchmarks. Un modèle qui tient tout juste laisse peu de place aux longs prompts, gardez donc une marge. Les modèles quantifiés perdent un peu de qualité ; testez le vôtre.
Les prix changent selon l’emplacement choisi. Une durée plus longue offre jusqu’à 50 % de réduction.
or $54.63/mo on a 12-month term (−50%)
Convient aux modèles petits et moyens, et au 32B en 4 bits.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Plus de marge pour le contexte et pour de plus gros modèles quantifiés.
Configure and orderor $375.25/mo on a 12-month term (−50%)
Un modèle 70B en 4 bits, ou en 8 bits pour les tailles moyennes.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Très gros modèles et modèles de taille moyenne en 16 bits.
Configure and orderQuel que soit votre choix, n'exposez pas l'API du modèle à internet sans authentification. Notre pas-à-pas se trouve dans exécuter des LLM sur un serveur GPU.
Vos prompts restent sur un serveur que vous louez et personne d'autre ne partage le GPU. Ils ne sont pas envoyés à un fournisseur de modèle. Le serveur reste hébergé par nous, nous ne surveillons ni ne journalisons ce qui se passe dans vos serveurs, et les règles de nos conditions s'appliquent à tout ce que vous exécutez, y compris ce que vous générez et publiez. Vous êtes responsable du respect de la licence du modèle que vous téléchargez.
Oui, si vous respectez la licence du modèle. Choisissez un serveur dont la mémoire GPU contient le modèle avec une certaine marge, installez un outil de service comme Ollama ou vLLM et sécurisez l'API.
Environ 35 Go de poids en 4 bits, 70 Go en 8 bits et 140 Go en 16 bits, plus environ 20 % pour la mémoire de travail. Selon cette estimation, un modèle 70B en 4 bits nécessite un H100 de 80 Go, pas une carte de 24 ou 32 Go.
Le serveur RTX 4090 les accueille à toutes les précisions du tableau, et le moins cher est à $109.25 par mois. Les modèles plus grands demandent plus de mémoire.
Non. Cela signifie que vous choisissez et exécutez le modèle sur votre propre serveur. Ce que vous générez et publiez reste couvert par la loi et par nos conditions.
Non. Générez un identifiant et payez en crypto. Voir serveurs GPU sans KYC.
Chaque mois depuis votre solde prépayé, avec jusqu'à 50 % de remise sur les durées plus longues. Voir les tarifs.
Choisissez un GPU, payez en crypto, connectez-vous en root. Sans ID, sans carte.
