Ejecutar un modelo de lenguaje grande en tu propio hardware mantiene tus prompts y datos bajo tu control y evita las tarifas por token. Esta guía explica cuánta memoria de GPU necesitas y cómo poner en marcha un modelo en un servidor GPU alquilado.
El número que importa: la VRAM
Un modelo debe caber en la memoria de la tarjeta gráfica (VRAM). Una regla aproximada: parámetros en miles de millones por bytes por peso, más un 20 a 30 por ciento para la caché de contexto.
| Tamaño del modelo | Cuantizado a 4 bits | 16 bits completo | GPU en la que cabe |
|---|---|---|---|
| 7 a 8B | unos 5 GB | unos 16 GB | RTX 4090 (24 GB) |
| 13 a 14B | unos 9 GB | unos 28 GB | RTX 4090 cuantizado, RTX 5090 (32 GB) |
| 30 a 34B | unos 20 GB | unos 68 GB | RTX 4090 o 5090 cuantizado, H100 |
| 70B | unos 40 GB | unos 140 GB | H100 de 80 GB cuantizado; 2× H100 para 16 bits |
La cuantización almacena los pesos en menos bits, lo que reduce la memoria drásticamente con una pequeña pérdida de calidad. Así es como la mayoría ejecuta modelos grandes en tarjetas de consumo.
Opción 1: Ollama (la más sencilla)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama se encarga de las descargas, la cuantización y una API local en el puerto 11434. Mantén ese puerto privado o pon autenticación delante.
Opción 2: vLLM (mayor rendimiento)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM sirve una API compatible con OpenAI y agrupa muchas solicitudes, lo que lo hace la mejor opción cuando varios usuarios o aplicaciones comparten una GPU. Algunos modelos requieren que primero aceptes una licencia en la página del modelo.
Comprueba que se usa la GPU
nvidia-smi
watch -n 1 nvidia-smiEl uso de memoria debería dispararse al cargar el modelo, y la utilización debería subir durante la generación. Si ambos se quedan en cero, el modelo se ejecuta en la CPU.
Otras cosas que la gente ejecuta en GPUs alquiladas
- Generación de imágenes (Stable Diffusion, ComfyUI).
- Ajuste fino de modelos pequeños con LoRA.
- Renderizado de vídeo y 3D, y transcodificación de vídeo.
- Voz a texto con Whisper.
Sentido del costo
Si necesitas una GPU unas pocas horas a la semana, alquilarla por meses puede costar más que una API. Si ejecutas inferencia todo el día o necesitas privacidad, un servidor GPU dedicado suele ganar. Calcula tu cantidad mensual de tokens antes de decidir.