En la IA autoalojada, la pregunta rara vez es "qué tarjeta es la más rápida". Es "qué tarjeta cabe el modelo que quiero ejecutar, a un coste por hora que pueda justificar". La memoria decide qué cabe, el ancho de banda decide con qué rapidez salen los tokens, y el precio decide si el proyecto tiene sentido.
Primero la memoria
Si un modelo no cabe en la memoria de vídeo, la velocidad es irrelevante. Una regla aproximada: un modelo necesita más o menos su número de parámetros multiplicado por los bytes por peso, más espacio para la caché de contexto.
- Un modelo de 7B a 8B en 4 bits necesita aproximadamente de 5 a 6 GB.
- Un modelo de 13B a 14B en 4 bits necesita unos 9 a 10 GB.
- Un modelo de 32B en 4 bits necesita unos 20 a 22 GB, que caben en una tarjeta de 24 GB con un contexto corto.
- Un modelo de 70B en 4 bits necesita unos 40 GB o más, así que requiere una tarjeta de 48 GB o 80 GB, o varias más pequeñas.
Los contextos largos hacen crecer la caché rápidamente, así que deja margen.
El ancho de banda marca la velocidad de los tokens
Para un solo usuario, generar cada token implica leer los pesos del modelo una vez. Eso convierte el ancho de banda de memoria en el límite. Las tarjetas de centro de datos con memoria HBM tienen varias veces el ancho de banda de las tarjetas de consumo con GDDR, y por eso una H100 produce tokens más rápido con el mismo modelo.
Dónde gana una tarjeta de consumo
- Modelos de hasta unos 30B en 4 bits.
- Generación de imágenes como Stable Diffusion y Flux.
- Desarrollo, pruebas y uso privado de bajo volumen.
- Coste: el precio por hora es una fracción del de una tarjeta de centro de datos.
Dónde gana una tarjeta de centro de datos
- Modelos de clase 70B sin compresión fuerte.
- Muchos usuarios a la vez, donde el procesamiento por lotes aprovecha bien el cómputo extra.
- Enlaces rápidos entre varias GPU para modelos más grandes.
- Cargas de trabajo de contexto largo y alta precisión.
Calcula el coste por trabajo, no por hora
Mide tus propios tokens por segundo con el modelo que realmente vas a ejecutar. Después divide el precio por hora entre los tokens por hora. Una tarjeta barata pero lenta puede costar más por millón de tokens que una cara y rápida, y al revés cuando la barata no se mantiene ocupada. El tiempo ocioso es el coste oculto, así que apaga los servidores cuando no los uses.
Una forma sencilla de elegir
- Elige el modelo y la cuantización que quieres.
- Comprueba que cabe con contexto de sobra.
- Alquila la tarjeta más barata que lo admita y haz una prueba de rendimiento durante una hora.
- Sube de nivel solo si la velocidad o la concurrencia no alcanzan tu objetivo.
¿Listo para probar? Ejecuta Ollama y Open WebUI o configura Stable Diffusion. Los precios y las tarjetas cambian, así que confirma las opciones actuales en la página de servidores GPU.