Executar um modelo de linguagem grande no seu próprio hardware mantém seus prompts e dados sob seu controle e evita taxas por token. Este guia explica quanta memória de GPU você precisa e como colocar um modelo para rodar em um servidor GPU alugado.
O número que importa: VRAM
Um modelo precisa caber na memória da placa de vídeo (VRAM). Uma regra aproximada: parâmetros em bilhões vezes bytes por peso, mais 20 a 30 por cento para o cache de contexto.
| Tamanho do modelo | Quantizado em 4 bits | 16 bits completo | GPU que comporta |
|---|---|---|---|
| 7 a 8B | cerca de 5 GB | cerca de 16 GB | RTX 4090 (24 GB) |
| 13 a 14B | cerca de 9 GB | cerca de 28 GB | RTX 4090 quantizado, RTX 5090 (32 GB) |
| 30 a 34B | cerca de 20 GB | cerca de 68 GB | RTX 4090 ou 5090 quantizado, H100 |
| 70B | cerca de 40 GB | cerca de 140 GB | H100 80 GB quantizado; 2× H100 para 16 bits |
A quantização armazena os pesos em menos bits, o que reduz bastante a memória com uma pequena perda de qualidade. É como a maioria das pessoas executa modelos grandes em placas de consumo.
Opção 1: Ollama (mais simples)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bO Ollama cuida dos downloads, da quantização e de uma API local na porta 11434. Mantenha essa porta privada ou coloque autenticação na frente dela.
Opção 2: vLLM (maior throughput)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192O vLLM serve uma API compatível com OpenAI e agrupa muitas requisições em lote, o que o torna a melhor escolha quando vários usuários ou aplicativos compartilham uma GPU. Alguns modelos exigem que você aceite uma licença na página do modelo antes.
Verifique se a GPU está sendo usada
nvidia-smi
watch -n 1 nvidia-smiO uso de memória deve disparar quando o modelo carrega, e a utilização deve subir durante a geração. Se ambos ficarem em zero, o modelo está rodando na CPU.
Outras coisas que as pessoas executam em GPUs alugadas
- Geração de imagens (Stable Diffusion, ComfyUI).
- Ajuste fino de modelos pequenos com LoRA.
- Renderização de vídeo e 3D e transcodificação de vídeo.
- Conversão de fala em texto com Whisper.
Noção de custo
Se você precisa de uma GPU por poucas horas por semana, alugar por mês pode custar mais do que uma API. Se você executa inferência o dia todo ou precisa de privacidade, um servidor GPU dedicado geralmente compensa mais. Calcule sua contagem mensal de tokens antes de decidir.