Para IA auto-hospedada, a pergunta raramente é "qual placa é a mais rápida". É "qual placa comporta o modelo que quero rodar, a um custo por hora que eu consiga justificar". A memória decide o que cabe, a largura de banda decide a velocidade de saída dos tokens, e o preço decide se o projeto faz sentido.
A memória vem primeiro
Se um modelo não cabe na memória de vídeo, a velocidade é irrelevante. Uma regra aproximada: um modelo precisa de cerca do número de parâmetros vezes os bytes por peso, mais espaço para o cache de contexto.
- Um modelo de 7B a 8B em 4 bits precisa de cerca de 5 a 6 GB.
- Um modelo de 13B a 14B em 4 bits precisa de cerca de 9 a 10 GB.
- Um modelo de 32B em 4 bits precisa de cerca de 20 a 22 GB, o que cabe em uma placa de 24 GB com um contexto curto.
- Um modelo de 70B em 4 bits precisa de cerca de 40 GB ou mais, então exige uma placa de 48 GB ou 80 GB, ou várias menores.
Contextos longos fazem o cache crescer rápido, então deixe folga.
A largura de banda define a velocidade dos tokens
Para um único usuário, gerar cada token significa ler os pesos do modelo uma vez. Isso faz da largura de banda da memória o limite. As placas de datacenter com memória HBM têm várias vezes a largura de banda das placas de consumo com GDDR, e por isso uma H100 produz tokens mais rápido no mesmo modelo.
Onde uma placa de consumo vence
- Modelos de até cerca de 30B em 4 bits.
- Geração de imagens, como Stable Diffusion e Flux.
- Desenvolvimento, testes e uso privado de baixo volume.
- Custo: o preço por hora é uma fração do de uma placa de datacenter.
Onde uma placa de datacenter vence
- Modelos da classe de 70B sem compressão pesada.
- Muitos usuários ao mesmo tempo, em que o processamento em lote aproveita bem o poder de computação extra.
- Conexões rápidas entre várias GPUs para modelos maiores.
- Cargas de trabalho com contexto longo e alta precisão.
Calcule o custo por tarefa, não por hora
Meça os seus próprios tokens por segundo com o modelo que você realmente vai rodar. Depois divida o preço por hora pelos tokens por hora. Uma placa barata e lenta pode custar mais por milhão de tokens do que uma cara e rápida, e o inverso vale quando a placa barata não é mantida ocupada. O tempo ocioso é o custo escondido, então desligue os servidores quando não estiverem em uso.
Uma forma simples de escolher
- Escolha o modelo e a quantização que você quer.
- Verifique se ele cabe com contexto de sobra.
- Alugue a placa mais barata que comporte o modelo e faça um benchmark por uma hora.
- Suba de nível só se a velocidade ou a concorrência não atingir a sua meta.
Pronto para testar? Rode o Ollama e o Open WebUI ou configure o Stable Diffusion. Preços e placas mudam, então confirme as opções atuais na página de servidores GPU.