Eseguire un large language model sul tuo hardware mantiene prompt e dati sotto il tuo controllo ed evita i costi per token. Questa guida spiega di quanta memoria GPU hai bisogno e come far girare un modello su un server GPU a noleggio.
Il numero che conta: la VRAM
Un modello deve stare nella memoria della scheda grafica (VRAM). Una regola approssimativa: parametri in miliardi per byte per peso, più il 20-30 percento per la cache del contesto.
| Dimensione del modello | Quantizzato a 4 bit | 16 bit completo | GPU adatta |
|---|---|---|---|
| da 7 a 8B | circa 5 GB | circa 16 GB | RTX 4090 (24 GB) |
| da 13 a 14B | circa 9 GB | circa 28 GB | RTX 4090 quantizzato, RTX 5090 (32 GB) |
| da 30 a 34B | circa 20 GB | circa 68 GB | RTX 4090 o 5090 quantizzato, H100 |
| 70B | circa 40 GB | circa 140 GB | H100 da 80 GB quantizzato; 2× H100 per 16 bit |
La quantizzazione memorizza i pesi con meno bit, il che riduce drasticamente la memoria con una piccola perdita di qualità. È il modo in cui la maggior parte delle persone esegue modelli grandi su schede consumer.
Opzione 1: Ollama (la più semplice)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama gestisce i download, la quantizzazione e un'API locale sulla porta 11434. Tieni quella porta privata, oppure metti un'autenticazione davanti.
Opzione 2: vLLM (massimo throughput)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM serve un'API compatibile con OpenAI e raggruppa molte richieste, il che lo rende la scelta migliore quando più utenti o applicazioni condividono una GPU. Alcuni modelli richiedono di accettare prima una licenza sulla pagina del modello.
Verifica che la GPU sia usata
nvidia-smi
watch -n 1 nvidia-smiL'uso della memoria dovrebbe salire quando il modello viene caricato e l'utilizzo dovrebbe aumentare durante la generazione. Se restano entrambi a zero, il modello sta girando sulla CPU.
Altre cose che le persone eseguono su GPU a noleggio
- Generazione di immagini (Stable Diffusion, ComfyUI).
- Fine-tuning di piccoli modelli con LoRA.
- Rendering video e 3D, e transcodifica video.
- Riconoscimento vocale con Whisper.
Senso dei costi
Se ti serve una GPU per poche ore a settimana, noleggiarla al mese può comunque costare più di un'API. Se esegui inferenza tutto il giorno o ti serve privacy, un server GPU dedicato di solito vince. Calcola il tuo numero mensile di token prima di decidere.