Per l'AI self-hosted, la domanda raramente è "quale scheda è la più veloce". È "quale scheda sta con il modello che voglio eseguire, a un costo orario che posso giustificare". La memoria decide cosa ci sta, la banda decide quanto velocemente escono i token e il prezzo decide se il progetto ha senso.
Prima di tutto la memoria
Se un modello non sta nella memoria video, la velocità è irrilevante. Regola approssimativa: un modello richiede circa il numero di parametri per i byte per peso, più spazio per la cache del contesto.
- Un modello da 7B-8B in 4 bit richiede circa 5-6 GB.
- Un modello da 13B-14B in 4 bit richiede circa 9-10 GB.
- Un modello da 32B in 4 bit richiede circa 20-22 GB, quindi sta su una scheda da 24 GB con un contesto breve.
- Un modello da 70B in 4 bit richiede circa 40 GB o più, quindi serve una scheda da 48 GB o 80 GB oppure diverse schede più piccole.
I contesti lunghi fanno crescere rapidamente la cache, quindi lascia un margine.
La banda determina la velocità dei token
Per un singolo utente, generare ogni token significa leggere una volta i pesi del modello. Questo rende la banda di memoria il limite. Le schede da datacenter con memoria HBM hanno una banda diverse volte superiore a quella delle schede consumer con GDDR, ed è per questo che una H100 produce token più velocemente con lo stesso modello.
Dove vince una scheda consumer
- Modelli fino a circa 30B in 4 bit.
- Generazione di immagini come Stable Diffusion e Flux.
- Sviluppo, test e uso privato a basso volume.
- Costo: il prezzo orario è una frazione di quello di una scheda da datacenter.
Dove vince una scheda da datacenter
- Modelli della classe 70B senza compressione pesante.
- Molti utenti contemporaneamente, dove il batching sfrutta bene la potenza di calcolo extra.
- Collegamenti veloci tra più GPU per i modelli più grandi.
- Contesto lungo e carichi di lavoro ad alta precisione.
Calcola il costo per lavoro, non per ora
Misura i tuoi token al secondo con il modello che eseguirai davvero. Poi dividi il prezzo orario per i token all'ora. Una scheda economica ma lenta può costare più per milione di token di una veloce e cara, e viceversa quando la scheda economica non viene tenuta occupata. Il tempo inattivo è il costo nascosto, quindi spegni i server quando non servono.
Un modo semplice per scegliere
- Scegli il modello e la quantizzazione che vuoi.
- Verifica che ci stia con del contesto in più.
- Noleggia la scheda più economica che ci sta e fai un benchmark per un'ora.
- Passa a una più potente solo se velocità o concorrenza non raggiungono il tuo obiettivo.
Pronto a provare? Esegui Ollama e Open WebUI oppure configura Stable Diffusion. Prezzi e schede cambiano, quindi verifica le opzioni attuali nella pagina dei server GPU.