Esegui Ollama e Open WebUI su un server GPU

Eseguire un modello linguistico sul tuo server mantiene privati i tuoi prompt e documenti ed elimina le tariffe per token. Ollama semplifica la parte del modello e Open WebUI ti offre sopra un'interfaccia in stile ChatGPT. Questa guida installa entrambi su un server GPU con Ubuntu.

Cosa ti serve

• Un server GPU. La dimensione del modello decide la GPU. Un modello da 7-8 miliardi di parametri in forma a 4 bit richiede circa 5-6 GB di VRAM. Un modello da 70B ne richiede molta di più, tipicamente 40 GB o più. Vedi la pagina hosting LLM privato per le opzioni dimensionate.
• Ubuntu 22.04 o 24.04 con il driver NVIDIA installato. I piani GPU da parte nostra possono avere CUDA già pronto.
• Docker per Open WebUI. Segui come installare Docker se ti serve.

Passo 1: controlla la GPU

nvidia-smi

Dovresti vedere la tua GPU, la versione del driver e la versione di CUDA. Se il comando non esiste, installa prima il driver NVIDIA per la tua scheda.

Passo 2: installa Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Il programma di installazione crea un servizio systemd in ascolto su 127.0.0.1:11434. Leggi lo script prima di eseguirlo se preferisci, dato che è un'installazione tramite pipe.

Passo 3: scarica e testa un modello

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps mostra se il modello è caricato sulla GPU. Se indica CPU, la GPU non viene usata e le risposte saranno lente.

Passo 4: aggiungi Open WebUI

Esegui Open WebUI in Docker e puntalo a Ollama sull'host:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Il binding su 127.0.0.1 significa che per ora non è esposto a internet. Crea l'account amministratore la prima volta che lo apri.

Passo 5: metti HTTPS davanti

Usa Caddy per i certificati automatici. Punta un dominio al server, poi:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Nelle impostazioni di Open WebUI, disattiva le registrazioni aperte, così solo tu puoi creare account.

Mantienilo privato

• Non esporre mai la porta 11434 (l'API di Ollama) a internet. Non ha alcun login.
• Usa il firewall per consentire solo SSH, 80 e 443. Vedi come proteggere un nuovo VPS.
• Tieni i modelli e la cronologia delle chat sul disco del server. Non lasciano la macchina.