Ollama und Open WebUI auf einem GPU-Server betreiben

Ein Sprachmodell auf dem eigenen Server zu betreiben hält Ihre Prompts und Dokumente privat und erspart Gebühren pro Token. Ollama macht die Modellseite einfach, und Open WebUI liefert darüber eine ChatGPT-ähnliche Oberfläche. Diese Anleitung installiert beides auf einem GPU-Server unter Ubuntu.

Was Sie brauchen

• Ein GPU-Server. Die Modellgröße bestimmt die GPU. Ein Modell mit 7 bis 8 Milliarden Parametern in 4-Bit-Form benötigt etwa 5 bis 6 GB VRAM. Ein 70B-Modell braucht weit mehr, typischerweise 40 GB oder mehr. Auf der Seite Privates LLM-Hosting finden Sie passend dimensionierte Optionen.
• Ubuntu 22.04 oder 24.04 mit installiertem NVIDIA-Treiber. GPU-Tarife von uns können mit vorbereitetem CUDA geliefert werden.
• Docker für Open WebUI. Folgen Sie bei Bedarf Docker installieren.

Schritt 1: Die GPU prüfen

nvidia-smi

Sie sollten Ihre GPU, die Treiberversion und die CUDA-Version sehen. Fehlt der Befehl, installieren Sie zuerst den NVIDIA-Treiber für Ihre Karte.

Schritt 2: Ollama installieren

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Das Installationsprogramm richtet einen systemd-Dienst ein, der auf 127.0.0.1:11434 lauscht. Lesen Sie das Skript vor der Ausführung, wenn Sie möchten, da es sich um eine Installation per Pipe handelt.

Schritt 3: Ein Modell laden und testen

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps zeigt, ob das Modell auf der GPU geladen ist. Steht dort CPU, wird die GPU nicht genutzt, und die Antworten werden langsam sein.

Schritt 4: Open WebUI hinzufügen

Starten Sie Open WebUI in Docker und richten Sie es auf Ollama auf dem Host:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Die Bindung an 127.0.0.1 bedeutet, dass es noch nicht im Internet erreichbar ist. Legen Sie beim ersten Öffnen das Admin-Konto an.

Schritt 5: HTTPS vorschalten

Verwenden Sie Caddy für automatische Zertifikate. Lassen Sie eine Domain auf den Server zeigen und dann:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Deaktivieren Sie in den Open-WebUI-Einstellungen offene Registrierungen, damit nur Sie Konten anlegen können.

Privat halten

• Machen Sie Port 11434 (die Ollama-API) niemals im Internet zugänglich. Er hat keinen Login.
• Erlauben Sie in der Firewall nur SSH, 80 und 443. Siehe Einen neuen VPS absichern.
• Halten Sie Modelle und Chatverlauf auf der Festplatte des Servers. Sie verlassen die Maschine nicht.