Exécuter Ollama et Open WebUI sur un serveur GPU

Exécuter un modèle de langage sur votre propre serveur garde vos prompts et vos documents privés et supprime les frais par token. Ollama simplifie le côté modèle, et Open WebUI vous offre par-dessus une interface de type ChatGPT. Ce guide installe les deux sur un serveur GPU sous Ubuntu.

Ce dont vous avez besoin

• Un serveur GPU. La taille du modèle détermine le GPU. Un modèle de 7 à 8 milliards de paramètres en 4 bits nécessite environ 5 à 6 Go de VRAM. Un modèle de 70B en demande beaucoup plus, généralement 40 Go ou plus. Voir la page hébergement de LLM privé pour des options dimensionnées.
• Ubuntu 22.04 ou 24.04 avec le pilote NVIDIA installé. Nos offres GPU peuvent être livrées avec CUDA prêt à l'emploi.
• Docker pour Open WebUI. Suivez comment installer Docker si nécessaire.

Étape 1 : vérifiez le GPU

nvidia-smi

Vous devriez voir votre GPU, la version du pilote et la version de CUDA. Si la commande est introuvable, installez d'abord le pilote NVIDIA pour votre carte.

Étape 2 : installez Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

L'installateur met en place un service systemd qui écoute sur 127.0.0.1:11434. Lisez le script avant de l'exécuter si vous préférez, car il s'agit d'une installation par pipe.

Étape 3 : téléchargez et testez un modèle

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps indique si le modèle est chargé sur le GPU. S'il affiche CPU, le GPU n'est pas utilisé et les réponses seront lentes.

Étape 4 : ajoutez Open WebUI

Exécutez Open WebUI dans Docker et faites-le pointer vers Ollama sur l'hôte :

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Le lien avec 127.0.0.1 signifie qu'il n'est pas encore exposé à Internet. Créez le compte administrateur à la première ouverture.

Étape 5 : placez HTTPS devant

Utilisez Caddy pour des certificats automatiques. Faites pointer un domaine vers le serveur, puis :

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Dans les paramètres d'Open WebUI, désactivez les inscriptions ouvertes pour que vous seul puissiez créer des comptes.

Gardez-le privé

• N'exposez jamais le port 11434 (l'API Ollama) à Internet. Il n'a pas d'authentification.
• Utilisez le pare-feu pour n'autoriser que SSH, 80 et 443. Voir sécuriser un nouveau VPS.
• Gardez les modèles et l'historique des conversations sur le disque du serveur. Ils ne quittent pas la machine.