Execute o Ollama e o Open WebUI em um servidor GPU

Rodar um modelo de linguagem no seu próprio servidor mantém seus prompts e documentos privados e elimina as tarifas por token. O Ollama simplifica a parte do modelo, e o Open WebUI oferece por cima uma interface no estilo ChatGPT. Este guia instala os dois em um servidor GPU com Ubuntu.

O que você precisa

• Um servidor GPU. O tamanho do modelo define a GPU. Um modelo de 7 a 8 bilhões de parâmetros em 4 bits precisa de cerca de 5 a 6 GB de VRAM. Um modelo de 70B precisa de muito mais, normalmente 40 GB ou mais. Veja a página de hospedagem de LLM privado para opções dimensionadas.
• Ubuntu 22.04 ou 24.04 com o driver NVIDIA instalado. Os planos de GPU nossos podem vir com CUDA pronto.
• Docker para o Open WebUI. Siga como instalar o Docker se precisar.

Passo 1: verifique a GPU

nvidia-smi

Você deve ver a sua GPU, a versão do driver e a versão do CUDA. Se o comando não existir, instale primeiro o driver NVIDIA para a sua placa.

Passo 2: instale o Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

O instalador configura um serviço systemd que escuta em 127.0.0.1:11434. Leia o script antes de executá-lo, se preferir, já que é uma instalação via pipe.

Passo 3: baixe e teste um modelo

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps mostra se o modelo está carregado na GPU. Se aparecer CPU, a GPU não está sendo usada e as respostas serão lentas.

Passo 4: adicione o Open WebUI

Rode o Open WebUI no Docker e aponte-o para o Ollama no host:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Vincular a 127.0.0.1 significa que ele ainda não está exposto à internet. Crie a conta de administrador na primeira vez que o abrir.

Passo 5: coloque HTTPS na frente

Use o Caddy para certificados automáticos. Aponte um domínio para o servidor e depois:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Nas configurações do Open WebUI, desative o cadastro aberto para que só você possa criar contas.

Mantenha-o privado

• Nunca exponha a porta 11434 (a API do Ollama) à internet. Ela não tem login.
• Use o firewall para permitir apenas SSH, 80 e 443. Veja como proteger um novo VPS.
• Mantenha os modelos e o histórico de conversas no disco do servidor. Eles não saem da máquina.