Запуск Ollama и Open WebUI на GPU-сервере

Запуск языковой модели на собственном сервере сохраняет ваши запросы и документы в тайне и избавляет от платы за токены. Ollama упрощает работу с моделью, а Open WebUI даёт поверх неё интерфейс в стиле ChatGPT. В этом руководстве мы установим оба на GPU-сервер с Ubuntu.

Что вам понадобится

• GPU-сервер. Размер модели определяет GPU. Модели на 7–8 миллиардов параметров в 4-битном виде нужно примерно от 5 до 6 ГБ VRAM. Модели на 70B нужно значительно больше, обычно 40 ГБ или более. Варианты с указанием размеров смотрите на странице хостинга частных LLM.
• Ubuntu 22.04 или 24.04 с установленным драйвером NVIDIA. GPU-тарифы от нас могут поставляться с готовым CUDA.
• Docker для Open WebUI. Если он вам нужен, следуйте руководству как установить Docker.

Шаг 1: проверьте GPU

nvidia-smi

Вы должны увидеть ваш GPU, версию драйвера и версию CUDA. Если команда не найдена, сначала установите драйвер NVIDIA для вашей карты.

Шаг 2: установите Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Установщик создаёт службу systemd, которая слушает 127.0.0.1:11434. Если хотите, прочтите скрипт перед запуском, так как установка идёт через конвейер.

Шаг 3: загрузите и протестируйте модель

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps показывает, загружена ли модель на GPU. Если там указан CPU, GPU не используется и ответы будут медленными.

Шаг 4: добавьте Open WebUI

Запустите Open WebUI в Docker и направьте его на Ollama на хосте:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Привязка к 127.0.0.1 означает, что пока он не доступен из интернета. При первом открытии создайте учётную запись администратора.

Шаг 5: поставьте HTTPS перед сервисом

Используйте Caddy для автоматических сертификатов. Направьте домен на сервер, затем:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

В настройках Open WebUI отключите открытую регистрацию, чтобы учётные записи могли создавать только вы.

Сохраняйте конфиденциальность

• Никогда не открывайте порт 11434 (API Ollama) в интернет. В нём нет авторизации.
• Настройте файрвол так, чтобы разрешить только SSH, 80 и 443. См. защита нового VPS.
• Храните модели и историю чатов на диске сервера. Они не покидают машину.