Chạy Ollama và Open WebUI trên máy chủ GPU

Chạy mô hình ngôn ngữ trên máy chủ của riêng bạn giúp giữ riêng tư các prompt và tài liệu, đồng thời loại bỏ phí theo token. Ollama làm phần mô hình trở nên đơn giản, còn Open WebUI mang đến giao diện kiểu ChatGPT bên trên. Hướng dẫn này cài đặt cả hai trên máy chủ GPU chạy Ubuntu.

Bạn cần gì

• Một máy chủ GPU. Kích thước mô hình quyết định GPU. Mô hình 7 đến 8 tỷ tham số ở dạng 4-bit cần khoảng 5 đến 6 GB VRAM. Mô hình 70B cần nhiều hơn rất nhiều, thường là 40 GB trở lên. Xem trang lưu trữ LLM riêng tư để biết các lựa chọn theo kích thước.
• Ubuntu 22.04 hoặc 24.04 đã cài driver NVIDIA. Các gói GPU của chúng tôi có thể đi kèm CUDA sẵn sàng.
• Docker cho Open WebUI. Làm theo cách cài đặt Docker nếu bạn cần.

Bước 1: kiểm tra GPU

nvidia-smi

Bạn sẽ thấy GPU, phiên bản driver và phiên bản CUDA. Nếu thiếu lệnh này, hãy cài driver NVIDIA cho card của bạn trước.

Bước 2: cài đặt Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Trình cài đặt thiết lập một dịch vụ systemd lắng nghe trên 127.0.0.1:11434. Nếu muốn, hãy đọc tập lệnh trước khi chạy, vì đây là kiểu cài đặt qua đường ống.

Bước 3: tải và thử một mô hình

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps cho biết mô hình có được nạp lên GPU hay không. Nếu hiện CPU, nghĩa là GPU không được dùng và phản hồi sẽ chậm.

Bước 4: thêm Open WebUI

Chạy Open WebUI trong Docker và trỏ nó tới Ollama trên máy chủ:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Gắn vào 127.0.0.1 nghĩa là nó chưa bị mở ra internet. Hãy tạo tài khoản quản trị ở lần mở đầu tiên.

Bước 5: đặt HTTPS phía trước

Dùng Caddy để có chứng chỉ tự động. Trỏ một tên miền tới máy chủ, rồi:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Trong cài đặt Open WebUI, hãy tắt đăng ký mở để chỉ bạn mới tạo được tài khoản.

Giữ riêng tư

• Đừng bao giờ mở cổng 11434 (API Ollama) ra internet. Nó không có đăng nhập.
• Dùng tường lửa chỉ cho phép SSH, 80 và 443. Xem bảo mật VPS mới.
• Giữ các mô hình và lịch sử trò chuyện trên ổ đĩa của máy chủ. Chúng không rời khỏi máy.