Jalankan Ollama dan Open WebUI di Server GPU

Menjalankan model bahasa di server Anda sendiri menjaga prompt dan dokumen tetap privat serta menghilangkan biaya per token. Ollama membuat sisi model menjadi sederhana, dan Open WebUI memberi Anda antarmuka ala ChatGPT di atasnya. Panduan ini memasang keduanya di server GPU yang menjalankan Ubuntu.

Yang Anda perlukan

• Server GPU. Ukuran model menentukan GPU. Model 7 sampai 8 miliar parameter dalam bentuk 4-bit membutuhkan sekitar 5 sampai 6 GB VRAM. Model 70B membutuhkan jauh lebih banyak, biasanya 40 GB atau lebih. Lihat halaman hosting LLM privat untuk pilihan berdasarkan ukuran.
• Ubuntu 22.04 atau 24.04 dengan driver NVIDIA terpasang. Paket GPU dari kami bisa disertai CUDA yang sudah siap.
• Docker untuk Open WebUI. Ikuti cara memasang Docker jika Anda membutuhkannya.

Langkah 1: periksa GPU

nvidia-smi

Anda seharusnya melihat GPU, versi driver, dan versi CUDA. Jika perintahnya tidak ada, pasang dulu driver NVIDIA untuk kartu Anda.

Langkah 2: pasang Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Installer menyiapkan layanan systemd yang mendengarkan di 127.0.0.1:11434. Baca skripnya sebelum menjalankan jika Anda mau, karena ini instalasi lewat pipe.

Langkah 3: tarik dan uji model

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps menunjukkan apakah model dimuat di GPU. Jika tertulis CPU, GPU tidak dipakai dan balasan akan lambat.

Langkah 4: tambahkan Open WebUI

Jalankan Open WebUI di Docker dan arahkan ke Ollama di host:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

Binding ke 127.0.0.1 berarti belum terbuka ke internet. Buat akun admin saat pertama kali membukanya.

Langkah 5: pasang HTTPS di depan

Gunakan Caddy untuk sertifikat otomatis. Arahkan domain ke server, lalu:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Di pengaturan Open WebUI, nonaktifkan pendaftaran terbuka agar hanya Anda yang bisa membuat akun.

Jaga tetap privat

• Jangan pernah membuka port 11434 (API Ollama) ke internet. Port itu tidak punya login.
• Gunakan firewall untuk hanya mengizinkan SSH, 80, dan 443. Lihat mengamankan VPS baru.
• Simpan model dan riwayat obrolan di disk server. Semuanya tidak keluar dari mesin.