GPU sunucusunda Ollama ve Open WebUI çalıştırın

Dil modelini kendi sunucunuzda çalıştırmak, istemlerinizi ve belgelerinizi gizli tutar ve token başına ücretleri ortadan kaldırır. Ollama model tarafını basitleştirir, Open WebUI ise üstüne ChatGPT tarzı bir arayüz sunar. Bu rehber ikisini de Ubuntu çalıştıran bir GPU sunucusuna kurar.

Neye ihtiyacınız var

• Bir GPU sunucusu. GPU'yu model boyutu belirler. 4 bit biçimindeki 7 ila 8 milyar parametreli bir model yaklaşık 5 ila 6 GB VRAM gerektirir. 70B bir model çok daha fazlasına, genellikle 40 GB veya üzerine ihtiyaç duyar. Boyutlandırılmış seçenekler için özel LLM barındırma sayfasına bakın.
• Ubuntu 22.04 veya 24.04 ve kurulu NVIDIA sürücüsü. Bizden aldığınız GPU planları CUDA hazır gelebilir.
• Open WebUI için Docker. Gerekirse Docker nasıl kurulur yazısını izleyin.

Adım 1: GPU'yu kontrol edin

nvidia-smi

GPU'nuzu, sürücü sürümünü ve CUDA sürümünü görmelisiniz. Komut yoksa önce kartınız için NVIDIA sürücüsünü kurun.

Adım 2: Ollama'yı kurun

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

Yükleyici, 127.0.0.1:11434 adresini dinleyen bir systemd hizmeti kurar. Boruyla yapılan bir kurulum olduğundan, isterseniz çalıştırmadan önce betiği okuyun.

Adım 3: Bir model çekin ve test edin

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps, modelin GPU'ya yüklenip yüklenmediğini gösterir. CPU yazıyorsa GPU kullanılmıyordur ve yanıtlar yavaş olur.

Adım 4: Open WebUI'yi ekleyin

Open WebUI'yi Docker'da çalıştırın ve ana makinedeki Ollama'ya yönlendirin:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

127.0.0.1'e bağlamak, henüz internete açık olmadığı anlamına gelir. İlk açışınızda yönetici hesabını oluşturun.

Adım 5: Önüne HTTPS koyun

Otomatik sertifikalar için Caddy kullanın. Bir alan adını sunucuya yönlendirin, sonra:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Open WebUI ayarlarında açık kayıtları devre dışı bırakın; böylece hesapları yalnızca siz oluşturabilirsiniz.

Özel tutun

• 11434 portunu (Ollama API) asla internete açmayın. Girişi yoktur.
• Güvenlik duvarıyla yalnızca SSH, 80 ve 443'e izin verin. Bkz. yeni bir VPS'in güvenliğini sağlama.
• Modelleri ve sohbet geçmişini sunucunun diskinde tutun. Makineden dışarı çıkmazlar.