GPU सर्वर पर Ollama और Open WebUI चलाएँ

अपने सर्वर पर भाषा मॉडल चलाने से आपके प्रॉम्प्ट और दस्तावेज़ निजी रहते हैं और प्रति-टोकन शुल्क खत्म हो जाता है। Ollama मॉडल वाला हिस्सा आसान बनाता है, और Open WebUI उसके ऊपर ChatGPT जैसा इंटरफ़ेस देता है। यह गाइड Ubuntu चलाने वाले GPU सर्वर पर दोनों इंस्टॉल करती है।

आपको क्या चाहिए

• एक GPU सर्वर। मॉडल का आकार GPU तय करता है। 4-बिट रूप में 7 से 8 अरब पैरामीटर वाले मॉडल को लगभग 5 से 6 GB VRAM चाहिए। 70B मॉडल को कहीं अधिक चाहिए, आमतौर पर 40 GB या अधिक। आकार के अनुसार विकल्पों के लिए निजी LLM होस्टिंग पेज देखें।
• Ubuntu 22.04 या 24.04, NVIDIA ड्राइवर इंस्टॉल के साथ। हमारे GPU प्लान CUDA तैयार के साथ आ सकते हैं।
• Open WebUI के लिए Docker। ज़रूरत हो तो Docker कैसे इंस्टॉल करें देखें।

चरण 1: GPU जाँचें

nvidia-smi

आपको अपना GPU, ड्राइवर संस्करण और CUDA संस्करण दिखना चाहिए। अगर कमांड नहीं मिलता, तो पहले अपने कार्ड के लिए NVIDIA ड्राइवर इंस्टॉल करें।

चरण 2: Ollama इंस्टॉल करें

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

इंस्टॉलर एक systemd सेवा बनाता है जो 127.0.0.1:11434 पर सुनती है। चाहें तो चलाने से पहले स्क्रिप्ट पढ़ लें, क्योंकि यह पाइप से होने वाला इंस्टॉल है।

चरण 3: मॉडल पुल करें और परखें

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps दिखाता है कि मॉडल GPU पर लोड है या नहीं। अगर यह CPU कहे, तो GPU इस्तेमाल नहीं हो रहा और जवाब धीमे होंगे।

चरण 4: Open WebUI जोड़ें

Open WebUI को Docker में चलाएँ और उसे होस्ट पर Ollama की ओर इंगित करें:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

127.0.0.1 से बाँधने का मतलब है कि वह अभी इंटरनेट पर उजागर नहीं है। पहली बार खोलने पर एडमिन खाता बनाएँ।

चरण 5: आगे HTTPS लगाएँ

स्वचालित प्रमाणपत्रों के लिए Caddy इस्तेमाल करें। किसी डोमेन को सर्वर की ओर इंगित करें, फिर:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Open WebUI सेटिंग में खुले साइन-अप बंद कर दें ताकि केवल आप खाते बना सकें।

इसे निजी रखें

• पोर्ट 11434 (Ollama API) को कभी इंटरनेट पर उजागर न करें। उसमें कोई लॉगिन नहीं है।
• फ़ायरवॉल से केवल SSH, 80 और 443 की अनुमति दें। नए VPS को सुरक्षित करना देखें।
• मॉडल और चैट इतिहास को सर्वर की डिस्क पर रखें। वे मशीन से बाहर नहीं जाते।