اجرای Ollama و Open WebUI روی سرور GPU

اجرای مدل زبانی روی سرور خودتان پرامپت‌ها و اسنادتان را خصوصی نگه می‌دارد و هزینه به ازای هر توکن را حذف می‌کند. Ollama بخش مدل را ساده می‌کند و Open WebUI یک رابط شبیه ChatGPT روی آن می‌گذارد. این راهنما هر دو را روی یک سرور GPU با Ubuntu نصب می‌کند.

به چه چیزی نیاز دارید

• یک سرور GPU. اندازه مدل GPU را تعیین می‌کند. یک مدل با 7 تا 8 میلیارد پارامتر در حالت 4 بیتی تقریباً 5 تا 6 GB VRAM نیاز دارد. مدل 70B بسیار بیشتر لازم دارد، معمولاً 40 GB یا بیشتر. برای گزینه‌های متناسب، صفحه هاستینگ LLM خصوصی را ببینید.
• Ubuntu 22.04 یا 24.04 با درایور NVIDIA نصب‌شده. طرح‌های GPU ما می‌توانند با CUDA آماده ارائه شوند.
• Docker برای Open WebUI. در صورت نیاز نحوه نصب Docker را دنبال کنید.

مرحله 1: GPU را بررسی کنید

nvidia-smi

باید GPU، نسخه درایور و نسخه CUDA را ببینید. اگر دستور وجود ندارد، ابتدا درایور NVIDIA را برای کارت خود نصب کنید.

مرحله 2: Ollama را نصب کنید

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

نصب‌کننده یک سرویس systemd می‌سازد که روی 127.0.0.1:11434 گوش می‌دهد. اگر دوست دارید، اسکریپت را پیش از اجرا بخوانید، چون نصب از طریق pipe است.

مرحله 3: یک مدل بگیرید و آزمایش کنید

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps نشان می‌دهد مدل روی GPU بارگذاری شده است یا نه. اگر CPU نوشته باشد، GPU استفاده نمی‌شود و پاسخ‌ها کند خواهند بود.

مرحله 4: Open WebUI را اضافه کنید

Open WebUI را در Docker اجرا کنید و به Ollama روی میزبان وصل کنید:

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

اتصال به 127.0.0.1 یعنی هنوز در معرض اینترنت نیست. اولین باری که آن را باز می‌کنید حساب مدیر را بسازید.

مرحله 5: HTTPS را جلوی آن بگذارید

برای گواهی‌های خودکار از Caddy استفاده کنید. یک دامنه را به سرور اشاره دهید، سپس:

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

در تنظیمات Open WebUI ثبت‌نام آزاد را غیرفعال کنید تا فقط خودتان بتوانید حساب بسازید.

آن را خصوصی نگه دارید

• هرگز پورت 11434 (API مربوط به Ollama) را در معرض اینترنت قرار ندهید. ورودی ندارد.
• با فایروال فقط SSH و 80 و 443 را مجاز کنید. امن‌سازی یک VPS جدید را ببینید.
• مدل‌ها و تاریخچه گفتگو را روی دیسک سرور نگه دارید. آن‌ها از ماشین خارج نمی‌شوند.