GPU サーバーで Ollama と Open WebUI を動かす

自分のサーバーで言語モデルを動かせば、プロンプトとドキュメントを非公開に保て、トークンごとの料金もかかりません。Ollama がモデル側を簡単にし、Open WebUI がその上に ChatGPT 風のインターフェースを提供します。このガイドでは、Ubuntu が動く GPU サーバーに両方をインストールします。

必要なもの

• GPU サーバー。モデルのサイズで GPU が決まります。4-bit 形式の 7B から 8B パラメーターのモデルには、およそ 5 から 6 GB の VRAM が必要です。70B モデルにははるかに多く、通常 40 GB 以上必要です。サイズ別の選択肢はプライベート LLM ホスティングのページをご覧ください。
• Ubuntu 22.04 または 24.04。NVIDIA ドライバーがインストール済みであること。当社の GPU プランは、CUDA が準備済みの状態でご利用いただけます。
• Open WebUI 用の Docker。必要な場合はDocker のインストール方法に従ってください。

ステップ 1: GPU を確認する

nvidia-smi

お使いの GPU、ドライバーのバージョン、CUDA のバージョンが表示されるはずです。コマンドが見つからない場合は、先にカード用の NVIDIA ドライバーをインストールしてください。

ステップ 2: Ollama をインストールする

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

インストーラーは、127.0.0.1:11434 で待ち受ける systemd サービスをセットアップします。パイプでの実行形式のインストールなので、気になる場合は実行前にスクリプトを読んでください。

ステップ 3: モデルを取得してテストする

ollama pull llama3.1:8b
ollama run llama3.1:8b "Explain what a VPS is in two sentences."
ollama ps

ollama ps で、モデルが GPU にロードされているかを確認できます。CPU と表示された場合は GPU が使われておらず、応答は遅くなります。

ステップ 4: Open WebUI を追加する

Open WebUI を Docker で実行し、ホスト上の Ollama を指すようにします。

docker run -d --name open-webui --restart unless-stopped \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  -p 127.0.0.1:3000:8080 \
  ghcr.io/open-webui/open-webui:main

127.0.0.1 にバインドしているため、まだインターネットには公開されていません。最初に開いたときに、管理者アカウントを作成してください。

ステップ 5: 前段に HTTPS を置く

証明書の自動取得には Caddy を使います。ドメインをサーバーに向けてから、次を実行します。

sudo apt install -y caddy
echo 'chat.example.com {
  reverse_proxy 127.0.0.1:3000
}' | sudo tee /etc/caddy/Caddyfile
sudo systemctl reload caddy

Open WebUI の設定で、オープンなサインアップを無効にし、自分だけがアカウントを作成できるようにします。

非公開に保つ

• ポート 11434（Ollama API）は絶対にインターネットに公開しないでください。ログイン機能がありません。
• ファイアウォールで、SSH、80、443 だけを許可します。新しい VPS の保護をご覧ください。
• モデルとチャット履歴は、サーバーのディスクに保存してください。マシンの外には出ません。