在自己的硬件上运行大语言模型，可以让你的提示词和数据始终处于自己的掌控之下，并避免按 token 计费。本指南说明你需要多少显存，以及如何在租用的 GPU 服务器上运行模型。
关键数字：显存（VRAM）
模型必须能放进显卡的内存（VRAM）。粗略规则是：参数量（以十亿计）乘以每个权重的字节数，再加上 20% 到 30% 的上下文缓存。
| 模型规模 | 4 位量化 | 16 位完整精度 | 适用的 GPU |
|---|---|---|---|
| 7 至 8B | 约 5 GB | 约 16 GB | RTX 4090（24 GB） |
| 13 至 14B | 约 9 GB | 约 28 GB | RTX 4090 量化版，RTX 5090（32 GB） |
| 30 至 34B | 约 20 GB | 约 68 GB | RTX 4090 或 5090 量化版，H100 |
| 70B | 约 40 GB | 约 140 GB | H100 80 GB 量化版；16 位需 2× H100 |
量化是用更少的位数存储权重，在质量损失很小的情况下大幅减少内存占用。大多数人正是以这种方式在消费级显卡上运行大模型。
方案 1：Ollama（最简单）
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama 负责下载、量化，并在 11434 端口提供本地 API。请保持该端口私有，或在其前面加上身份验证。
方案 2：vLLM（吞吐量最佳）
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM 提供兼容 OpenAI 的 API 并对大量请求进行批处理，因此当多个用户或应用共用一块 GPU 时，它是更好的选择。部分模型要求你先在模型页面上接受许可协议。
确认 GPU 已被使用
nvidia-smi
watch -n 1 nvidia-smi模型加载时显存占用应该会上升，生成过程中利用率应该会升高。如果两者都保持为零，说明模型正在 CPU 上运行。
人们在租用的 GPU 上运行的其他任务
- 图像生成（Stable Diffusion、ComfyUI）。
- 使用 LoRA 微调小型模型。
- 视频和 3D 渲染，以及视频转码。
- 使用 Whisper 进行语音转文字。
成本考量
如果你每周只需要几个小时的 GPU，按月租用的花费可能仍然高于 API。如果你全天候运行推理或需要隐私，专用 GPU 服务器通常更划算。决定之前，请先算出你每月的 token 用量。