对于自托管 AI，问题很少是“哪张显卡最快”，而是“哪张显卡能装下我想运行的模型，而且每小时成本是我能接受的”。显存决定能装下什么，带宽决定生成 token 的速度，价格则决定这个项目是否值得做。
首先看显存
如果模型装不进显存，速度就无从谈起。一个粗略的经验法则：模型所需显存约等于参数量乘以每个权重的字节数，再加上上下文缓存的空间。
- 7B 到 8B 的 4 位模型大约需要 5 到 6 GB。
- 13B 到 14B 的 4 位模型大约需要 9 到 10 GB。
- 32B 的 4 位模型大约需要 20 到 22 GB，在上下文较短时可以装进 24 GB 的显卡。
- 70B 的 4 位模型大约需要 40 GB 或更多，因此需要 48 GB 或 80 GB 的显卡，或者几张较小的显卡。
长上下文会让缓存迅速增长，所以要留出余量。
带宽决定 token 速度
对单个用户而言，生成每个 token 都意味着把模型权重读取一遍，因此显存带宽就是瓶颈。采用 HBM 显存的数据中心显卡，带宽是消费级 GDDR 显卡的数倍，这就是 H100 在同一模型上生成 token 更快的原因。
消费级显卡的优势场景
- 4 位下最多约 30B 的模型。
- Stable Diffusion 和 Flux 等图像生成。
- 开发、测试和小流量的私人使用。
- 成本：每小时价格只是数据中心显卡的一小部分。
数据中心显卡的优势场景
- 未经大幅压缩的 70B 级模型。
- 多用户同时使用，此时批处理能充分利用额外的算力。
- 多块 GPU 之间的高速互联，用于更大的模型。
- 长上下文和高精度的工作负载。
计算每项任务的成本，而不是每小时的成本
用你真正要运行的模型，测出自己的每秒 token 数。然后用每小时价格除以每小时的 token 数。一张便宜但很慢的显卡，每百万 token 的成本可能比一张昂贵而快速的显卡更高；而当便宜的显卡没有被充分利用时，情况则正好相反。闲置时间是隐藏的成本，所以不用时请关闭服务器。
一个简单的选择方法
- 选定你想要的模型和量化方式。
- 确认它装得下，并且还留有上下文空间。
- 租用能装下它的最便宜的显卡，并进行一小时的基准测试。
- 只有当速度或并发达不到目标时，才升级。
准备好试试了吗？运行 Ollama 和 Open WebUI，或搭建 Stable Diffusion。价格和显卡会不断变化，请在 GPU 服务器页面确认当前可选项。