我们有新更新：现已推出自家的网页控制台。打开控制台并输入 ssh root@your-server-ip，即可直接在浏览器中连接您的任意服务器，无需 SSH 应用。
经验法则：权重 = 参数量 × 每个权重的字节数，再加约 20% 的工作内存。实际需求随上下文长度、批大小和软件而变化。
| 模型和精度 | 估算内存 | 1x RTX 4090（24 GB） | 1x RTX 5090（32 GB） | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B 参数，16 位 | ~20 GB | 放得下 | 放得下 | 放得下 | 放得下 |
| 8B 参数，8 位 | ~10 GB | 放得下 | 放得下 | 放得下 | 放得下 |
| 8B 参数，4 位 | ~5 GB | 放得下 | 放得下 | 放得下 | 放得下 |
| 32B 参数，16 位 | ~77 GB | no | no | 放得下 | 放得下 |
| 32B 参数，8 位 | ~39 GB | no | no | 放得下 | 放得下 |
| 32B 参数，4 位 | ~20 GB | 放得下 | 放得下 | 放得下 | 放得下 |
| 70B 参数，16 位 | ~168 GB | no | no | no | no |
| 70B 参数，8 位 | ~84 GB | no | no | no | 放得下 |
| 70B 参数，4 位 | ~42 GB | no | no | 放得下 | 放得下 |
| 120B 参数，16 位 | ~288 GB | no | no | no | no |
| 120B 参数，8 位 | ~144 GB | no | no | no | 放得下 |
| 120B 参数，4 位 | ~72 GB | no | no | 放得下 | 放得下 |
这些是用于规划的估算，不是基准测试。刚好放得下的模型给长提示词留的空间很少，所以请留出余量。量化模型会损失一些质量；请测试你自己的模型。
价格随你选择的地点而变。更长的期限最高享 5 折。
or $54.63/mo on a 12-month term (−50%)
适合小型和中型模型，以及 4 位的 32B。
Configure and orderor $87.88/mo on a 12-month term (−50%)
为上下文和更大的量化模型留出更多余量。
Configure and orderor $375.25/mo on a 12-month term (−50%)
4 位的 70B 模型，或中型模型的 8 位。
Configure and orderor $707.75/mo on a 12-month term (−50%)
超大模型和 16 位的中型模型。
Configure and order无论选择哪种，都不要在没有身份验证的情况下把模型 API 暴露到互联网。我们的教程见在 GPU 服务器上运行 LLM。
你的提示词留在你租用的服务器上，没有其他人共用 GPU。它们不会发送给模型供应商。服务器仍由我们托管，我们不监控或记录你服务器内部的内容，我们条款中的规则适用于你运行的一切，包括你生成和发布的内容。遵守你所下载模型的许可证是你的责任。
可以，只要你遵守模型的许可证。选择 GPU 显存能带余量容纳该模型的服务器，安装 Ollama 或 vLLM 之类的服务工具，并保护好 API。
权重大约是 4 位 35 GB、8 位 70 GB、16 位 140 GB，再加约 20% 的工作内存。按此估算，4 位的 70B 模型需要 80 GB 的 H100，而不是 24 或 32 GB 的显卡。
RTX 4090 服务器可以容纳表中任何精度的这类模型，最便宜的是每月 $109.25。更大的模型需要更多内存。
不是。它的意思是你在自己的服务器上选择并运行模型。你生成和发布的内容仍受法律和我们条款的约束。
不需要。生成一个登录并用加密货币付款。请参阅无需 KYC 的 GPU 服务器。
每月从你的预付余额中扣费，较长期限最高可享 50% 折扣。请参阅价格。
