Запуск большой языковой модели на собственном оборудовании оставляет ваши запросы и данные под вашим контролем и избавляет от платы за каждый токен. В этом руководстве объясняется, сколько памяти GPU вам нужно и как запустить модель на арендованном GPU-сервере.
Главное число: VRAM
Модель должна поместиться в память видеокарты (VRAM). Грубое правило: число параметров в миллиардах умножить на байты на вес, плюс от 20 до 30 процентов на кэш контекста.
| Размер модели | 4-битная квантизация | 16-бит, полная | Подходящий GPU |
|---|---|---|---|
| от 7 до 8B | около 5 ГБ | около 16 ГБ | RTX 4090 (24 ГБ) |
| от 13 до 14B | около 9 ГБ | около 28 ГБ | RTX 4090 с квантизацией, RTX 5090 (32 ГБ) |
| от 30 до 34B | около 20 ГБ | около 68 ГБ | RTX 4090 или 5090 с квантизацией, H100 |
| 70B | около 40 ГБ | около 140 ГБ | H100 80 ГБ с квантизацией; 2× H100 для 16-бит |
Квантизация хранит веса в меньшем числе бит, что резко сокращает объём памяти при небольшой потере качества. Именно так большинство людей запускает большие модели на потребительских картах.
Вариант 1: Ollama (самый простой)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama берёт на себя загрузку, квантизацию и локальный API на порту 11434. Держите этот порт закрытым или поставьте перед ним аутентификацию.
Вариант 2: vLLM (лучшая пропускная способность)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM предоставляет OpenAI-совместимый API и объединяет множество запросов в пакеты, поэтому это лучший выбор, когда один GPU делят несколько пользователей или приложений. Для некоторых моделей сначала нужно принять лицензию на странице модели.
Проверьте, что используется GPU
nvidia-smi
watch -n 1 nvidia-smiИспользование памяти должно резко вырасти при загрузке модели, а загрузка GPU должна расти во время генерации. Если оба показателя остаются нулевыми, модель работает на CPU.
Что ещё запускают на арендованных GPU
- Генерация изображений (Stable Diffusion, ComfyUI).
- Дообучение небольших моделей с помощью LoRA.
- Видео- и 3D-рендеринг, а также транскодирование видео.
- Преобразование речи в текст с помощью Whisper.
Оценка затрат
Если GPU нужен на несколько часов в неделю, помесячная аренда может обойтись дороже, чем API. Если вы запускаете инференс целый день или вам нужна приватность, выделенный GPU-сервер обычно выигрывает. Прежде чем решать, подсчитайте свой ежемесячный объём токенов.