RTX 4090 или H100: какой GPU выбрать для ИИ-инференса?

Для self-hosted ИИ вопрос редко звучит как «какая карта самая быстрая». Он звучит так: «какая карта подходит для нужной мне модели при цене за час, которую я могу оправдать». Память определяет, что поместится, пропускная способность определяет скорость выдачи токенов, а цена решает, имеет ли проект вообще смысл.

Сначала память

Если модель не помещается в видеопамять, скорость не имеет значения. Грубое правило: модели нужно примерно число её параметров, умноженное на количество байт на вес, плюс место под кэш контекста.

• Модели на 7B–8B в 4-битном виде нужно примерно от 5 до 6 ГБ.
• Модели на 13B–14B в 4-битном виде нужно около 9–10 ГБ.
• Модели на 32B в 4-битном виде нужно около 20–22 ГБ, она помещается на карту на 24 ГБ при коротком контексте.
• Модели на 70B в 4-битном виде нужно около 40 ГБ или больше, поэтому нужна карта на 48 или 80 ГБ либо несколько карт поменьше.

Длинные контексты быстро увеличивают кэш, поэтому оставляйте запас.

Пропускная способность определяет скорость токенов

Для одного пользователя генерация каждого токена означает однократное чтение весов модели. Поэтому пределом становится пропускная способность памяти. У карт для дата-центров с памятью HBM пропускная способность в несколько раз выше, чем у потребительских карт с GDDR, поэтому H100 выдаёт токены быстрее на той же модели.

Где выигрывает потребительская карта

• Модели примерно до 30B в 4-битном виде.
• Генерация изображений, например Stable Diffusion и Flux.
• Разработка, тестирование и небольшое частное использование.
• Стоимость: цена за час составляет долю от цены карты для дата-центра.

Где выигрывает карта для дата-центра

• Модели класса 70B без сильного сжатия.
• Много пользователей одновременно, когда пакетная обработка хорошо использует дополнительные вычислительные ресурсы.
• Быстрые связи между несколькими GPU для более крупных моделей.
• Длинный контекст и задачи с высокой точностью.

Считайте стоимость задачи, а не часа

Измерьте собственную скорость в токенах в секунду на той модели, которую будете реально запускать. Затем разделите цену за час на число токенов в час. Дешёвая, но медленная карта может обойтись дороже за миллион токенов, чем дорогая и быстрая, и наоборот, если дешёвая карта не загружена работой. Простой — скрытая статья расходов, поэтому выключайте серверы, когда они не используются.

Простой способ выбора

1. Выберите модель и квантование, которые вам нужны.
2. Убедитесь, что она помещается с запасом под контекст.
3. Арендуйте самую дешёвую подходящую карту и протестируйте её в течение часа.
4. Переходите на более мощную, только если скорость или параллельность не достигают вашей цели.

Готовы попробовать? Запустите Ollama и Open WebUI или настройте Stable Diffusion. Цены и карты меняются, поэтому уточняйте актуальные варианты на странице GPU-серверов.