セルフホストの AI では、「どのカードが一番速いか」はあまり問題になりません。問題は「実行したいモデルが載るカードはどれか、そして正当化できる時間単価か」です。メモリが載るかどうかを決め、帯域幅がトークンの出力速度を決め、価格がそもそもプロジェクトとして成り立つかを決めます。
まずメモリ
モデルがビデオメモリに収まらなければ、速度は関係ありません。大まかな目安として、モデルに必要な容量は「パラメーター数 × 1 重みあたりのバイト数」に、コンテキストキャッシュの余裕を加えたものです。
- 4-bit の 7B から 8B モデルは、およそ 5 から 6 GB 必要です。
- 4-bit の 13B から 14B モデルは、約 9 から 10 GB 必要です。
- 4-bit の 32B モデルは約 20 から 22 GB 必要で、短いコンテキストなら 24 GB のカードに収まります。
- 4-bit の 70B モデルは約 40 GB 以上必要なので、48 GB または 80 GB のカード、もしくは小型のカードを複数枚使う必要があります。
長いコンテキストではキャッシュが急速に増えるため、余裕を持たせてください。
帯域幅がトークン速度を決める
ユーザーが1人の場合、トークンを1つ生成するたびにモデルの重みを1回読み込みます。そのため、メモリ帯域幅が限界になります。HBM メモリを搭載したデータセンター向けカードは、コンシューマー向けの GDDR カードの数倍の帯域幅があり、同じモデルでも H100 のほうが速くトークンを生成できるのはこのためです。
コンシューマー向けカードが有利な場面
- 4-bit で約 30B までのモデル。
- Stable Diffusion や Flux などの画像生成。
- 開発、テスト、小規模な個人利用。
- コスト: 時間単価がデータセンター向けカードのほんの一部です。
データセンター向けカードが有利な場面
- 大幅な圧縮をかけない 70B クラスのモデル。
- 多数のユーザーが同時に使う場合。バッチ処理で余分な演算能力を有効に使えます。
- 大きなモデルのための、複数 GPU 間の高速リンク。
- 長いコンテキストや高精度のワークロード。
時間単位ではなく、ジョブ単位でコストを考える
実際に動かすモデルで、自分のトークン毎秒を測定します。次に、時間単価を1時間あたりのトークン数で割ります。安くても遅いカードは、高価で速いカードより100万トークンあたりのコストが高くなることがあります。逆に、安いカードを使い切れていない場合もそうなります。アイドル時間は見えないコストなので、使わないときはサーバーを停止してください。
選び方の簡単な手順
- 使いたいモデルと量子化方式を決めます。
- コンテキストの余裕を含めて収まるか確認します。
- 収まる中で最も安いカードを借りて、1時間ベンチマークします。
- 速度や同時処理数が目標に届かない場合のみ、上位のカードに移ります。
試してみる準備はできましたか。Ollama と Open WebUI を実行するか、Stable Diffusion をセットアップしてみてください。価格やカードは変わるため、最新の選択肢はGPU サーバーのページでご確認ください。