Kendi kendine barındırılan yapay zekâda soru nadiren "en hızlı kart hangisi" olur. Asıl soru, "çalıştırmak istediğim modele hangi kart yeter ve saatlik maliyeti makul mü" sorusudur. Bellek neyin sığacağını, bant genişliği token'ların ne kadar hızlı çıkacağını, fiyat ise projenin hiç anlamlı olup olmadığını belirler.
Önce bellek
Bir model video belleğine sığmıyorsa hız önemsizdir. Kabaca kural: bir model, parametre sayısı çarpı ağırlık başına bayt kadar bellek ve bunun üstüne bağlam önbelleği için pay gerektirir.
- 4 bitlik 7B ile 8B arası bir model yaklaşık 5 ila 6 GB gerektirir.
- 4 bitlik 13B ile 14B arası bir model yaklaşık 9 ila 10 GB gerektirir.
- 4 bitlik 32B bir model yaklaşık 20 ila 22 GB gerektirir; kısa bağlamla 24 GB'lık bir karta sığar.
- 4 bitlik 70B bir model yaklaşık 40 GB veya daha fazlasına ihtiyaç duyar; bu yüzden 48 GB ya da 80 GB'lık bir kart veya birkaç küçük kart gerekir.
Uzun bağlamlar önbelleği hızla büyütür, bu yüzden boşluk bırakın.
Token hızını bant genişliği belirler
Tek kullanıcı için her token üretmek, model ağırlıklarını bir kez okumak demektir. Bu da bellek bant genişliğini sınır yapar. HBM belleğe sahip veri merkezi kartlarının bant genişliği tüketici GDDR kartlarının birkaç katıdır; H100'ün aynı modelde token'ları daha hızlı üretmesinin nedeni budur.
Tüketici kartının kazandığı yerler
- 4 bitte yaklaşık 30B'ye kadar modeller.
- Stable Diffusion ve Flux gibi görsel üretimi.
- Geliştirme, test ve düşük hacimli özel kullanım.
- Maliyet: saatlik fiyat, veri merkezi kartının çok küçük bir kısmıdır.
Veri merkezi kartının kazandığı yerler
- Ağır sıkıştırma olmadan 70B sınıfı modeller.
- Aynı anda çok sayıda kullanıcı; toplu işleme ek işlem gücünü iyi kullanır.
- Daha büyük modeller için birkaç GPU arasındaki hızlı bağlantılar.
- Uzun bağlam ve yüksek hassasiyetli iş yükleri.
Maliyeti saat başına değil, iş başına hesaplayın
Gerçekten çalıştıracağınız modelle kendi saniye başına token sayınızı ölçün. Sonra saatlik fiyatı saatteki token sayısına bölün. Ucuz ama yavaş bir kart, milyon token başına pahalı ve hızlı bir karttan daha fazlaya mal olabilir; ucuz kart meşgul tutulmazsa da tersi olur. Boşta geçen süre gizli maliyettir, bu yüzden kullanılmadığında sunucuları kapatın.
Seçmenin basit bir yolu
- İstediğiniz modeli ve nicemlemeyi seçin.
- Bağlama pay kalacak şekilde sığdığını kontrol edin.
- Sığan en ucuz kartı kiralayın ve bir saat boyunca kıyaslama yapın.
- Yalnızca hız veya eşzamanlılık hedefinizi karşılamazsa bir üst karta geçin.
Denemeye hazır mısınız? Ollama ve Open WebUI'yi çalıştırın ya da Stable Diffusion'ı kurun. Fiyatlar ve kartlar değişir, bu yüzden güncel seçenekleri GPU sunucu sayfasından doğrulayın.