Yeni bir güncellememiz var. Artık kendi Web Konsolumuzu sunuyoruz. Konsolu açın ve ssh root@your-server-ip yazarak herhangi bir sunucunuza doğrudan tarayıcınızdan bağlanın. SSH uygulaması gerekmez.
Açık ağırlıklı bir modeli kendiniz çalıştırdığınızda istemleriniz ve belgeleriniz üçüncü taraf bir API'ye değil, kiraladığınız bir sunucuya gider. Her şeyi belirleyen soru, modelin GPU belleğine sığıp sığmadığıdır. Bu sayfa size hesabı ve eşleşen sunucuyu gerçek fiyatlarla verir.
Pratik kural: ağırlıklar = parametreler × ağırlık başına bayt, artı çalışma belleği için yaklaşık %20. Gerçek ihtiyaç bağlam uzunluğuna, batch boyutuna ve yazılıma göre değişir.
| Model ve hassasiyet | Tahmini bellek | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B parametre, 16 bit | ~20 GB | sığar | sığar | sığar | sığar |
| 8B parametre, 8 bit | ~10 GB | sığar | sığar | sığar | sığar |
| 8B parametre, 4 bit | ~5 GB | sığar | sığar | sığar | sığar |
| 32B parametre, 16 bit | ~77 GB | no | no | sığar | sığar |
| 32B parametre, 8 bit | ~39 GB | no | no | sığar | sığar |
| 32B parametre, 4 bit | ~20 GB | sığar | sığar | sığar | sığar |
| 70B parametre, 16 bit | ~168 GB | no | no | no | no |
| 70B parametre, 8 bit | ~84 GB | no | no | no | sığar |
| 70B parametre, 4 bit | ~42 GB | no | no | sığar | sığar |
| 120B parametre, 16 bit | ~288 GB | no | no | no | no |
| 120B parametre, 8 bit | ~144 GB | no | no | no | sığar |
| 120B parametre, 4 bit | ~72 GB | no | no | sığar | sığar |
Bunlar planlama için tahminlerdir, benchmark değildir. Zar zor sığan bir model uzun istemler için az yer bırakır, bu yüzden pay bırakın. Nicemlenmiş modeller biraz kalite kaybeder; kendinizinkini test edin.
Fiyatlar seçtiğiniz lokasyona göre değişir. Daha uzun dönem %50'ye varan indirim sağlar.
or $54.63/mo on a 12-month term (−50%)
Küçük ve orta boy modellere, ayrıca 4 bitte 32B'ye uygundur.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Bağlam ve daha büyük nicemlenmiş modeller için daha fazla pay.
Configure and orderor $375.25/mo on a 12-month term (−50%)
4 bitte 70B model, ya da orta boy modeller için 8 bit.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Çok büyük modeller ve 16 bitte orta boy modeller.
Configure and orderHangisini seçerseniz seçin, model API'sini kimlik doğrulaması olmadan internete açmayın. Rehberimiz LLM'leri bir GPU sunucusunda çalıştırma yazısında.
İstemleriniz kiraladığınız bir sunucuda kalır ve GPU'yu kimse sizinle paylaşmaz. Bir model sağlayıcısına gönderilmezler. Sunucu yine de bizde barındırılır, sunucularınızın içinde olanları izlemez veya kaydetmeyiz ve koşullarımızdaki kurallar, ürettiğiniz ve yayımladığınız dahil, çalıştırdığınız her şey için geçerlidir. İndirdiğiniz modelin lisansına uymaktan siz sorumlusunuz.
Evet, modelin lisansına uyarsanız. GPU belleği modele biraz payla sığan bir sunucu seçin, Ollama veya vLLM gibi bir sunum aracı kurun ve API'yi güvene alın.
4 bitte kabaca 35 GB, 8 bitte 70 GB ve 16 bitte 140 GB ağırlık, artı çalışma belleği için yaklaşık %20. Bu tahmine göre 4 bit 70B model 24 veya 32 GB'lık bir kart değil, 80 GB'lık bir H100 gerektirir.
RTX 4090 sunucusu bunları tablodaki her hassasiyette barındırır ve en ucuzu ayda $109.25'tır. Daha büyük modeller daha fazla bellek gerektirir.
Hayır. Modeli seçip kendi sunucunuzda çalıştırdığınız anlamına gelir. Ürettiğiniz ve yayımladığınız şey yine yasaların ve koşullarımızın kapsamındadır.
Hayır. Bir giriş oluşturun ve kriptoyla ödeyin. Bkz. KYC'siz GPU sunucuları.
Ön ödemeli bakiyenizden aylık olarak, daha uzun sürelerde %50'ye varan indirimle. Bkz. fiyatlar.
Bir GPU seçin, kriptoyla ödeyin, root olarak giriş yapın. Kimlik yok, kart yok.
