Kami punya pembaruan baru. Kini kami menawarkan Web Console milik kami sendiri. Buka konsol dan ketik ssh root@your-server-ip untuk mengakses server Anda langsung dari browser. Tidak perlu aplikasi SSH.
Saat Anda menjalankan model open-weight sendiri, prompt dan dokumen Anda masuk ke server yang Anda sewa, bukan ke API pihak ketiga. Pertanyaan yang menentukan segalanya adalah apakah model muat di memori GPU. Halaman ini memberi Anda hitungannya dan server yang cocok, dengan harga nyata.
Aturan praktis: bobot = parameter × byte per bobot, ditambah sekitar 20% untuk memori kerja. Kebutuhan sebenarnya bervariasi menurut panjang konteks, ukuran batch, dan perangkat lunak.
| Model dan presisi | Perkiraan memori | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B parameter, 16-bit | ~20 GB | muat | muat | muat | muat |
| 8B parameter, 8-bit | ~10 GB | muat | muat | muat | muat |
| 8B parameter, 4-bit | ~5 GB | muat | muat | muat | muat |
| 32B parameter, 16-bit | ~77 GB | no | no | muat | muat |
| 32B parameter, 8-bit | ~39 GB | no | no | muat | muat |
| 32B parameter, 4-bit | ~20 GB | muat | muat | muat | muat |
| 70B parameter, 16-bit | ~168 GB | no | no | no | no |
| 70B parameter, 8-bit | ~84 GB | no | no | no | muat |
| 70B parameter, 4-bit | ~42 GB | no | no | muat | muat |
| 120B parameter, 16-bit | ~288 GB | no | no | no | no |
| 120B parameter, 8-bit | ~144 GB | no | no | no | muat |
| 120B parameter, 4-bit | ~72 GB | no | no | muat | muat |
Ini perkiraan untuk perencanaan, bukan benchmark. Model yang baru pas menyisakan sedikit ruang untuk prompt panjang, jadi sisakan margin. Model terkuantisasi kehilangan sebagian kualitas; ujilah milik Anda.
Harga berubah sesuai lokasi yang Anda pilih. Masa yang lebih panjang mendapat diskon hingga 50%.
or $54.63/mo on a 12-month term (−50%)
Muat untuk model kecil dan menengah, dan 32B pada 4-bit.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Lebih lega untuk konteks dan model terkuantisasi yang lebih besar.
Configure and orderor $375.25/mo on a 12-month term (−50%)
Model 70B pada 4-bit, atau 8-bit untuk ukuran menengah.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Model yang sangat besar dan model ukuran menengah pada 16-bit.
Configure and orderApa pun pilihan Anda, jangan ekspos API model ke internet tanpa autentikasi. Panduan kami ada di menjalankan LLM di server GPU.
Prompt Anda tetap berada di server yang Anda sewa dan tidak ada orang lain yang berbagi GPU. Prompt tidak dikirim ke vendor model. Server tetap di-host oleh kami, kami tidak memantau atau mencatat apa yang ada di dalam server Anda, dan aturan dalam ketentuan kami berlaku untuk semua yang Anda jalankan, termasuk apa yang Anda hasilkan dan publikasikan. Anda bertanggung jawab mematuhi lisensi model yang Anda unduh.
Ya, jika Anda mematuhi lisensi model. Pilih server yang memori GPU-nya memuat model dengan sedikit margin, pasang alat serving seperti Ollama atau vLLM, dan amankan API.
Kira-kira 35 GB bobot pada 4-bit, 70 GB pada 8-bit, dan 140 GB pada 16-bit, ditambah sekitar 20% untuk memori kerja. Menurut perkiraan itu, model 70B 4-bit membutuhkan H100 80 GB, bukan kartu 24 atau 32 GB.
Server RTX 4090 memuatnya pada presisi apa pun di tabel, dan yang termurah adalah $109.25 sebulan. Model yang lebih besar membutuhkan lebih banyak memori.
Tidak. Artinya Anda memilih dan menjalankan model di server Anda sendiri. Apa yang Anda hasilkan dan publikasikan tetap tercakup oleh hukum dan ketentuan kami.
Tidak. Buat login dan bayar dengan kripto. Lihat server GPU tanpa KYC.
Bulanan dari saldo prabayar Anda, dengan diskon hingga 50% untuk jangka lebih panjang. Lihat harga.
Pilih GPU, bayar dengan kripto, login sebagai root. Tanpa ID, tanpa kartu.
