Menjalankan large language model di perangkat keras sendiri menjaga prompt dan data Anda tetap di bawah kendali Anda dan menghindari biaya per token. Panduan ini menjelaskan berapa memori GPU yang Anda butuhkan dan cara menjalankan model di server GPU sewaan.
Angka yang penting: VRAM
Model harus muat di memori kartu grafis (VRAM). Aturan kasarnya: parameter dalam miliar dikali byte per bobot, ditambah 20 hingga 30 persen untuk cache konteks.
| Ukuran model | Terkuantisasi 4-bit | 16-bit penuh | GPU yang muat |
|---|---|---|---|
| 7 hingga 8B | sekitar 5 GB | sekitar 16 GB | RTX 4090 (24 GB) |
| 13 hingga 14B | sekitar 9 GB | sekitar 28 GB | RTX 4090 terkuantisasi, RTX 5090 (32 GB) |
| 30 hingga 34B | sekitar 20 GB | sekitar 68 GB | RTX 4090 atau 5090 terkuantisasi, H100 |
| 70B | sekitar 40 GB | sekitar 140 GB | H100 80 GB terkuantisasi; 2× H100 untuk 16-bit |
Kuantisasi menyimpan bobot dalam jumlah bit yang lebih sedikit, sehingga memori turun tajam dengan sedikit penurunan kualitas. Inilah cara kebanyakan orang menjalankan model besar di kartu konsumen.
Opsi 1: Ollama (paling sederhana)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama menangani unduhan, kuantisasi, dan API lokal di port 11434. Jaga port itu tetap privat, atau pasang autentikasi di depannya.
Opsi 2: vLLM (throughput terbaik)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM menyajikan API yang kompatibel dengan OpenAI dan mengelompokkan banyak permintaan, sehingga menjadi pilihan lebih baik saat beberapa pengguna atau aplikasi berbagi satu GPU. Beberapa model mengharuskan Anda menyetujui lisensi di halaman model terlebih dahulu.
Pastikan GPU digunakan
nvidia-smi
watch -n 1 nvidia-smiPenggunaan memori seharusnya melonjak saat model dimuat, dan utilisasi seharusnya naik saat generasi berlangsung. Jika keduanya tetap nol, model berjalan di CPU.
Hal lain yang dijalankan orang di GPU sewaan
- Pembuatan gambar (Stable Diffusion, ComfyUI).
- Fine-tuning model kecil dengan LoRA.
- Rendering video dan 3D, serta transcoding video.
- Speech-to-text dengan Whisper.
Perhitungan biaya
Jika Anda butuh GPU hanya beberapa jam seminggu, menyewa bulanan mungkin tetap lebih mahal daripada API. Jika Anda menjalankan inferensi sepanjang hari atau butuh privasi, server GPU khusus biasanya lebih unggul. Hitung jumlah token bulanan Anda sebelum memutuskan.