Chạy mô hình ngôn ngữ lớn trên phần cứng của riêng bạn giúp bạn kiểm soát lời nhắc và dữ liệu, đồng thời tránh phí theo token. Hướng dẫn này giải thích bạn cần bao nhiêu bộ nhớ GPU và cách chạy một mô hình trên máy chủ GPU thuê.
Con số quan trọng: VRAM
Mô hình phải vừa với bộ nhớ của card đồ họa (VRAM). Quy tắc gần đúng: số tham số tính theo tỷ nhân với số byte mỗi trọng số, cộng thêm 20 đến 30 phần trăm cho bộ nhớ đệm ngữ cảnh.
| Kích thước mô hình | Lượng tử hóa 4 bit | 16 bit đầy đủ | GPU phù hợp |
|---|---|---|---|
| 7 đến 8B | khoảng 5 GB | khoảng 16 GB | RTX 4090 (24 GB) |
| 13 đến 14B | khoảng 9 GB | khoảng 28 GB | RTX 4090 lượng tử hóa, RTX 5090 (32 GB) |
| 30 đến 34B | khoảng 20 GB | khoảng 68 GB | RTX 4090 hoặc 5090 lượng tử hóa, H100 |
| 70B | khoảng 40 GB | khoảng 140 GB | H100 80 GB lượng tử hóa; 2× H100 cho 16 bit |
Lượng tử hóa lưu trọng số bằng ít bit hơn, giúp giảm mạnh bộ nhớ với mức giảm chất lượng nhỏ. Đây là cách hầu hết mọi người chạy các mô hình lớn trên card phổ thông.
Lựa chọn 1: Ollama (đơn giản nhất)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama lo việc tải xuống, lượng tử hóa và một API cục bộ trên cổng 11434. Hãy giữ cổng này ở chế độ riêng tư, hoặc đặt xác thực phía trước.
Lựa chọn 2: vLLM (thông lượng tốt nhất)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM cung cấp API tương thích OpenAI và gom nhiều yêu cầu thành lô, nên là lựa chọn tốt hơn khi nhiều người dùng hoặc ứng dụng dùng chung một GPU. Một số mô hình yêu cầu bạn chấp nhận giấy phép trên trang của mô hình trước.
Kiểm tra GPU có được sử dụng
nvidia-smi
watch -n 1 nvidia-smiMức dùng bộ nhớ sẽ tăng vọt khi mô hình được nạp, và mức sử dụng sẽ tăng khi sinh nội dung. Nếu cả hai vẫn bằng không, mô hình đang chạy trên CPU.
Những việc khác người ta chạy trên GPU thuê
- Tạo ảnh (Stable Diffusion, ComfyUI).
- Tinh chỉnh các mô hình nhỏ bằng LoRA.
- Kết xuất video và 3D, cùng chuyển mã video.
- Chuyển giọng nói thành văn bản với Whisper.
Ý thức về chi phí
Nếu bạn chỉ cần GPU vài giờ mỗi tuần, thuê theo tháng có thể vẫn tốn hơn dùng API. Nếu bạn chạy suy luận cả ngày hoặc cần quyền riêng tư, máy chủ GPU chuyên dụng thường có lợi hơn. Hãy tính số token hằng tháng của bạn trước khi quyết định.