Với AI tự lưu trữ, câu hỏi hiếm khi là "card nào nhanh nhất". Câu hỏi là "card nào chứa vừa mô hình tôi muốn chạy, với chi phí mỗi giờ mà tôi chấp nhận được". Bộ nhớ quyết định cái gì chứa vừa, băng thông quyết định token ra nhanh đến đâu, còn giá quyết định dự án có đáng làm hay không.
Bộ nhớ đến trước
Nếu mô hình không vừa bộ nhớ video thì tốc độ không còn ý nghĩa. Quy tắc gần đúng: một mô hình cần khoảng số tham số nhân với số byte mỗi trọng số, cộng thêm chỗ cho bộ đệm ngữ cảnh.
- Mô hình 7B đến 8B ở 4-bit cần khoảng 5 đến 6 GB.
- Mô hình 13B đến 14B ở 4-bit cần khoảng 9 đến 10 GB.
- Mô hình 32B ở 4-bit cần khoảng 20 đến 22 GB, vừa với card 24 GB nếu ngữ cảnh ngắn.
- Mô hình 70B ở 4-bit cần khoảng 40 GB trở lên, nên cần card 48 GB hoặc 80 GB hoặc nhiều card nhỏ hơn.
Ngữ cảnh dài làm bộ đệm tăng nhanh, vì vậy hãy chừa dư địa.
Băng thông quyết định tốc độ token
Với một người dùng, mỗi token được tạo ra đòi hỏi đọc trọng số mô hình một lần. Điều đó khiến băng thông bộ nhớ trở thành giới hạn. Các card trung tâm dữ liệu dùng bộ nhớ HBM có băng thông gấp vài lần card GDDR dành cho người dùng phổ thông, đó là lý do H100 tạo token nhanh hơn trên cùng một mô hình.
Khi card phổ thông thắng thế
- Các mô hình đến khoảng 30B ở 4-bit.
- Tạo ảnh, chẳng hạn Stable Diffusion và Flux.
- Phát triển, kiểm thử và sử dụng riêng với khối lượng thấp.
- Chi phí: giá theo giờ chỉ bằng một phần nhỏ so với card trung tâm dữ liệu.
Khi card trung tâm dữ liệu thắng thế
- Các mô hình cỡ 70B mà không nén nhiều.
- Nhiều người dùng cùng lúc, khi xử lý theo lô tận dụng tốt sức tính toán dư.
- Liên kết nhanh giữa nhiều GPU cho các mô hình lớn hơn.
- Ngữ cảnh dài và tác vụ đòi hỏi độ chính xác cao.
Tính chi phí theo từng công việc, không theo giờ
Hãy đo số token mỗi giây của chính bạn với mô hình bạn sẽ thực sự chạy. Sau đó chia giá theo giờ cho số token mỗi giờ. Một card rẻ nhưng chậm có thể tốn hơn mỗi triệu token so với một card đắt nhưng nhanh, và ngược lại khi card rẻ không được dùng hết công suất. Thời gian nhàn rỗi là chi phí ẩn, vì vậy hãy tắt máy chủ khi không dùng.
Cách chọn đơn giản
- Chọn mô hình và mức lượng tử hóa bạn muốn.
- Kiểm tra xem nó có vừa với ngữ cảnh còn dư không.
- Thuê card rẻ nhất vừa đủ và chạy thử hiệu năng trong một giờ.
- Chỉ nâng cấp nếu tốc độ hoặc khả năng xử lý đồng thời không đạt mục tiêu.
Sẵn sàng thử? Chạy Ollama và Open WebUI hoặc cài đặt Stable Diffusion. Giá và card thay đổi, vì vậy hãy xác nhận các lựa chọn hiện tại trên trang máy chủ GPU.