자체 호스팅 AI에서 질문은 거의 "어떤 카드가 가장 빠른가"가 아닙니다. "내가 실행하려는 모델에 맞는 카드는 무엇이며, 납득할 수 있는 시간당 비용인가"입니다. 메모리가 들어가는 모델을 결정하고, 대역폭이 토큰 생성 속도를 결정하며, 가격이 프로젝트의 타당성을 결정합니다.
메모리가 먼저입니다
모델이 비디오 메모리에 들어가지 않으면 속도는 의미가 없습니다. 대략적인 기준은 모델에 파라미터 수 곱하기 가중치당 바이트 수에 컨텍스트 캐시 공간을 더한 만큼이 필요하다는 것입니다.
- 4비트 7B~8B 모델에는 대략 5~6 GB가 필요합니다.
- 4비트 13B~14B 모델에는 약 9~10 GB가 필요합니다.
- 4비트 32B 모델에는 약 20~22 GB가 필요하며, 짧은 컨텍스트라면 24 GB 카드에 들어갑니다.
- 4비트 70B 모델에는 약 40 GB 이상이 필요하므로 48 GB 또는 80 GB 카드나 더 작은 카드 여러 장이 필요합니다.
긴 컨텍스트는 캐시를 빠르게 키우므로 여유를 두세요.
대역폭이 토큰 속도를 결정합니다
단일 사용자의 경우 토큰 하나를 생성할 때마다 모델 가중치를 한 번 읽어야 합니다. 그래서 메모리 대역폭이 한계가 됩니다. HBM 메모리를 쓰는 데이터센터 카드는 소비자용 GDDR 카드보다 대역폭이 몇 배 높으며, H100이 같은 모델에서 토큰을 더 빠르게 생성하는 이유입니다.
소비자용 카드가 유리한 경우
- 4비트 기준 약 30B까지의 모델.
- Stable Diffusion, Flux 같은 이미지 생성.
- 개발, 테스트, 소규모 개인 사용.
- 비용: 시간당 가격이 데이터센터 카드의 일부에 불과합니다.
데이터센터 카드가 유리한 경우
- 과도한 압축 없이 쓰는 70B급 모델.
- 동시 사용자가 많아 배치 처리가 추가 연산 성능을 잘 활용하는 경우.
- 더 큰 모델을 위한 여러 GPU 간 고속 연결.
- 긴 컨텍스트와 고정밀 워크로드.
시간당이 아니라 작업당 비용을 계산하세요
실제로 실행할 모델로 초당 토큰 수를 직접 측정하세요. 그런 다음 시간당 가격을 시간당 토큰 수로 나누세요. 느린 저가 카드는 빠른 고가 카드보다 100만 토큰당 비용이 더 높을 수 있고, 저가 카드가 계속 바쁘게 쓰이지 않는다면 그 반대가 되기도 합니다. 유휴 시간이 숨은 비용이므로 사용하지 않을 때는 서버를 종료하세요.
간단한 선택 방법
- 원하는 모델과 양자화 방식을 고르세요.
- 컨텍스트 여유까지 포함해 들어가는지 확인하세요.
- 들어가는 가장 저렴한 카드를 빌려 한 시간 동안 벤치마크하세요.
- 속도나 동시 처리 성능이 목표에 미치지 못할 때만 상위 카드로 옮기세요.
시도해 볼 준비가 되셨나요? Ollama와 Open WebUI 실행하기 또는 Stable Diffusion 설정하기를 참고하세요. 가격과 카드는 바뀌므로 현재 옵션은 GPU 서버 페이지에서 확인하세요.