자체 하드웨어에서 대규모 언어 모델을 실행하면 프롬프트와 데이터를 직접 통제할 수 있고 토큰당 요금도 피할 수 있습니다. 이 가이드는 필요한 GPU 메모리 용량과, 임대한 GPU 서버에서 모델을 실행하는 방법을 설명합니다.
중요한 숫자: VRAM
모델은 그래픽 카드의 메모리(VRAM)에 들어가야 합니다. 대략적인 규칙은 파라미터 수(십억 단위)에 가중치당 바이트 수를 곱한 값에 컨텍스트 캐시용으로 20~30퍼센트를 더하는 것입니다.
| 모델 크기 | 4비트 양자화 | 16비트 원본 | 적합한 GPU |
|---|---|---|---|
| 7~8B | 약 5 GB | 약 16 GB | RTX 4090 (24 GB) |
| 13~14B | 약 9 GB | 약 28 GB | RTX 4090 양자화, RTX 5090 (32 GB) |
| 30~34B | 약 20 GB | 약 68 GB | RTX 4090 또는 5090 양자화, H100 |
| 70B | 약 40 GB | 약 140 GB | H100 80 GB 양자화, 16비트는 H100 2대 |
양자화는 가중치를 더 적은 비트로 저장해 품질 손실은 작게 하면서 메모리를 크게 줄입니다. 대부분의 사용자가 일반 소비자용 카드에서 큰 모델을 실행하는 방법입니다.
옵션 1: Ollama (가장 간단)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama는 다운로드, 양자화, 포트 11434의 로컬 API를 처리합니다. 이 포트는 비공개로 유지하거나 앞에 인증을 두세요.
옵션 2: vLLM (최고 처리량)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM은 OpenAI 호환 API를 제공하고 많은 요청을 일괄 처리하므로, 여러 사용자나 애플리케이션이 GPU 하나를 공유할 때 더 나은 선택입니다. 일부 모델은 먼저 모델 페이지에서 라이선스에 동의해야 합니다.
GPU가 사용되는지 확인
nvidia-smi
watch -n 1 nvidia-smi모델을 불러올 때 메모리 사용량이 급증하고 생성 중에는 사용률이 올라가야 합니다. 둘 다 0에 머문다면 모델이 CPU에서 실행되고 있는 것입니다.
임대한 GPU에서 사람들이 실행하는 다른 작업
- 이미지 생성 (Stable Diffusion, ComfyUI).
- LoRA로 소형 모델 파인튜닝.
- 영상 및 3D 렌더링, 영상 트랜스코딩.
- Whisper를 이용한 음성 인식.
비용 감각
일주일에 몇 시간만 GPU가 필요하다면 월 단위로 임대하는 것이 API보다 비쌀 수 있습니다. 하루 종일 추론을 실행하거나 프라이버시가 필요하다면 전용 GPU 서버가 대개 유리합니다. 결정하기 전에 월간 토큰 사용량을 계산해 보세요.