새로운 업데이트가 있습니다. 이제 자체 웹 콘솔을 제공합니다. 콘솔을 열고 ssh root@your-server-ip를 입력하면 브라우저에서 바로 보유한 모든 서버에 접속할 수 있습니다. SSH 앱이 필요 없습니다.
오픈 웨이트 모델을 직접 실행하면 프롬프트와 문서는 서드파티 API가 아니라 임대한 서버로 갑니다. 모든 것을 결정하는 질문은 모델이 GPU 메모리에 들어가는지입니다. 이 페이지는 계산과 그에 맞는 서버를 실제 가격과 함께 알려 드립니다.
경험칙: 가중치 = 파라미터 × 가중치당 바이트, 여기에 작업 메모리용으로 약 20%를 더합니다. 실제 필요량은 컨텍스트 길이, 배치 크기, 소프트웨어에 따라 다릅니다.
| 모델과 정밀도 | 예상 메모리 | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B 파라미터, 16비트 | ~20 GB | 가능 | 가능 | 가능 | 가능 |
| 8B 파라미터, 8비트 | ~10 GB | 가능 | 가능 | 가능 | 가능 |
| 8B 파라미터, 4비트 | ~5 GB | 가능 | 가능 | 가능 | 가능 |
| 32B 파라미터, 16비트 | ~77 GB | no | no | 가능 | 가능 |
| 32B 파라미터, 8비트 | ~39 GB | no | no | 가능 | 가능 |
| 32B 파라미터, 4비트 | ~20 GB | 가능 | 가능 | 가능 | 가능 |
| 70B 파라미터, 16비트 | ~168 GB | no | no | no | no |
| 70B 파라미터, 8비트 | ~84 GB | no | no | no | 가능 |
| 70B 파라미터, 4비트 | ~42 GB | no | no | 가능 | 가능 |
| 120B 파라미터, 16비트 | ~288 GB | no | no | no | no |
| 120B 파라미터, 8비트 | ~144 GB | no | no | no | 가능 |
| 120B 파라미터, 4비트 | ~72 GB | no | no | 가능 | 가능 |
이 수치는 계획용 추정치이며 벤치마크가 아닙니다. 간신히 들어가는 모델은 긴 프롬프트를 위한 여유가 거의 없으니 여유를 두세요. 양자화된 모델은 품질이 조금 떨어지므로 직접 테스트해 보세요.
가격은 선택한 위치에 따라 달라집니다. 더 긴 약정은 최대 50% 할인됩니다.
or $54.63/mo on a 12-month term (−50%)
소형·중형 모델과 4비트 32B에 적합합니다.
Configure and orderor $87.88/mo on a 12-month term (−50%)
컨텍스트와 더 큰 양자화 모델을 위한 더 많은 여유.
Configure and orderor $375.25/mo on a 12-month term (−50%)
4비트 70B 모델, 또는 중형 모델의 8비트.
Configure and orderor $707.75/mo on a 12-month term (−50%)
매우 큰 모델과 16비트 중형 모델.
Configure and order무엇을 선택하든 인증 없이 모델 API를 인터넷에 노출하지 마세요. 설명은 GPU 서버에서 LLM 실행하기에 있습니다.
프롬프트는 임대한 서버에 남고 GPU를 다른 사람과 공유하지 않습니다. 모델 업체로 전송되지 않습니다. 서버는 여전히 당사가 호스팅하며, 당사는 고객 서버 내부를 모니터링하거나 기록하지 않고, 당사 약관의 규칙은 생성하고 게시하는 것을 포함해 실행하는 모든 것에 적용됩니다. 내려받은 모델의 라이선스를 준수할 책임은 고객에게 있습니다.
네, 모델의 라이선스를 준수한다면 가능합니다. GPU 메모리가 모델을 여유 있게 담을 수 있는 서버를 고르고, Ollama나 vLLM 같은 서빙 도구를 설치한 뒤 API를 보호하세요.
대략 4비트에서 가중치 35 GB, 8비트에서 70 GB, 16비트에서 140 GB이며, 작업 메모리로 약 20%가 더 필요합니다. 이 추정에 따르면 4비트 70B 모델에는 24 GB나 32 GB 카드가 아니라 80 GB H100이 필요합니다.
RTX 4090 서버는 표의 모든 정밀도에서 이 모델들을 담을 수 있으며, 가장 저렴한 것은 월 $109.25입니다. 더 큰 모델은 더 많은 메모리가 필요합니다.
아니요. 모델을 직접 고르고 자신의 서버에서 실행한다는 뜻입니다. 생성하고 게시하는 내용은 여전히 법률과 당사 약관의 적용을 받습니다.
아니요. 로그인을 생성하고 암호화폐로 결제하세요. KYC 없는 GPU 서버를 참고하세요.
선불 잔액에서 매월 청구되며, 더 긴 기간에는 최대 50% 할인됩니다. 요금을 참고하세요.
