अपने हार्डवेयर पर बड़ा लैंग्वेज मॉडल चलाने से आपके प्रॉम्प्ट और डेटा आपके नियंत्रण में रहते हैं और प्रति-टोकन शुल्क से बचाव होता है। यह गाइड बताती है कि आपको कितनी GPU मेमोरी चाहिए और किराए के GPU सर्वर पर मॉडल कैसे चलाएँ।
ज़रूरी संख्या: VRAM
मॉडल को ग्राफ़िक्स कार्ड की मेमोरी (VRAM) में समाना चाहिए। मोटा नियम: अरबों में पैरामीटर गुणा प्रति वेट बाइट, साथ में कॉन्टेक्स्ट कैश के लिए 20 से 30 प्रतिशत और।
| मॉडल का आकार | 4-बिट क्वांटाइज़्ड | 16-बिट पूर्ण | उसमें समाने वाला GPU |
|---|---|---|---|
| 7 से 8B | लगभग 5 GB | लगभग 16 GB | RTX 4090 (24 GB) |
| 13 से 14B | लगभग 9 GB | लगभग 28 GB | RTX 4090 क्वांटाइज़्ड, RTX 5090 (32 GB) |
| 30 से 34B | लगभग 20 GB | लगभग 68 GB | RTX 4090 या 5090 क्वांटाइज़्ड, H100 |
| 70B | लगभग 40 GB | लगभग 140 GB | H100 80 GB क्वांटाइज़्ड; 16-बिट के लिए 2× H100 |
क्वांटाइज़ेशन वेट को कम बिट में स्टोर करता है, जिससे गुणवत्ता में थोड़ी कमी के साथ मेमोरी काफ़ी घट जाती है। अधिकतर लोग इसी तरह कंज़्यूमर कार्ड पर बड़े मॉडल चलाते हैं।
विकल्प 1: Ollama (सबसे आसान)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama डाउनलोड, क्वांटाइज़ेशन और पोर्ट 11434 पर लोकल API संभालता है। उस पोर्ट को निजी रखें, या उसके आगे ऑथेंटिकेशन लगाएँ।
विकल्प 2: vLLM (सबसे अच्छा थ्रूपुट)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM OpenAI-संगत API देता है और कई रिक्वेस्ट को बैच करता है, इसलिए जब कई यूज़र या ऐप्लिकेशन एक GPU साझा करते हों तो यह बेहतर विकल्प है। कुछ मॉडल के लिए पहले मॉडल के पेज पर लाइसेंस स्वीकार करना पड़ता है।
जाँचें कि GPU इस्तेमाल हो रहा है
nvidia-smi
watch -n 1 nvidia-smiमॉडल लोड होते समय मेमोरी उपयोग अचानक बढ़ना चाहिए, और जनरेशन के दौरान यूटिलाइज़ेशन बढ़ना चाहिए। अगर दोनों शून्य रहें, तो मॉडल CPU पर चल रहा है।
किराए के GPU पर लोग और क्या चलाते हैं
- इमेज जनरेशन (Stable Diffusion, ComfyUI)।
- LoRA से छोटे मॉडल की फ़ाइन-ट्यूनिंग।
- वीडियो और 3D रेंडरिंग, और वीडियो ट्रांसकोडिंग।
- Whisper से स्पीच-टू-टेक्स्ट।
लागत का अंदाज़ा
अगर आपको हफ़्ते में कुछ घंटे ही GPU चाहिए, तो महीने के हिसाब से किराए पर लेना API से महँगा पड़ सकता है। अगर आप पूरे दिन इन्फ़रेंस चलाते हैं या आपको प्राइवेसी चाहिए, तो डेडिकेटेड GPU सर्वर आमतौर पर जीतता है। फ़ैसला करने से पहले अपनी मासिक टोकन संख्या निकालें।