सेल्फ़-होस्टेड AI के लिए सवाल शायद ही कभी यह होता है कि "कौन सा कार्ड सबसे तेज़ है"। सवाल यह है कि "कौन सा कार्ड मेरे चलाए जाने वाले मॉडल में फ़िट होता है, और प्रति घंटे ऐसी लागत पर जिसे मैं सही ठहरा सकूँ"। मेमोरी तय करती है कि क्या फ़िट होगा, बैंडविड्थ तय करती है कि टोकन कितनी तेज़ी से निकलेंगे, और कीमत तय करती है कि प्रोजेक्ट का कोई मतलब बनता भी है या नहीं।
सबसे पहले मेमोरी
अगर मॉडल वीडियो मेमोरी में फ़िट नहीं होता तो गति का कोई महत्व नहीं। मोटा नियम: मॉडल को लगभग उसके पैरामीटर की संख्या गुणा प्रति वज़न बाइट चाहिए, साथ ही कॉन्टेक्स्ट कैश के लिए जगह।
- 4-बिट में 7B से 8B का मॉडल लगभग 5 से 6 GB लेता है।
- 4-बिट में 13B से 14B का मॉडल लगभग 9 से 10 GB लेता है।
- 4-बिट में 32B का मॉडल लगभग 20 से 22 GB लेता है, जो छोटे कॉन्टेक्स्ट के साथ 24 GB कार्ड पर फ़िट हो जाता है।
- 4-बिट में 70B का मॉडल लगभग 40 GB या अधिक लेता है, इसलिए उसे 48 GB या 80 GB का कार्ड या कई छोटे कार्ड चाहिए।
लंबे कॉन्टेक्स्ट में कैश तेज़ी से बढ़ता है, इसलिए अतिरिक्त जगह छोड़ें।
बैंडविड्थ टोकन की गति तय करती है
एक उपयोगकर्ता के लिए, हर टोकन बनाने का अर्थ है मॉडल के वज़न को एक बार पढ़ना। इसलिए मेमोरी बैंडविड्थ ही सीमा बन जाती है। HBM मेमोरी वाले डेटासेंटर कार्ड में कंज़्यूमर GDDR कार्ड से कई गुना अधिक बैंडविड्थ होती है, इसी कारण H100 उसी मॉडल पर टोकन अधिक तेज़ी से बनाता है।
जहाँ कंज़्यूमर कार्ड जीतता है
- 4-बिट में लगभग 30B तक के मॉडल।
- Stable Diffusion और Flux जैसी इमेज जनरेशन।
- डेवलपमेंट, परीक्षण और कम मात्रा का निजी उपयोग।
- लागत: प्रति घंटे की कीमत डेटासेंटर कार्ड का एक छोटा हिस्सा है।
जहाँ डेटासेंटर कार्ड जीतता है
- बिना भारी कंप्रेशन के 70B श्रेणी के मॉडल।
- एक साथ कई उपयोगकर्ता, जहाँ बैचिंग अतिरिक्त कंप्यूट का अच्छा उपयोग करती है।
- बड़े मॉडलों के लिए कई GPU के बीच तेज़ लिंक।
- लंबा कॉन्टेक्स्ट और उच्च-सटीकता वाले वर्कलोड।
लागत प्रति घंटे नहीं, प्रति काम निकालें
जो मॉडल आप सच में चलाएँगे उसी के साथ अपने प्रति सेकंड टोकन मापें। फिर प्रति घंटे की कीमत को प्रति घंटे के टोकन से भाग दें। धीमा सस्ता कार्ड प्रति दस लाख टोकन महँगे तेज़ कार्ड से अधिक पड़ सकता है, और जब सस्ता कार्ड व्यस्त नहीं रखा जाता तो इसका उलटा भी हो सकता है। खाली समय छिपी हुई लागत है, इसलिए उपयोग न होने पर सर्वर बंद कर दें।
चुनने का एक आसान तरीका
- वह मॉडल और क्वांटाइज़ेशन चुनें जो आप चाहते हैं।
- जाँचें कि वह कॉन्टेक्स्ट के लिए जगह बचाकर फ़िट होता है।
- सबसे सस्ता कार्ड किराए पर लें जिसमें वह फ़िट हो और एक घंटे बेंचमार्क करें।
- केवल तब ऊपर जाएँ जब गति या एक साथ उपयोगकर्ता आपके लक्ष्य पर खरे न उतरें।
आज़माने के लिए तैयार हैं? Ollama और Open WebUI चलाएँ या Stable Diffusion सेट अप करें। कीमतें और कार्ड बदलते रहते हैं, इसलिए मौजूदा विकल्प GPU सर्वर पेज पर देखें।