हमारे पास एक नया अपडेट है। अब हम अपना खुद का वेब कंसोल दे रहे हैं। कंसोल खोलें और ssh root@your-server-ip टाइप करें, और अपने किसी भी सर्वर तक सीधे ब्राउज़र से पहुँचें। SSH ऐप की ज़रूरत नहीं।
जब आप ओपन-वेट मॉडल ख़ुद चलाते हैं, तो आपके प्रॉम्प्ट और दस्तावेज़ किसी थर्ड-पार्टी API पर नहीं, बल्कि आपके किराए के सर्वर पर जाते हैं। सब कुछ तय करने वाला सवाल यह है कि क्या मॉडल GPU मेमोरी में आता है। यह पेज आपको गणित और मेल खाता सर्वर असली क़ीमतों के साथ देता है।
मोटा नियम: वेट्स = पैरामीटर × प्रति वेट बाइट, साथ में वर्किंग मेमोरी के लिए लगभग 20%। असली ज़रूरत कॉन्टेक्स्ट लंबाई, बैच साइज़ और सॉफ़्टवेयर के अनुसार बदलती है।
| मॉडल और प्रेसिज़न | अनुमानित मेमोरी | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B पैरामीटर, 16-बिट | ~20 GB | आता है | आता है | आता है | आता है |
| 8B पैरामीटर, 8-बिट | ~10 GB | आता है | आता है | आता है | आता है |
| 8B पैरामीटर, 4-बिट | ~5 GB | आता है | आता है | आता है | आता है |
| 32B पैरामीटर, 16-बिट | ~77 GB | no | no | आता है | आता है |
| 32B पैरामीटर, 8-बिट | ~39 GB | no | no | आता है | आता है |
| 32B पैरामीटर, 4-बिट | ~20 GB | आता है | आता है | आता है | आता है |
| 70B पैरामीटर, 16-बिट | ~168 GB | no | no | no | no |
| 70B पैरामीटर, 8-बिट | ~84 GB | no | no | no | आता है |
| 70B पैरामीटर, 4-बिट | ~42 GB | no | no | आता है | आता है |
| 120B पैरामीटर, 16-बिट | ~288 GB | no | no | no | no |
| 120B पैरामीटर, 8-बिट | ~144 GB | no | no | no | आता है |
| 120B पैरामीटर, 4-बिट | ~72 GB | no | no | आता है | आता है |
ये योजना बनाने के अनुमान हैं, बेंचमार्क नहीं। जो मॉडल बस-बस आता है वह लंबे प्रॉम्प्ट के लिए कम जगह छोड़ता है, इसलिए गुंजाइश रखें। क्वांटाइज़्ड मॉडल कुछ गुणवत्ता खोते हैं; अपने मॉडल को टेस्ट करें।
कीमतें आपकी चुनी हुई लोकेशन के साथ बदलती हैं। लंबी अवधि पर 50% तक की छूट।
or $54.63/mo on a 12-month term (−50%)
छोटे और मध्यम आकार के मॉडल, और 4-बिट पर 32B के लिए उपयुक्त।
Configure and orderor $87.88/mo on a 12-month term (−50%)
कॉन्टेक्स्ट और बड़े क्वांटाइज़्ड मॉडल के लिए अधिक गुंजाइश।
Configure and orderor $375.25/mo on a 12-month term (−50%)
4-बिट पर 70B मॉडल, या मध्यम आकार के लिए 8-बिट।
Configure and orderor $707.75/mo on a 12-month term (−50%)
बहुत बड़े मॉडल और 16-बिट पर मध्यम आकार के मॉडल।
Configure and orderजो भी चुनें, बिना ऑथेंटिकेशन के मॉडल API को इंटरनेट पर न खोलें। हमारी वॉकथ्रू GPU सर्वर पर LLM चलाएँ में है।
आपके प्रॉम्प्ट आपके किराए के सर्वर पर रहते हैं और GPU कोई और साझा नहीं करता। वे किसी मॉडल वेंडर को नहीं भेजे जाते। सर्वर अब भी हमारे द्वारा होस्ट किया जाता है, हम आपके सर्वर के अंदर की निगरानी या लॉगिंग नहीं करते, और हमारी शर्तों के नियम आपके चलाए हर चीज़ पर लागू होते हैं, जिसमें आपके बनाए और प्रकाशित किए गए कंटेंट भी शामिल हैं। डाउनलोड किए मॉडल के लाइसेंस का पालन करना आपकी ज़िम्मेदारी है।
हाँ, अगर आप मॉडल के लाइसेंस का पालन करें। ऐसा सर्वर चुनें जिसकी GPU मेमोरी में मॉडल कुछ गुंजाइश के साथ आए, Ollama या vLLM जैसा सर्विंग टूल इंस्टॉल करें और API को सुरक्षित करें।
मोटे तौर पर 4-बिट पर 35 GB वेट्स, 8-बिट पर 70 GB और 16-बिट पर 140 GB, साथ में वर्किंग मेमोरी के लिए लगभग 20%। इस अनुमान से 4-बिट 70B मॉडल को 80 GB का H100 चाहिए, 24 या 32 GB का कार्ड नहीं।
RTX 4090 सर्वर उन्हें तालिका की किसी भी प्रेसिज़न पर समा लेता है, और सबसे सस्ता $109.25 प्रति माह है। बड़े मॉडल को अधिक मेमोरी चाहिए।
नहीं। इसका मतलब है कि आप अपने सर्वर पर मॉडल चुनते और चलाते हैं। आप जो बनाते और प्रकाशित करते हैं वह अब भी क़ानून और हमारी शर्तों के दायरे में है।
नहीं। लॉगिन जनरेट करें और क्रिप्टो से भुगतान करें। देखें बिना KYC GPU सर्वर।
आपके प्रीपेड बैलेंस से मासिक, लंबी अवधि पर 50% तक की छूट के साथ। देखें क़ीमतें।
GPU चुनें, क्रिप्टो से भुगतान करें, root के रूप में लॉग इन करें। न ID, न कार्ड।
