تشغيل نموذج لغوي كبير على عتادك الخاص يبقي مطالباتك وبياناتك تحت سيطرتك ويجنّبك رسوم كل رمز. يشرح هذا الدليل مقدار ذاكرة GPU التي تحتاجها وكيف تشغّل نموذجًا على خادم GPU مستأجر.
الرقم المهم: VRAM
يجب أن يتسع النموذج في ذاكرة بطاقة الرسوميات (VRAM). قاعدة تقريبية: عدد المعاملات بالمليارات مضروبًا في البايتات لكل وزن، مضافًا إليه 20 إلى 30 بالمئة لذاكرة السياق المؤقتة.
| حجم النموذج | مكمّم 4 بت | كامل 16 بت | GPU المناسب له |
|---|---|---|---|
| 7 إلى 8B | نحو 5 GB | نحو 16 GB | RTX 4090 (24 GB) |
| 13 إلى 14B | نحو 9 GB | نحو 28 GB | RTX 4090 مكمّم، RTX 5090 (32 GB) |
| 30 إلى 34B | نحو 20 GB | نحو 68 GB | RTX 4090 أو 5090 مكمّم، H100 |
| 70B | نحو 40 GB | نحو 140 GB | H100 80 GB مكمّم؛ 2× H100 لنموذج 16 بت |
يخزّن التكميم الأوزان بعدد أقل من البتات، فيقلل الذاكرة بشكل كبير مع خسارة طفيفة في الجودة. وبه يشغّل معظم الناس النماذج الكبيرة على البطاقات الاستهلاكية.
الخيار 1: Ollama (الأبسط)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bيتولى Ollama التنزيلات والتكميم وواجهة API محلية على المنفذ 11434. أبقِ هذا المنفذ خاصًا، أو ضع مصادقة أمامه.
الخيار 2: vLLM (أفضل إنتاجية)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192يقدّم vLLM واجهة API متوافقة مع OpenAI ويجمّع طلبات كثيرة معًا، ما يجعله الخيار الأفضل عندما يتشارك عدة مستخدمين أو تطبيقات GPU واحدًا. تتطلب بعض النماذج قبول ترخيص في صفحة النموذج أولًا.
تحقق من استخدام GPU
nvidia-smi
watch -n 1 nvidia-smiيجب أن يقفز استخدام الذاكرة عند تحميل النموذج، وأن يرتفع معدل الاستخدام أثناء التوليد. إذا بقي كلاهما صفرًا، فالنموذج يعمل على CPU.
أشياء أخرى يشغّلها الناس على وحدات GPU المستأجرة
- توليد الصور (Stable Diffusion وComfyUI).
- الضبط الدقيق للنماذج الصغيرة باستخدام LoRA.
- عرض الفيديو و3D، وتحويل ترميز الفيديو.
- تحويل الكلام إلى نص باستخدام Whisper.
تصور التكلفة
إذا كنت تحتاج إلى GPU لبضع ساعات أسبوعيًا، فقد يظل الاستئجار الشهري أغلى من واجهة API. وإذا كنت تشغّل الاستدلال طوال اليوم أو تحتاج إلى الخصوصية، فعادةً ما يتفوق خادم GPU مخصص. احسب عدد الرموز الشهري لديك قبل أن تقرر.