في الذكاء الاصطناعي المستضاف ذاتياً، نادراً ما يكون السؤال "أي بطاقة هي الأسرع". السؤال هو "أي بطاقة تناسب النموذج الذي أريد تشغيله، بتكلفة في الساعة يمكنني تبريرها". الذاكرة تحدد ما يتسع، وعرض النطاق يحدد سرعة خروج الرموز، والسعر يحدد ما إذا كان المشروع مجدياً أصلاً.
الذاكرة أولاً
إذا لم يتسع النموذج في ذاكرة الفيديو فالسرعة غير مهمة. قاعدة تقريبية: يحتاج النموذج إلى عدد معاملاته مضروباً في البايتات لكل وزن، إضافةً إلى مساحة لذاكرة السياق المؤقتة.
- يحتاج نموذج 7B إلى 8B بدقة 4-bit إلى نحو 5 إلى 6 GB.
- يحتاج نموذج 13B إلى 14B بدقة 4-bit إلى نحو 9 إلى 10 GB.
- يحتاج نموذج 32B بدقة 4-bit إلى نحو 20 إلى 22 GB، وهو يتسع على بطاقة 24 GB مع سياق قصير.
- يحتاج نموذج 70B بدقة 4-bit إلى نحو 40 GB أو أكثر، لذلك يلزمه بطاقة 48 GB أو 80 GB أو عدة بطاقات أصغر.
السياقات الطويلة تضخّم الذاكرة المؤقتة بسرعة، لذا اترك هامشاً.
عرض النطاق يحدد سرعة الرموز
بالنسبة إلى مستخدم واحد، يعني توليد كل رمز قراءة أوزان النموذج مرة واحدة. وهذا يجعل عرض نطاق الذاكرة هو الحد. تمتلك بطاقات مراكز البيانات ذات ذاكرة HBM عرض نطاق يعادل عدة أضعاف بطاقات GDDR الاستهلاكية، ولهذا ينتج H100 رموزاً أسرع على النموذج نفسه.
أين تتفوق البطاقة الاستهلاكية
- النماذج حتى نحو 30B بدقة 4-bit.
- توليد الصور مثل Stable Diffusion وFlux.
- التطوير والاختبار والاستخدام الخاص محدود الحجم.
- التكلفة: السعر بالساعة جزء بسيط من سعر بطاقة مركز البيانات.
أين تتفوق بطاقة مركز البيانات
- نماذج فئة 70B دون ضغط كبير.
- مستخدمون كثيرون في آن واحد، حيث تستفيد المعالجة الدفعية من القدرة الحسابية الإضافية جيداً.
- روابط سريعة بين عدة وحدات GPU للنماذج الأكبر.
- السياق الطويل وأحمال العمل عالية الدقة.
احسب التكلفة لكل مهمة لا لكل ساعة
قِس عدد الرموز في الثانية بالنموذج الذي ستشغّله فعلاً. ثم اقسم السعر بالساعة على عدد الرموز في الساعة. قد تكلّف بطاقة رخيصة وبطيئة لكل مليون رمز أكثر من بطاقة غالية وسريعة، والعكس صحيح عندما لا تُشغَّل البطاقة الرخيصة باستمرار. وقت الخمول هو التكلفة الخفية، لذا أوقف الخوادم عندما لا تستخدمها.
طريقة بسيطة للاختيار
- اختر النموذج ودرجة التكميم التي تريدها.
- تحقق من أنه يتسع مع بقاء مساحة للسياق.
- استأجر أرخص بطاقة تتسع له واختبر أداءها لمدة ساعة.
- لا تنتقل إلى بطاقة أعلى إلا إذا أخفقت السرعة أو التزامن في بلوغ هدفك.
جاهز للتجربة؟ شغّل Ollama وOpen WebUI أو أعدّ Stable Diffusion. الأسعار والبطاقات تتغير، لذا تأكد من الخيارات الحالية في صفحة خوادم GPU.