اجرای یک مدل زبانی بزرگ روی سخت‌افزار خودتان، پرامپت‌ها و داده‌هایتان را تحت کنترل شما نگه می‌دارد و از هزینه به‌ازای هر توکن جلوگیری می‌کند. این راهنما توضیح می‌دهد چه مقدار حافظه GPU لازم دارید و چگونه یک مدل را روی یک سرور GPU اجاره‌ای اجرا کنید.
عدد مهم: VRAM
یک مدل باید در حافظه کارت گرافیک (VRAM) جا شود. یک قاعده تقریبی: پارامترها بر حسب میلیارد ضرب در بایت به ازای هر وزن، به‌علاوه 20 تا 30 درصد برای کش زمینه.
| اندازه مدل | کوانتیزه 4 بیتی | کامل 16 بیتی | GPU مناسب |
|---|---|---|---|
| 7 تا 8B | حدود 5 GB | حدود 16 GB | RTX 4090 (24 GB) |
| 13 تا 14B | حدود 9 GB | حدود 28 GB | RTX 4090 کوانتیزه، RTX 5090 (32 GB) |
| 30 تا 34B | حدود 20 GB | حدود 68 GB | RTX 4090 یا 5090 کوانتیزه، H100 |
| 70B | حدود 40 GB | حدود 140 GB | H100 80 GB کوانتیزه؛ 2× H100 برای 16 بیتی |
کوانتیزاسیون وزن‌ها را با بیت‌های کمتری ذخیره می‌کند که حافظه را به‌شدت کاهش می‌دهد و افت کیفیت کمی دارد. بیشتر مردم با همین روش مدل‌های بزرگ را روی کارت‌های مصرفی اجرا می‌کنند.
گزینه 1: Ollama (ساده‌ترین)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama دانلودها، کوانتیزاسیون و یک API محلی روی پورت 11434 را مدیریت می‌کند. آن پورت را خصوصی نگه دارید، یا جلوی آن احراز هویت قرار دهید.
گزینه 2: vLLM (بهترین توان عملیاتی)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM یک API سازگار با OpenAI ارائه می‌دهد و درخواست‌های زیادی را دسته‌ای پردازش می‌کند، که وقتی چند کاربر یا برنامه یک GPU را به اشتراک می‌گذارند انتخاب بهتری است. برخی مدل‌ها از شما می‌خواهند ابتدا مجوز را در صفحه مدل بپذیرید.
بررسی اینکه GPU استفاده می‌شود
nvidia-smi
watch -n 1 nvidia-smiهنگام بارگذاری مدل، مصرف حافظه باید ناگهان بالا برود و در زمان تولید، میزان استفاده باید افزایش یابد. اگر هر دو صفر بمانند، مدل روی CPU اجرا می‌شود.
کارهای دیگری که مردم روی GPUهای اجاره‌ای انجام می‌دهند
- تولید تصویر (Stable Diffusion، ComfyUI).
- فاین‌تیونینگ مدل‌های کوچک با LoRA.
- رندر ویدیو و 3D، و تبدیل کدک ویدیو.
- تبدیل گفتار به متن با Whisper.
برآورد هزینه
اگر هفته‌ای فقط چند ساعت به GPU نیاز دارید، اجاره ماهانه ممکن است همچنان گران‌تر از یک API تمام شود. اگر تمام روز استنتاج اجرا می‌کنید یا به حریم خصوصی نیاز دارید، یک سرور GPU اختصاصی معمولاً برنده است. پیش از تصمیم، تعداد توکن ماهانه خود را محاسبه کنید.