برای هوش مصنوعی خودمیزبان، پرسش معمولاً این نیست که «کدام کارت سریع‌تر است». پرسش این است که «کدام کارت با مدلی که می‌خواهم اجرا کنم جور است، با هزینه ساعتی‌ای که بتوانم توجیهش کنم». حافظه تعیین می‌کند چه چیزی جا می‌شود، پهنای باند تعیین می‌کند توکن‌ها با چه سرعتی تولید شوند، و قیمت تعیین می‌کند اصلاً پروژه به صرفه است یا نه.
اول حافظه
اگر مدلی در حافظه تصویری جا نشود، سرعت بی‌اهمیت است. یک قاعده تقریبی: مدل تقریباً به اندازه تعداد پارامترهایش ضرب در بایت هر وزن، به‌علاوه فضایی برای کش زمینه نیاز دارد.
- یک مدل 7B تا 8B با 4 بیت تقریباً 5 تا 6 GB نیاز دارد.
- یک مدل 13B تا 14B با 4 بیت حدود 9 تا 10 GB نیاز دارد.
- یک مدل 32B با 4 بیت حدود 20 تا 22 GB نیاز دارد و با زمینه کوتاه روی کارت 24 GB جا می‌شود.
- یک مدل 70B با 4 بیت حدود 40 GB یا بیشتر نیاز دارد، پس به کارت 48 GB یا 80 GB یا چند کارت کوچک‌تر نیاز دارد.
زمینه‌های طولانی کش را سریع بزرگ می‌کنند، پس فضای اضافه بگذارید.
پهنای باند سرعت توکن را تعیین می‌کند
برای یک کاربر، تولید هر توکن یعنی یک بار خواندن وزن‌های مدل. این یعنی پهنای باند حافظه سقف سرعت است. کارت‌های دیتاسنتری با حافظه HBM چند برابر پهنای باند کارت‌های GDDR مصرفی را دارند، به همین دلیل H100 روی همان مدل توکن‌ها را سریع‌تر تولید می‌کند.
کجا کارت مصرفی برنده است
- مدل‌هایی تا حدود 30B با 4 بیت.
- تولید تصویر مانند Stable Diffusion و Flux.
- توسعه، آزمایش و استفاده خصوصی با حجم کم.
- هزینه: قیمت ساعتی آن کسری از کارت دیتاسنتری است.
کجا کارت دیتاسنتری برنده است
- مدل‌های رده 70B بدون فشرده‌سازی سنگین.
- کاربران زیاد هم‌زمان، که در آن batching از توان محاسباتی اضافه خوب استفاده می‌کند.
- لینک‌های سریع بین چند GPU برای مدل‌های بزرگ‌تر.
- زمینه طولانی و بارهای کاری با دقت بالا.
هزینه را برای هر کار حساب کنید، نه برای هر ساعت
سرعت واقعی خودتان را بر حسب توکن بر ثانیه با مدلی که واقعاً اجرا می‌کنید اندازه بگیرید. سپس قیمت ساعتی را بر تعداد توکن در ساعت تقسیم کنید. کارت ارزان ولی کند ممکن است برای هر یک میلیون توکن گران‌تر از کارت گران و سریع تمام شود، و اگر کارت ارزان مدام مشغول نباشد برعکس هم می‌شود. زمان بیکاری هزینه پنهان است، پس سرورها را وقتی استفاده نمی‌شوند خاموش کنید.
یک روش ساده برای انتخاب
- مدل و کوانتیزاسیون موردنظرتان را انتخاب کنید.
- بررسی کنید که با فضای کافی برای زمینه جا می‌شود.
- ارزان‌ترین کارتی را که جا می‌شود اجاره کنید و یک ساعت محک بزنید.
- فقط اگر سرعت یا هم‌زمانی به هدفتان نرسید، سراغ کارت بالاتر بروید.
آماده امتحان هستید؟ Ollama و Open WebUI را اجرا کنید یا Stable Diffusion را راه‌اندازی کنید. قیمت‌ها و کارت‌ها تغییر می‌کنند، پس گزینه‌های فعلی را در صفحه سرور GPU تأیید کنید.