یک بهروزرسانی جدید داریم. اکنون کنسول وب اختصاصی خودمان را ارائه میدهیم. کنسول را باز کنید و ssh root@your-server-ip را تایپ کنید تا مستقیم از مرورگر به هر سروری که دارید وصل شوید. نیازی به برنامه SSH نیست.
وقتی یک مدل با وزن باز را خودتان اجرا میکنید، پرامپت‌ها و اسناد شما به سروری می‌رود که اجاره کرده‌اید، نه به یک API شخص ثالث. پرسشی که همه‌چیز را تعیین می‌کند این است که آیا مدل در حافظهٔ GPU جا می‌شود. این صفحه محاسبه و سرور متناسب را همراه با قیمت‌های واقعی به شما میدهد.
یک قاعدهٔ سرانگشتی: وزن‌ها = پارامترها × بایت به‌ازای هر وزن، به‌علاوهٔ حدود 20٪ برای حافظهٔ کاری. نیاز واقعی با طول زمینه، اندازهٔ batch و نرم‌افزار فرق می‌کند.
| مدل و دقت | حافظهٔ تخمینی | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B پارامتر، 16 بیت | ~20 GB | جا می‌شود | جا می‌شود | جا می‌شود | جا می‌شود |
| 8B پارامتر، 8 بیت | ~10 GB | جا می‌شود | جا می‌شود | جا می‌شود | جا می‌شود |
| 8B پارامتر، 4 بیت | ~5 GB | جا می‌شود | جا می‌شود | جا می‌شود | جا می‌شود |
| 32B پارامتر، 16 بیت | ~77 GB | no | no | جا می‌شود | جا می‌شود |
| 32B پارامتر، 8 بیت | ~39 GB | no | no | جا می‌شود | جا می‌شود |
| 32B پارامتر، 4 بیت | ~20 GB | جا می‌شود | جا می‌شود | جا می‌شود | جا می‌شود |
| 70B پارامتر، 16 بیت | ~168 GB | no | no | no | no |
| 70B پارامتر، 8 بیت | ~84 GB | no | no | no | جا می‌شود |
| 70B پارامتر، 4 بیت | ~42 GB | no | no | جا می‌شود | جا می‌شود |
| 120B پارامتر، 16 بیت | ~288 GB | no | no | no | no |
| 120B پارامتر، 8 بیت | ~144 GB | no | no | no | جا می‌شود |
| 120B پارامتر، 4 بیت | ~72 GB | no | no | جا می‌شود | جا می‌شود |
این‌ها تخمین برای برنامه‌ریزی‌اند، نه بنچمارک. مدلی که به‌زحمت جا می‌شود فضای کمی برای پرامپت‌های بلند می‌گذارد، پس حاشیه بگذارید. مدلهای کوانتیزه‌شده مقداری کیفیت از دست می‌دهند؛ مدل خودتان را آزمایش کنید.
قیمتها با مکانی که انتخاب میکنید تغییر می‌کند. دوره‌ی طولانیتر تا ۵۰٪ تخفیف دارد.
or $54.63/mo on a 12-month term (−50%)
برای مدلهای کوچک و متوسط، و 32B در 4 بیت مناسب است.
Configure and orderor $87.88/mo on a 12-month term (−50%)
فضای بیشتر برای زمینه و مدلهای کوانتیزه‌شدهٔ بزرگتر.
Configure and orderor $375.25/mo on a 12-month term (−50%)
یک مدل 70B در 4 بیت، یا 8 بیت برای اندازهٔ متوسط.
Configure and orderor $707.75/mo on a 12-month term (−50%)
مدلهای بسیار بزرگ و مدلهای متوسط در 16 بیت.
Configure and orderهر چه انتخاب کنید، API مدل را بدون احراز هویت در معرض اینترنت قرار ندهید. راهنمای ما در اجرای LLM روی سرور GPU است.
پرامپت‌های شما روی سروری که اجاره کرده‌اید می‌مانند و هیچ‌کس دیگر GPU را با شما شریک نیست. آنها به تأمین‌کنندهٔ مدل فرستاده نمی‌شوند. سرور همچنان توسط ما میزبانی می‌شود، ما آنچه را درون سرورهای شما می‌گذرد نظارت یا ثبت نمی‌کنیم، و قوانین شرایط ما برای هر چیزی که اجرا میکنید، از جمله آنچه تولید و منتشر میکنید، اعمال می‌شود. پایبندی به مجوز مدلی که دانلود میکنید بر عهدهٔ شماست.
بله، اگر از مجوز مدل پیروی کنید. سروری انتخاب کنید که حافظهٔ GPU آن مدل را با کمی حاشیه جا دهد، یک ابزار ارائه مانند Ollama یا vLLM نصب کنید و API را امن کنید.
تقریباً 35 GB وزن در 4 بیت، 70 GB در 8 بیت و 140 GB در 16 بیت، به‌علاوهٔ حدود 20٪ برای حافظهٔ کاری. بر اساس این تخمین، یک مدل 70B در 4 بیت به یک H100 با 80 GB نیاز دارد، نه یک کارت 24 یا 32 GB.
سرور RTX 4090 آنها را در هر دقتی از جدول جا میدهد، و ارزانترین آن $109.25 در ماه است. مدلهای بزرگتر حافظهٔ بیشتری لازم دارند.
خیر. یعنی شما مدل را انتخاب میکنید و روی سرور خودتان اجرا میکنید. آنچه تولید و منتشر میکنید همچنان تحت پوشش قانون و شرایط ماست.
خیر. یک ورود بسازید و با رمزارز پرداخت کنید. سرورهای GPU بدون KYC را ببینید.
ماهانه از موجودی پیشپرداخت شما، با تا ۵۰٪ تخفیف برای دورههای طولانیتر. قیمتها را ببینید.
یک GPU انتخاب کنید، با رمزارز پرداخت کنید، با root وارد شوید. بدون هویت، بدون کارت.
