Wenn Sie ein großes Sprachmodell auf eigener Hardware betreiben, behalten Sie Ihre Prompts und Daten unter Kontrolle und vermeiden Gebühren pro Token. Diese Anleitung erklärt, wie viel GPU-Speicher Sie brauchen und wie Sie ein Modell auf einem gemieteten GPU-Server zum Laufen bringen.
Die entscheidende Zahl: VRAM
Ein Modell muss in den Speicher der Grafikkarte (VRAM) passen. Faustregel: Parameter in Milliarden mal Bytes pro Gewicht, plus 20 bis 30 Prozent für den Kontext-Cache.
| Modellgröße | 4-Bit quantisiert | 16-Bit voll | GPU, auf die es passt |
|---|---|---|---|
| 7 bis 8B | etwa 5 GB | etwa 16 GB | RTX 4090 (24 GB) |
| 13 bis 14B | etwa 9 GB | etwa 28 GB | RTX 4090 quantisiert, RTX 5090 (32 GB) |
| 30 bis 34B | etwa 20 GB | etwa 68 GB | RTX 4090 oder 5090 quantisiert, H100 |
| 70B | etwa 40 GB | etwa 140 GB | H100 80 GB quantisiert; 2× H100 für 16-Bit |
Quantisierung speichert Gewichte mit weniger Bits, was den Speicherbedarf stark senkt, bei geringem Qualitätsverlust. So betreiben die meisten Leute große Modelle auf Consumer-Karten.
Option 1: Ollama (am einfachsten)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b
ollama run llama3.1:8bOllama übernimmt Downloads, Quantisierung und eine lokale API auf Port 11434. Halten Sie diesen Port privat oder schalten Sie eine Authentifizierung davor.
Option 2: vLLM (höchster Durchsatz)
pip install vllm
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192vLLM stellt eine OpenAI-kompatible API bereit und bündelt viele Anfragen, was es zur besseren Wahl macht, wenn sich mehrere Nutzer oder Anwendungen eine GPU teilen. Bei manchen Modellen müssen Sie zuvor auf der Seite des Modells eine Lizenz akzeptieren.
Prüfen, ob die GPU genutzt wird
nvidia-smi
watch -n 1 nvidia-smiDie Speichernutzung sollte beim Laden des Modells sprunghaft steigen, und die Auslastung sollte während der Generierung zunehmen. Bleiben beide bei null, läuft das Modell auf der CPU.
Was Leute sonst auf gemieteten GPUs betreiben
- Bildgenerierung (Stable Diffusion, ComfyUI).
- Feinabstimmung kleiner Modelle mit LoRA.
- Video- und 3D-Rendering sowie Video-Transcoding.
- Sprache-zu-Text mit Whisper.
Kostengefühl
Wenn Sie eine GPU nur wenige Stunden pro Woche brauchen, kann Mieten pro Monat immer noch mehr kosten als eine API. Wenn Sie den ganzen Tag Inferenz betreiben oder Privatsphäre brauchen, gewinnt meist ein dedizierter GPU-Server. Ermitteln Sie Ihre monatliche Token-Anzahl, bevor Sie sich entscheiden.