Bei selbst gehostetem KI-Betrieb lautet die Frage selten „Welche Karte ist die schnellste“, sondern „Welche Karte passt zum gewünschten Modell, zu einem Stundenpreis, den ich rechtfertigen kann“. Der Speicher entscheidet, was passt, die Bandbreite, wie schnell Token erzeugt werden, und der Preis, ob das Projekt überhaupt sinnvoll ist.
Zuerst kommt der Speicher
Passt ein Modell nicht in den Grafikspeicher, ist die Geschwindigkeit egal. Als grobe Faustregel gilt: Ein Modell benötigt etwa seine Parameterzahl mal die Bytes pro Gewicht, plus Platz für den Kontext-Cache.
- Ein 7B- bis 8B-Modell in 4 Bit benötigt etwa 5 bis 6 GB.
- Ein 13B- bis 14B-Modell in 4 Bit benötigt etwa 9 bis 10 GB.
- Ein 32B-Modell in 4 Bit benötigt etwa 20 bis 22 GB und passt bei kurzem Kontext auf eine 24-GB-Karte.
- Ein 70B-Modell in 4 Bit benötigt etwa 40 GB oder mehr, also eine Karte mit 48 GB oder 80 GB oder mehrere kleinere.
Lange Kontexte lassen den Cache schnell wachsen, planen Sie daher Reserve ein.
Die Bandbreite bestimmt die Token-Geschwindigkeit
Für einen einzelnen Nutzer bedeutet die Erzeugung jedes Tokens, dass die Modellgewichte einmal gelesen werden. Damit ist die Speicherbandbreite die Grenze. Rechenzentrumskarten mit HBM-Speicher haben ein Mehrfaches der Bandbreite von GDDR-Karten für Endkunden, weshalb eine H100 beim selben Modell Token schneller erzeugt.
Wo eine Consumer-Karte gewinnt
- Modelle bis etwa 30B in 4 Bit.
- Bilderzeugung wie Stable Diffusion und Flux.
- Entwicklung, Tests und private Nutzung mit geringem Volumen.
- Kosten: Der Stundenpreis beträgt nur einen Bruchteil einer Rechenzentrumskarte.
Wo eine Rechenzentrumskarte gewinnt
- Modelle der 70B-Klasse ohne starke Kompression.
- Viele gleichzeitige Nutzer, bei denen Batching die zusätzliche Rechenleistung gut ausnutzt.
- Schnelle Verbindungen zwischen mehreren GPUs für größere Modelle.
- Lange Kontexte und Workloads mit hoher Präzision.
Rechnen Sie die Kosten pro Auftrag, nicht pro Stunde
Messen Sie Ihre eigenen Token pro Sekunde mit dem Modell, das Sie tatsächlich betreiben. Teilen Sie dann den Stundenpreis durch die Token pro Stunde. Eine günstige, aber langsame Karte kann pro Million Token mehr kosten als eine teure, schnelle, und umgekehrt, wenn die günstige Karte nicht ausgelastet ist. Leerlauf ist der versteckte Kostenfaktor, fahren Sie Server deshalb herunter, wenn Sie sie nicht nutzen.
Ein einfacher Weg zur Auswahl
- Wählen Sie das gewünschte Modell und die Quantisierung.
- Prüfen Sie, ob es mit Reserve für den Kontext passt.
- Mieten Sie die günstigste passende Karte und testen Sie sie eine Stunde lang.
- Wechseln Sie nur nach oben, wenn Geschwindigkeit oder Parallelität Ihr Ziel verfehlen.
Bereit zum Ausprobieren? Betreiben Sie Ollama und Open WebUI oder richten Sie Stable Diffusion ein. Preise und Karten ändern sich, bestätigen Sie die aktuellen Optionen daher auf der GPU-Server-Seite.