Warum KI eine GPU braucht
Künstliche Intelligenz besteht im Kern aus riesigen Mengen an Matrixrechnungen. Grafikkarten (GPUs) haben Tausende kleine Rechenkerne, die genau solche Berechnungen parallel ausführen – um ein Vielfaches schneller als ein normaler Prozessor. Ohne GPU ist das Training praktisch unmöglich und selbst das Antworten eines Sprachmodells (Inferenz) quälend langsam.
Die wichtigste Kennzahl: Grafikspeicher (VRAM)
Damit ein Modell schnell läuft, muss es vollständig in den Speicher der Grafikkarte passen. Als Faustregel für Sprachmodelle (LLMs):
- 16-Bit (volle Qualität): ca. 2 GB VRAM pro Milliarde Parameter
- 8-Bit quantisiert: ca. 1 GB pro Milliarde Parameter
- 4-Bit quantisiert: ca. 0,5–0,6 GB pro Milliarde Parameter
- Plus Reserve für den Kontext (Gesprächsverlauf) und mehrere gleichzeitige Nutzer
Ein Modell mit 8 Milliarden Parametern läuft damit schon auf kleinen GPUs. Ein 70-Milliarden-Modell braucht in 4-Bit rund 40 GB, in 16-Bit etwa 140 GB – also eine große GPU oder mehrere. Für Training und Fine-Tuning wird zusätzlich Speicher für Gradienten und Optimierer benötigt, oft das Mehrfache des Modells selbst.
RTX PRO 6000, H100 oder H200?
| GPU | VRAM | Am besten für |
|---|---|---|
| NVIDIA RTX PRO 6000 (Blackwell) | 96 GB GDDR7 | Inferenz, mittelgroße LLMs, Bildgenerierung, Rendering – sehr gutes Preis-Leistungs-Verhältnis |
| NVIDIA H100 | 80 GB HBM3 | Training und Fine-Tuning, hoher Durchsatz bei vielen Nutzern |
| NVIDIA H200 | 141 GB HBM3e | Große Modelle und lange Kontexte, maximale Speicherbandbreite |
Für viele Unternehmen, die „nur“ ein Sprachmodell intern bereitstellen wollen – etwa einen Chatbot auf Basis der eigenen Dokumente – ist die RTX PRO 6000 der beste Einstieg: viel Speicher zu einem deutlich niedrigeren Preis als Rechenzentrums-GPUs mit HBM-Speicher. Wer eigene Modelle trainiert oder sehr viele gleichzeitige Anfragen bedienen muss, ist mit H100 oder H200 besser beraten.
Cloud-GPU oder eigener GPU-Server?
Cloud-GPUs werden pro Stunde abgerechnet. Das ist ideal, um etwas auszuprobieren oder für ein einmaliges Training. Läuft Ihr Modell dagegen dauerhaft, summieren sich die Stundenpreise schnell zu einem Vielfachen der Monatsmiete eines eigenen GPU-Servers. Hinzu kommt der Datenschutz: Bei einem gemieteten Server in Österreich oder Deutschland wissen Sie genau, wo Ihre Daten liegen und wer Zugriff hat.
- Cloud: kurze Experimente, unregelmäßige Last, schnelles Ausprobieren
- Eigener GPU-Server: Dauerbetrieb, planbare Kosten, sensible Daten, DSGVO
Worauf Sie außerdem achten sollten
- CPU und RAM: Für Datenvorverarbeitung und das Laden der Modelle braucht der Server genug Arbeitsspeicher – mindestens so viel wie VRAM.
- Schneller Speicher: NVMe-SSDs verkürzen das Laden großer Modelle und Datensätze erheblich.
- Anbindung: Wenn viele Nutzer zugreifen oder große Datenmengen übertragen werden, zählt die Bandbreite.
- Software-Stack: Treiber, CUDA und Inferenz-Server wie vLLM oder Ollama sollten sauber eingerichtet sein.
Unser Angebot
Wir stellen GPU-Server mit NVIDIA RTX PRO 6000, H100 und H200 individuell nach Ihrem Anwendungsfall zusammen – gehostet in Österreich bzw. Deutschland. Auf Wunsch richten wir die komplette KI-Umgebung ein und unterstützen bei der Integration in Ihre Software.
Häufige Fragen
Kann ich ChatGPT-ähnliche Modelle selbst betreiben?
Ja. Offene Modelle wie Llama, Mistral oder Qwen lassen sich auf einem eigenen GPU-Server betreiben und mit Ihren Firmendaten verbinden – ohne dass Daten an einen externen KI-Anbieter fließen.
Reicht eine Gaming-Grafikkarte für KI?
Für erste Experimente mit kleinen Modellen ja. Für den professionellen Dauerbetrieb fehlen Gaming-Karten aber Grafikspeicher und Rechenzentrumstauglichkeit. Professionelle GPUs wie die RTX PRO 6000 oder H100 sind für den 24/7-Betrieb ausgelegt.