KI-Server & GPU-Hardware für lokale Sprachmodelle: Der Dimensionierungs-Guide 2026

Kurzantwort: Ein KI-Server ist ein GPU-beschleunigter Server, der Sprachmodelle im eigenen Haus oder Rechenzentrum ausführt. Die Dimensionierung folgt drei Fragen: Welches Modell (Größe), wie viele gleichzeitige Nutzer (Durchsatz), welche Antwortzeit (Latenz)? Daraus ergibt sich die GPU-Klasse – von der einzelnen Workstation-Karte bis zum B200/H200-Cluster.

Wer „KI-Server" sucht, landet meist in einem Shop: Konfiguratoren, Preislisten, Rack-Fotos. Was fehlt, ist die Entscheidung davor: Welche Hardware braucht mein Anwendungsfall wirklich – und ist Kaufen überhaupt der richtige Weg? Dieser Guide liefert die Dimensionierungslogik, mit der Sie Angebote bewerten können, statt ihnen ausgeliefert zu sein. Er gehört zu unserer Serie über lokale KI im Unternehmen.

Warum die GPU das Herz des KI-Servers ist

Sprachmodelle bestehen aus Milliarden Parametern, die bei jeder Anfrage durchgerechnet werden. Zwei Eigenschaften der Hardware entscheiden über die Leistung:

• GPU-Speicher (VRAM): Das Modell muss – ganz oder in komprimierter Form (Quantisierung) – in den Grafikspeicher passen. VRAM ist deshalb die erste und härteste Grenze: Er bestimmt, welche Modellklasse überhaupt läuft.
• Speicherbandbreite: Die Geschwindigkeit, mit der Parameter durch den Prozessor fließen, bestimmt die Antwortgeschwindigkeit (Token pro Sekunde) stärker als reine Rechenleistung. Deshalb sind KI-GPUs mit High-Bandwidth-Memory (HBM) den Gaming-Karten in der Klasse darüber so deutlich überlegen.

CPU, RAM und Storage sind Nebendarsteller: wichtig für Dokumenten-Pipelines und RAG-Suche, aber selten der Engpass der Inferenz.

Die vier Hardware-Klassen für lokale KI

Klasse · Typische Ausstattung · Trägt · Typischer Einsatz

• 1. KI-Workstation — 1 Profi- oder High-End-GPU · Kompakte bis mittlere Modelle (quantisiert) · Entwicklung, Pilot, Einzelnutzer
• 2. Abteilungs-Server — 1–4 GPUs der Profiklasse · Mittlere Modelle produktiv, dutzende Nutzer · Fachbereich, Mittelstand-Einstieg
• 3. Enterprise-Node — 4–8 Rechenzentrums-GPUs (H200/B200-Klasse) · Große Modelle, hunderte Nutzer · Unternehmensweite Assistenz, RAG-Plattform
• 4. Cluster / dedizierte Kapazität — Mehrere vernetzte Nodes · Frontier-nahe MoE-Modelle, hoher Durchsatz · Konzern-Plattform, KI-Serviceanbieter

Zur Einordnung der Rechenzentrums-Klasse: Aktuelle Beschleuniger wie NVIDIAs H200 und die neuere B200-Generation sind auf genau diesen Zweck gebaut – sehr viel HBM-Speicher pro Karte und extreme Bandbreite, damit große Modelle mit vielen parallelen Nutzern flüssig laufen. Unsere eigene europäische Inferenz-Infrastruktur rechnet auf B200-Systemen; die Erfahrung daraus fließt in die Empfehlungen dieses Guides.

Dimensionierung in drei Schritten

Schritt 1 — Modellklasse festlegen. Erst der Anwendungsfall, dann das Modell, dann die Hardware (welches Modell wofür, steht im Modellvergleich). Faustregel für den Speicherbedarf: Modellgröße in Parametern × Bytes pro Parameter (je nach Quantisierung) + Reserve für parallele Anfragen und Kontexte. Ein mittleres Modell in 8-Bit-Quantisierung braucht grob so viele Gigabyte VRAM, wie es Milliarden Parameter hat – plus 20–40 % Betriebsreserve.

Schritt 2 — Parallellast realistisch schätzen. Nicht die Zahl der Mitarbeiter zählt, sondern die gleichzeitigen Anfragen zur Spitzenzeit. In der Praxis liegt die bei Assistenz-Anwendungen weit unter den Erwartungen: Aus tausend berechtigten Nutzern werden selten mehr als ein paar Dutzend gleichzeitige Anfragen. Batch-Prozesse (Dokumentenklassifikation über Nacht) verändern die Rechnung stärker als Nutzerzahlen.

Schritt 3 — Latenzziel setzen. Ein Chat-Assistent fühlt sich ab etwa 20–30 Token pro Sekunde flüssig an; eine Extraktions-Pipeline darf auch langsamer pro Dokument sein, wenn der Durchsatz stimmt. Das Latenzziel entscheidet, ob eine GPU-Klasse reicht oder die nächste nötig ist.

Wer diese drei Antworten hat, kann jedes Server-Angebot in Minuten bewerten: Passt der VRAM zur Modellklasse? Trägt die Bandbreite das Latenzziel bei der Parallellast?

Kaufen, mieten oder europäischer Betreiber?

Die Hardware-Frage ist am Ende eine Betriebsmodell-Frage:

• Kaufen (On-Premise): Maximale Kontrolle, Daten verlassen nie das Haus. Dafür: Investition, Abschreibung über eine sich schnell entwickelnde GPU-Generation, Strom/Kühlung, Betriebsteam. Lohnt ab stabiler Grundlast und bei höchsten Schutzklassen.
• GPU-Server mieten (Hosting/Colocation): Geringere Einstiegshürde, aber die Betriebsverantwortung (Modell, Sicherheit, Updates) bleibt beim eigenen Team – und je nach Anbieter-Jurisdiktion ist die Souveränitätsfrage nicht automatisch gelöst.
• Dedizierte Kapazität bei einem europäischen Betreiber: Das Modell läuft exklusiv für Sie auf Betreiber-Hardware im EU-Rechtsraum – ohne Investition, mit AVV und SLA. Für die meisten Unternehmen der wirtschaftlichste Weg zu großer Modellklasse; die genaue Kostenrechnung dazu liefert unser TCO-Vergleich (erscheint in Kürze).

In der Praxis sehen wir häufig eine Kombination: sensible Kern-Workloads auf eigener Hardware der Klasse 2–3, Spitzenlast und große Modelle als dedizierte Kapazität – orchestriert über eine gemeinsame API-Schicht. Wie das betriebsfertig aussieht, zeigt unsere Lösungsseite zu lokalen Sprachmodellen auf europäischer Infrastruktur.

Beispielkonfigurationen: vier Setups mit Preisrahmen

Zur Orientierung vier typische Setups mit Größenordnungen (Marktstand Juli 2026; Preise schwanken je nach Ausstattung, Speicher und Verfügbarkeit erheblich und ersetzen kein Angebot):

• Pilot-Workstation (eine GPU-Karte der RTX-Klasse, 24 bis 48 GB VRAM): für Tests, Entwicklung und einzelne Nutzer. Typisch im unteren fünfstelligen Bereich.
• Abteilungs-Server (2 bis 4 Profi-GPUs, 96 bis 384 GB VRAM gesamt): mittelgroße Modelle für Teams und erste produktive Workloads. Mittlerer fünfstelliger bis niedriger sechsstelliger Bereich.
• Enterprise-Node (8× H200 oder B200): Frontier-Klasse-Modelle mit hohem Durchsatz und Ausfallsicherheit. Sechsstellig pro Node, plus Rechenzentrums-Infrastruktur.
• Mieten statt kaufen: dedizierte GPU-Server beginnen bei wenigen hundert Euro pro Monat für eine einzelne Karte und reichen bis zu fünfstelligen Monatsraten für Multi-GPU-Nodes. Ein deutscher Betreiber löst dabei die Souveränitätsfrage gleich mit.

Wichtiger Hinweis zu den Preisangaben: Alle genannten Größenordnungen sind ein unverbindliches Kalkulationsmodell zur ersten Orientierung. Die aktuellen Marktpreise für GPUs und Server variieren stark und können sich kurzfristig ändern. Verbindlich ist ausschließlich der jeweils im konkreten Angebot enthaltene aktuelle Preis.

Die ehrliche Antwort auf die Preisfrage bleibt: erst dimensionieren (Modell, Nutzerzahl, Latenz), dann konfigurieren. Wer die drei Schritte aus diesem Guide durchgeht, kann jedes Angebot einordnen, statt ihm ausgeliefert zu sein.

Die häufigsten Dimensionierungs-Fehler

1. Nach Mitarbeiterzahl statt Parallellast dimensionieren – führt regelmäßig zu doppelt so großer Hardware wie nötig.
2. Gaming-GPUs für den Produktivbetrieb – attraktiv pro Euro Rechenleistung, aber limitiert bei VRAM, Dauerbetrieb, Wartungsverträgen und Virtualisierung.
3. Quantisierung ignorieren – moderne 4- bis 8-Bit-Quantisierung halbiert bis viertelt den Speicherbedarf bei geringem Qualitätsverlust; wer sie einplant, kommt oft eine GPU-Klasse günstiger weg.
4. Nur die Inferenz rechnen – RAG-Pipelines brauchen zusätzlich Embedding-Modelle, Vektorsuche und Dokumenten-Vorverarbeitung; klein, aber nicht null.
5. Die GPU-Generation überbewerten – ein sauber betriebener Server der Vorgängergeneration schlägt einen schlecht konfigurierten Neukauf. Software-Optimierung (Inferenz-Server, Batching) bringt oft mehr als das nächste Hardware-Upgrade.

Häufige Fragen zu KI-Servern

Was ist ein KI-Server?

Ein KI-Server ist ein Server mit GPU-Beschleunigern, der KI-Modelle – meist Sprachmodelle – im eigenen Haus oder Rechenzentrum ausführt. Er unterscheidet sich vom klassischen Server vor allem durch viel GPU-Speicher (VRAM) und hohe Speicherbandbreite.

Welche GPU brauche ich für lokale KI?

Das bestimmt die Modellklasse: Kompaktmodelle laufen auf einer einzelnen Profi- oder High-End-Karte, mittlere Produktionsmodelle auf 1–4 Profi-GPUs, große Modelle brauchen Rechenzentrums-Beschleuniger der H200/B200-Klasse. Entscheidend ist zuerst der VRAM, dann die Speicherbandbreite.

Was kostet ein KI-Server für Unternehmen?

Die Spanne reicht von wenigen tausend Euro (Workstation) über niedrige bis mittlere fünfstellige Beträge (Abteilungs-Server) bis zu sechs- und siebenstelligen Summen für Enterprise-Nodes und Cluster. Dazu kommen Strom, Kühlung und Betrieb – weshalb dedizierte Kapazität bei einem Betreiber häufig wirtschaftlicher ist als der Kauf.

Reicht ein normaler Server mit starker CPU für LLMs?

Für Tests und sehr kleine Modelle ja, für den Produktivbetrieb nein: Ohne GPU fehlt die Speicherbandbreite, und die Antwortzeiten werden für interaktive Nutzung zu langsam. CPU-Inferenz ist die Ausnahme für Nischenfälle, nicht die Regel.

Was ist der Unterschied zwischen H200 und B200?

Beide sind NVIDIA-Rechenzentrums-Beschleuniger für KI-Lasten; die B200-Generation (Blackwell) ist der Nachfolger der H200 (Hopper) mit mehr Speicher und deutlich höherer Bandbreite und Effizienz pro Karte. Für die Dimensionierung zählt weniger der Name als die Frage, wie viele Karten Ihr Modell bei Ihrer Last braucht.

Kann ich mit kleiner Hardware starten und wachsen?

Ja – das ist der empfohlene Weg: Pilot auf Workstation- oder Abteilungsklasse, produktiver Rollout auf der Klasse, die der gemessene Bedarf verlangt. Wichtig ist eine Architektur mit einheitlicher API-Schicht, damit der Umzug auf größere Hardware oder zu einem Betreiber die Anwendungen nicht berührt.

Brauche ich für lokale KI ein eigenes Rechenzentrum?

Nein. Die Optionen reichen vom Server im vorhandenen Serverraum bis zur dedizierten Kapazität bei einem europäischen Betreiber, bei der Sie große Modellklassen ohne eigene Hardware nutzen – mit AVV, SLA und Daten im EU-Rechtsraum.

Fazit

Die richtige KI-Server-Entscheidung beginnt nicht im Konfigurator, sondern bei drei Zahlen: Modellklasse, Parallellast, Latenzziel. Wer sie kennt, dimensioniert treffsicher – und erkennt, wann sich eigene Hardware lohnt und wann dedizierte europäische Kapazität das bessere Geschäft ist.

Weiterführend: KI-Agenten erklärt: der Enterprise-Guide 2026, denn die hier dimensionierte Hardware ist die Basis für produktive Agenten-Workloads.