Warum sich ein eigener KI-Server für die meisten Firmen nicht rechnet

Einen eigenen KI-Server zu betreiben klingt nach Kontrolle und Unabhängigkeit. Für die meisten Firmen ist es die teuerste und aufwendigste Variante, und sie bringt selten einen Vorteil. Hier die Rechnung, offen hingelegt.

Was die Hardware kostet

Eine einzelne NVIDIA H100, die übliche Karte für ernsthafte KI-Last, kostet im Kauf je nach Quelle rund 25.000 bis 40.000 US-Dollar (CloudZero, 2026). Mieten Sie sie in der Cloud, zahlen Sie bei spezialisierten Anbietern grob 3 bis 5 US-Dollar pro GPU-Stunde, bei den großen Hyperscalern eher 11 bis 12 (CloudZero, 2026). Bei Hetzner, dem Anbieter, auf dem ich selbst betreibe, beginnt ein GPU-Server mit kleiner Karte bei etwa 184 Euro im Monat, einer mit großer 96-GB-Karte liegt bei rund 1.197 Euro im Monat, jeweils mit Einrichtungsgebühr und mit genau einer GPU pro Server (Hetzner).

Das eigentliche Problem ist die Auslastung

Eine gemietete oder gekaufte GPU kostet rund um die Uhr, ob sie rechnet oder wartet. In der Praxis liegt die Auslastung produktiver KI-Server häufig unter 50 bis 60 Prozent, und eine schlecht genutzte Karte vervielfacht die Kosten pro Antwort (IntuitionLabs, 2026). Eine Firma mit gelegentlicher KI-Nutzung lastet ein solches Gerät nie aus. Gehostete Modelle rechnen nach verbrauchten Token ab, Sie zahlen nur, was Sie wirklich nutzen.

Der Break-even liegt höher als gedacht

Einen festen Punkt, ab dem sich Eigenbetrieb lohnt, gibt es nicht, er hängt von Volumen, Auslastung und Personal ab. Die Schätzungen beginnen bei grob hundert Millionen verarbeiteten Token im Monat und reichen weit darüber hinaus (IntuitionLabs, 2026). Gegen die günstigen gehosteten Modelle rechnet sich ein eigener Server fast nie. Eigenbetrieb ist damit meist eine Frage der Kontrolle, selten eine der Kosten.

Und dann ist da das Personal

Die Karte ist der kleinere Teil. Ein eigener KI-Server will eingerichtet, abgesichert, überwacht und aktuell gehalten werden, Modelle müssen getauscht, Ausfälle abgefangen und Updates eingespielt werden. Das ist eine Daueraufgabe, die Fachleute bindet, die kleine und mittlere Firmen meist nicht haben. Genau diesen Betrieb mache ich beruflich, und ich sehe, wie viel Zeit er frisst. Für ein Team ohne eigene Infrastrukturleute bindet ein KI-Server dauerhaft Arbeitszeit, die anderswo fehlt.

Die GPU ist der günstige Teil. Teuer werden die Menschen, die sie am Laufen halten.

Was stattdessen sinnvoll ist

Für die meisten Aufgaben sind die großen US-Modelle über ihre Schnittstelle die schnellste und günstigste Wahl, Sie zahlen pro Nutzung und sparen sich Hardware und Betrieb. Geht es um sensible oder personenbezogene Daten, gibt es inzwischen Modelle, die vollständig in der EU gehostet werden, etwa von Mistral mit europäischem Endpunkt oder von Aleph Alpha aus Deutschland, dazu EU-Regionen bei den großen Anbietern (Prem AI, 2026). So bleiben die Daten in Europa, ohne dass Sie eine einzige GPU besitzen.

Seit dem 2. August 2026 gelten außerdem die Transparenzpflichten aus Art. 50 des EU AI Act, der Verordnung (EU) 2024/1689. Der sogenannte Digital Omnibus, die Verordnung (EU) 2026/1744, hat die Pflichten für Hochrisiko-Systeme aus Anhang III auf den 2. Dezember 2027 verschoben, die Transparenzpflichten aber im Kern gelassen. Wer KI einsetzt, muss sie offen kennzeichnen (Morgan Lewis, 2026).

Was das für Sie heißt

• Für allgemeine Aufgaben ein gehostetes US-Modell über die Schnittstelle nutzen, pro Nutzung bezahlt.
• Für sensible Daten ein in der EU gehostetes Modell wählen, damit die Daten Europa nicht verlassen.
• Einen eigenen KI-Server erst erwägen, wenn Volumen und Personal dauerhaft da sind, also eher als Hightech-Startup denn als Mittelständler.

Wann sich eigene KI-Infrastruktur doch lohnt

Es gibt Fälle, in denen der eigene Server richtig ist. Hohes, gleichmäßiges Volumen, das die Karte wirklich auslastet. Daten, die aus rechtlichen Gründen das eigene Haus nicht verlassen dürfen. Ein eigenes, feinjustiertes Modell als Kern des Produkts. Das trifft auf Hightech-Startups und spezialisierte Anbieter zu, die das Personal dafür einplanen. Für den klassischen Mittelstand trifft es fast nie zu.