Warum die simple Rechnung täuscht
Wer nur die Anschaffungskosten vergleicht, übersieht, dass On-Premise-KI nicht nur Hardware ist. Es ist Infrastruktur: Strom, Kühlung, Wartung, IT-Personal, Ausfallzeiten, Skalierungsgrenzen. Auf der anderen Seite: Cloud-APIs haben keine Fixkosten, dafür skalieren ihre Kosten linear mit dem Volumen, nach oben ohne Deckel.
Die eigentliche Frage ist: Ab welchem Punkt kippt die Rechnung? Der Rechner oben beantwortet sie mit Ihren eigenen Zahlen. Dieser Artikel legt die Methodik und die Marktpreise dahinter offen, Stand Juli 2026.
Die Kostenseite Cloud-API: Was wirklich anfällt
Die Preisspreizung ist 2026 enorm geworden: Das teuerste Flaggschiff kostet beim Output das 75-fache der Budget-Klasse. Für die gängigen LLM-APIs gelten im Juli 2026 laut den offiziellen Preislisten diese Sätze:
| Modell | Input (pro 1M Token) | Output (pro 1M Token) |
|---|---|---|
| GPT-5.6 (Sol) | 5 $ | 30 $ |
| GPT-5.5 | 5 $ | 30 $ |
| GPT-5.4 | 2,50 $ | 15 $ |
| Claude Sonnet 5 | 2 $ (ab Sept. 3 $) | 10 $ (ab Sept. 15 $) |
| Claude Opus 4.8 | 5 $ | 25 $ |
| Gemini 3.5 Flash | 1,50 $ | 9 $ |
| Gemini 2.5 Flash-Lite | 0,10 $ | 0,40 $ |
| DeepSeek V4 Flash | 0,14 $ | 0,28 $ |
Eine Feinheit bei Sonnet 5: Der neue Tokenizer erzeugt rund 30 Prozent mehr Tokens für denselben Text, der effektive Preis liegt also näher an der Standard-Klasse, als die Tabelle vermuten lässt.
Typische Anfrage in einem RAG-System: 1.500 Input-Token (Frage plus Kontext aus der Wissensbasis) und 500 Output-Token.
Damit kostet eine Anfrage beim Flaggschiff GPT-5.6 rund 2 Cent, in der Standard-Klasse (GPT-5.4, Sonnet 5) rund 1 Cent, mit Gemini 2.5 Flash-Lite 0,03 Cent. 100.000 Anfragen im Monat: 2.025 €, 1.013 € oder 32 €, je nach Modellklasse.
Dazu kommen Embedding-Kosten für RAG-Systeme, Reranking-Aufrufe, Monitoring. In der Praxis rechne ich mit 20 bis 40 % Aufschlag auf die reinen Token-Kosten.
Die Kostenseite On-Premise: Vollständige Kalkulation
Die GPU-Preise sind den API-Preisen nicht gefolgt. Eine NVIDIA H100 kostet im Juli 2026 zwischen 25.000 und 40.000 $, ein komplettes DGX-H200-System rund 400.000 $. Gebrauchte A100-Karten sind günstiger, bleiben aber deutlich fünfstellig, sobald Chassis, RAM und NVMe dazukommen.
Für einen realistischen Einstiegs-Server der A100/H100-Klasse setze ich 30.000 € an. Über drei Jahre abgeschrieben sind das 833 € pro Monat. Dazu kommen Strom und Betrieb mit rund 200 € monatlich und der am häufigsten unterschätzte Posten: anteiliges IT-Personal für Betrieb, Updates und Modellpflege, konservativ 1.500 € pro Monat.
Total Cost of Ownership: rund 2.533 € pro Monat. Der Kaufpreis ist nur ein Drittel der Wahrheit.
Die Methodik: ein Kostenmodell, keine Umfrage
Die Zahlen hier stammen nicht aus einer Umfrage, sondern aus einem reproduzierbaren Kostenmodell mit belegten Marktpreisen. Jede Annahme können Sie im Rechner oben ändern, die Rechnung kippt live. Das Modell rechnet mit:
- 1.500 Input- und 500 Output-Token pro Anfrage (RAG-typisch)
- 0,90 € je US-Dollar
- On-Premise: 30.000 € Invest, 3 Jahre Abschreibung, 200 € Strom und Betrieb, 1.500 € anteiliges IT-Personal monatlich
- EU Private Cloud: dedizierter GPU-Server ab 184 € pro Monat im deutschen Rechenzentrum
- API-Preise Stand Juli 2026 aus den offiziellen Preislisten von OpenAI, Anthropic und Google
Break-Even-Analyse: Ab wann kippt die Rechnung
Eine Korrektur gehört hierher: Eine frühere Fassung dieses Artikels rechnete die Premium-Klasse mit GPT-5.4-Preisen. Das aktuelle Flaggschiff GPT-5.6 kostet auf der Output-Seite aber das Doppelte. Deshalb weise ich den Break-Even jetzt je Modellklasse aus:
2.533 € / 0,0203 € pro Anfrage = rund 125.000 Anfragen pro Monat (Flaggschiff-Klasse, 5/30 $)
2.533 € / 0,0101 € pro Anfrage = rund 250.000 Anfragen pro Monat (Standard-Klasse, 2,50/15 $)
2.533 € / 0,0003 € pro Anfrage = gut 8 Millionen Anfragen pro Monat (Budget-Klasse, 0,10/0,40 $)
So sieht der Monatsvergleich über das Volumen aus:
| Anfragen/Monat | Flaggschiff-API | Standard-API | Budget-API | EU Private Cloud | On-Premise |
|---|---|---|---|---|---|
| 10.000 | 203 € | 101 € | 3 € | 184 € | 2.533 € |
| 100.000 | 2.025 € | 1.013 € | 32 € | 184 € | 2.533 € |
| 125.000 | 2.531 € | 1.266 € | 39 € | 184 € | 2.533 € |
| 250.000 | 5.063 € | 2.531 € | 79 € | 184 € | 2.533 € |
| 1.000.000 | 20.250 € | 10.125 € | 315 € | 184 € | 2.533 € |
Die Faustregel daraus: Unter 125.000 Anfragen pro Monat ist eigene Hardware gegen keine Modellklasse wirtschaftlich. Gegen die Standard-Klasse liegt der Umschlagpunkt bei rund 250.000, gegen Budget-Modelle praktisch nirgends, denn 8 Millionen Anfragen pro Monat erreicht im Mittelstand niemand.
Eine Einschränkung gehört dazu: Ab einigen hunderttausend Anfragen pro Monat trägt eine einzelne GPU die Last nicht mehr. Dann vervielfachen sich die 184 € der EU-Cloud entsprechend, und auch der On-Premise-Server wird zum Cluster. An der Rangfolge ändert das wenig, an den absoluten Beträgen schon.
Die oft übersehene dritte Option: EU-hosted Private Cloud
Zwischen „eigene Hardware" und „US-Cloud" liegt die Variante, die 2026 für die meisten Mittelständler gewinnt: dedizierte GPU-Server bei europäischen Anbietern wie Hetzner, IONOS, OVHcloud oder der Deutschen Telekom. Ab 184 € pro Monat, im deutschen Rechenzentrum, DSGVO-konform, mit AVV, ohne Datenabfluss in die USA.
Der Punkt, den viele übersehen: Schon ab rund 9.000 Anfragen pro Monat ist der dedizierte EU-Server günstiger als die Flaggschiff-API, ab rund 18.000 günstiger als die Standard-Klasse. Und gegen den eigenen Keller-Server gewinnt er bei gleicher GPU-Klasse immer, weil Abschreibung, Strom und vor allem Personal wegfallen. Der „DSGVO-Reflex" Richtung eigener Hardware ist 2026 in fast allen Fällen ein teurer Irrtum: Datenschutz bekommen Sie im EU-Rechenzentrum für gut 7 % der On-Premise-Kosten.
Meine Empfehlung nach Anfragevolumen
Unter rund 10.000 Anfragen pro Monat: API mit AVV, etwa Sonnet 5 oder Mistral. Kein Fixkostenblock, volle Flexibilität beim Modellwechsel.
Ab rund 10.000 Anfragen pro Monat: dedizierter GPU-Server in der EU Private Cloud. Feste Kosten, DSGVO-konform, kein Hardware-Invest, kein Betriebsaufwand. Wer nur die Standard-Klasse nutzt, erreicht den Punkt bei etwa 18.000 Anfragen.
On-Premise: rechnet sich rein wirtschaftlich fast nie gegen den gemieteten EU-Server. Es bleibt die richtige Wahl, wenn Datensouveränität vertraglich oder aufsichtsrechtlich erzwungen ist (Finanzdienstleister, Gesundheitswesen, Verteidigung) oder Sonder-Hardware nötig wird. Ab 125.000 (Flaggschiff-Klasse) bis 250.000 (Standard-Klasse) Anfragen pro Monat kostet es zumindest nicht mehr als die API; die Entscheidung wird dann strategisch statt finanziell.
FAQ
Häufige Fragen
Ab wie vielen Anfragen lohnt sich ein eigener KI-Server?
Gegen Flaggschiff-APIs wie GPT-5.6 liegt der Break-Even mit den Standard-Annahmen bei rund 125.000 Anfragen pro Monat, gegen die Standard-Klasse (GPT-5.4, Sonnet 5) bei rund 250.000. Gegen Budget-Modelle wie Gemini 2.5 Flash-Lite jenseits von 8 Millionen. Ein gemieteter EU-GPU-Server unterbietet die Flaggschiff-API schon ab rund 9.000 Anfragen.
Was kostet eine KI-Anfrage über die API im Jahr 2026?
Eine RAG-typische Anfrage mit 2.000 Token kostet beim Flaggschiff GPT-5.6 rund 2 Cent, in der Standard-Klasse (GPT-5.4, Claude Sonnet 5) rund 1 Cent, bei Gemini 2.5 Flash-Lite rund 0,03 Cent. 100.000 Anfragen im Monat kosten damit 2.025 €, 1.013 € oder 32 €.
Erzwingt die DSGVO den On-Premise-Betrieb?
Nein. Ein dedizierter GPU-Server im deutschen Rechenzentrum mit AVV erfüllt die DSGVO-Anforderungen der meisten Unternehmen, ab 184 € pro Monat. On-Premise braucht es erst, wenn Verträge oder Aufsichtsrecht die eigene Infrastruktur ausdrücklich verlangen.
Was kostet ein eigener GPU-Server im Monat wirklich?
Mit Abschreibung (833 €), Strom und Betrieb (200 €) und anteiligem IT-Personal (1.500 €) rund 2.533 € pro Monat für einen Server der A100/H100-Klasse. Der Kaufpreis ist nur rund ein Drittel der tatsächlichen Kosten. --- Vollständige Private-AI-Architektur: Modellauswahl, DSGVO-Compliance und Implementierungsschritte im Leitfaden: Private AI: KI ohne Cloud-Risiko, der Leitfaden für deutsche Unternehmen