| 9. Oktober 2025
Cloud-First ist weit verbreitet. Für viele deutsche Unternehmen, besonders im Mittelstand und in der Industrie, ist On-Premise KI jedoch die passendere Wahl. Dieser Artikel zeigt, warum – und wann die Cloud sinnvoller ist.
DSGVO ohne Kopfschmerzen
Herausforderungen bei Cloud-KI
Cloud-KI-Dienste wie ChatGPT, Google Vertex AI oder Amazon Bedrock sind leistungsfähig. Sie bringen aber datenschutzrechtliche Fragen mit sich:
- Datentransfer ins Ausland: US-Cloud-Anbieter unterliegen dem CLOUD Act
- Datenschutz-Folgenabschätzung: Aufwendige DSGVO-Prüfungen sind nötig
- Eingeschränkte Transparenz: Die Verarbeitung beim Anbieter ist schwer nachzuvollziehen
- Vertrauliches Material: Konstruktionsdaten, Geschäftsgeheimnisse, Patientendaten
Die lokale Lösung
Mit KI im eigenen Rechenzentrum behalten Sie die Kontrolle:
- DSGVO-konform umsetzbar: Daten bleiben im Unternehmen
- Kein Auslandstransfer: Die Verarbeitung erfolgt in Ihrer Infrastruktur
- Volle Transparenz: Sie wissen genau, wo Ihre Daten liegen
- Air-gapped-Betrieb möglich: Funktioniert auch ohne Internetverbindung
Was kostet das? Cloud vs. On-Premise
Die folgende Beispielrechnung dient der Orientierung. Tatsächliche Preise hängen stark von Modell, Anbieter, Hardware und Nutzungsverhalten ab.
Annahmen
- Mittelständisches Unternehmen mit 500 Mitarbeitern
- 20 KI-Anfragen pro Mitarbeiter und Arbeitstag, 220 Arbeitstage: 2.200.000 Anfragen/Jahr
- Typische RAG-Anfrage: 8.000 Input-Tokens (Frage plus gefundene Dokumentstellen) und 500 Output-Tokens
- Beispielpreise Cloud-API: 0,002 € pro 1.000 Input-Tokens, 0,006 € pro 1.000 Output-Tokens
- Kosten für Umsetzung, Integration und Schulung fallen in beiden Varianten an und sind nicht eingerechnet
Cloud (nutzungsabhängig)
- Pro Anfrage: 8 × 0,002 € + 0,5 × 0,006 € = 0,016 € + 0,003 € = 0,019 €
- Pro Jahr: 2.200.000 × 0,019 € = 41.800 €
- 3 Jahre: 125.400 €
On-Premise
- Hardware (einmalig): Server mit aktuellen NVIDIA-GPUs (z.B. L40S): ca. 35.000 €
- Wartung: 10.000 €/Jahr
- Strom: ca. 5.300 €/Jahr (1,5 kW × 8.760 h × 0,40 €/kWh)
- 3 Jahre: 35.000 € + 3 × 15.300 € = 80.900 €
Einordnung
In diesem Szenario liegt On-Premise über drei Jahre rund 44.500 € unter den Cloud-Kosten. Mit einem optionalen Supportvertrag (z.B. 15.000 €/Jahr) liegen beide Varianten etwa gleichauf. Bei geringerer Nutzung oder kürzeren Anfragen ist die Cloud günstiger, bei intensiver Nutzung verschiebt sich die Rechnung zugunsten von On-Premise.
Kosten sind deshalb selten das alleinige Argument. Entscheidend sind meist Datenschutz, Kontrolle und Unabhängigkeit.
Technische Umsetzung
Was Sie für lokale KI brauchen
1. Hardware
- Server: Standard-Server mit 64–128 GB RAM
- GPUs: Aktuelle NVIDIA-GPUs (z.B. L40S/H100) für schnelle Antworten
- Speicher: 2–4 TB NVMe-SSD für die Vektordatenbank
2. Software
- Sprachmodelle: Aktuelle offene Modelle wie Llama, Mistral, Qwen, Gemma u.a.
- Vektordatenbank: z.B. ChromaDB (lokal)
- Embedding-Modelle: Sentence Transformers mit deutscher Sprachunterstützung
- Frameworks: LangChain, LlamaIndex (Open Source)
3. Integration
- Dokumentenquellen: SharePoint, Confluence, Dateisystem
- SSO/LDAP: Anbindung an Active Directory
- API: REST-Schnittstelle für Ihre Unternehmenssysteme
- Weboberfläche: Selbst gehostete Chat-Oberfläche
Betriebsvarianten
1. Bare Metal
- Direkt auf der Hardware
- Maximale Leistung
- Volle Kontrolle
2. Virtuelle Maschine (VMware, Hyper-V)
- Läuft in Ihrer bestehenden Virtualisierung
- Einfache Snapshots und Backups
- Flexible Ressourcen
3. Container (Docker, Kubernetes)
- Skalierbar
- Einfache Updates
- CI/CD-Integration
4. Edge-Betrieb
- Direkt in Produktionsstätten
- Keine Cloud-Verbindung nötig
- Sehr niedrige Latenz
Praxisbeispiele (anonymisiert)
Tier-1-Automobilzulieferer (ca. 2.500 Mitarbeiter)
Ausgangslage: Dokumentensuche unter TISAX-Anforderungen
Lösung: On-Premise RAG-System
Ergebnis:
- Deutlich schnellere Normenrecherche
- Volle Datenkontrolle
Sondermaschinenbauer (ca. 180 Mitarbeiter, Raum Stuttgart)
Ausgangslage: Wissen aus 30 Jahren Projekten verstreut
Lösung: Lokale KI mit KI-Agenten für die Angebotserstellung
Ergebnis:
- Angebotserstellung rund 40% schneller
- Rund 25% mehr Angebote im selben Zeitraum
- Wissen ausgeschiedener Mitarbeiter bewahrt
Medizinische Einrichtung mit mehreren Standorten
Ausgangslage: Zeitaufwendige Suche in medizinischen Dokumenten, hohe Datenschutzanforderungen
Lösung: DSGVO-konforme Dokumentensuche über 5.000+ Dokumente
Ergebnis:
- Ca. 60% weniger Suchzeit
- Lückenloser Prüfpfad
Wann lohnt sich On-Premise?
Gut geeignet bei
Hohen Sicherheitsanforderungen
- Automobilindustrie (TISAX-Anforderungen)
- Medizintechnik und Gesundheitswesen (DSGVO, MDR)
- Finanzsektor (BaFin-Anforderungen, z.B. BAIT/DORA)
- Verteidigungsindustrie
Vertraulichen Daten
- Konstruktionsdaten
- Patentinformationen
- Patientendaten
- Geschäftsgeheimnisse
Intensiver Nutzung
- Über 10.000 Anfragen pro Monat
- Viele aktive Nutzer
- Betrieb rund um die Uhr
Wunsch nach Unabhängigkeit
- Keine Abhängigkeit von einem Anbieter
- Volle Kostenkontrolle
- Eigene Update-Zyklen
Wann Cloud oder EU-Hosting sinnvoll ist
- Sehr geringe Nutzung (unter 1.000 Anfragen/Monat)
- Keine sensiblen Daten
- Prototypen und Tests
- Internationale Teams ohne zentrale Infrastruktur
Vorgehen
Phase 1: Evaluierung (2–4 Wochen)
- Anforderungen klären: Anwendungsfälle, Datenvolumen, Nutzerzahl
- Proof of Concept: Test mit Beispieldaten
- Hardware planen: Auf Basis der realen Last
Phase 2: Umsetzung (6–8 Wochen)
- Hardware beschaffen: Server mit GPUs
- Software aufsetzen: Modelle, Datenbank, Integration
- Daten übernehmen: Dokumente indexieren
- Oberfläche anpassen: An Ihr Corporate Design
Phase 3: Einführung (4–6 Wochen)
- Pilotgruppe: 10–20 Schlüsselanwender
- Rückmeldungen einarbeiten: Optimierungen
- Schulungen: Für alle Mitarbeiter
- Produktivstart
Phase 4: Optimierung (laufend)
- Leistung optimieren: Caching, Indizes
- Modelle aktualisieren: Neue Versionen testen
- Funktionen erweitern: Auf Basis der Nutzerrückmeldungen
Fazit
Für viele deutsche Unternehmen, besonders im Mittelstand und in regulierten Branchen, ist On-Premise KI oft die bessere Wahl:
- Datenschutz: DSGVO-Anforderungen lassen sich ohne Drittlandtransfer erfüllen
- Kosten: Bei intensiver Nutzung häufig günstiger als nutzungsabhängige Cloud-Dienste
- Kontrolle: Volle Hoheit über Daten und Systeme
- Leistung: Keine Abhängigkeit von der Internetverbindung
Die Technologie ist ausgereift, offene Modelle sind leistungsstark und die Hardware ist bezahlbar. Ob on-premise oder in der EU – Sie entscheiden, wo Ihre Daten verarbeitet werden.
Sprechen wir über Ihr Projekt
Interessiert an On-Premise KI für Ihr Unternehmen?
Kostenlose Erstberatung vereinbaren