| 21. April 2026
Die Grundlagen – wann lokale KI überhaupt infrage kommt – stehen im Beitrag On-Premise KI: Wann lokale KI die bessere Wahl ist. Dieser Text ist die Fassung für 2026 und beantwortet die Frage, die uns am häufigsten gestellt wird: On-Premise oder EU-Cloud?
Die Antwort hängt von vier Fragen ab. Diese Fragen strukturieren die Entscheidung und machen die wesentlichen Annahmen sichtbar.
Was sich seit 2025 geändert hat
Drei Verschiebungen machen die Entscheidung heute anders als vor einem Jahr.
Offene Modelle sind für den Mittelstand nutzbar geworden. Modelle mit offenen Gewichten können bei Dokumentensuche, Zusammenfassungen und Klassifikation für Unternehmensaufgaben ausreichende Qualität liefern. Ob sie sich lokal betreiben lassen, hängt unter anderem von Modellgröße, Hardware und Last ab. Der Sprung kam nicht durch ein einzelnes Modell, sondern durch bessere Effizienz: Quantisierung, eine effizientere Kontextverarbeitung und Inferenz-Server, die eine GPU sinnvoll auslasten.
Die EU-Cloud hat aufgeholt. Einige europäische Anbieter bieten dedizierte Instanzen mit Datenhaltung in der EU, teils mit Zusagen zur Verarbeitung ausschließlich innerhalb der EU. Das ist keine lokale Installation, aber es ist ein anderes Risikoprofil als ein US-Dienst mit EU-Region.
Der Betrieb ist zum Engpass geworden. Modelle zu betreiben ist einfacher geworden, sie zu überwachen nicht: Qualität, Latenz, Kosten und Änderungen an Modellen müssen gemessen werden. Diese Aufgabe fällt – egal wo – immer beim Betreiber an.
Die vier Fragen, die die Entscheidung tragen
1. Welche Daten verarbeiten Sie?
Nicht „alle Daten sind sensibel", sondern: Welche Dokumente, welche Personenbezüge, welche Vertraulichkeitsstufen? Bei personenbezogenen Gesundheits- oder Mandantendaten, bei Konstruktionsdaten oder bei Verträgen mit Wettbewerbsrelevanz spricht viel für Verarbeitung im eigenen Haus. Bei öffentlichen Wissensbeständen, Marketingtexten oder anonymisierten Auswertungen kann die EU-Cloud eine geeignete Option sein.
2. Wie nah muss die KI am Prozess sein?
Ein Assistent, der im ERP oder im Dokumentenmanagementsystem arbeitet, braucht kurze Wege zu den Daten und klare Berechtigungslogik. Läuft das System ohnehin im eigenen Rechenzentrum, ist On-Premise meist der geringere Aufwand. Geht es um einen Chatbot auf der Website oder um Auswertungen ohne Systemanbindung, ist die Cloud einfacher.
3. Können und wollen Sie den Betrieb selbst übernehmen?
On-Premise heißt: Hardware, Updates, Überwachung, Datensicherungen, Ausfälle. Das ist machbar, aber es braucht eine Person, die es verantwortet. Wer diese Rolle nicht dauerhaft besetzen kann, sollte die Cloud wählen – nicht weil sie sicherer wäre, sondern weil Betrieb sonst zur Lücke wird.
Bei der Hardware sind neben GPU-Servern auch Mac mini und Mac Studio mit M5 Ultra und bis zu 512 GB gemeinsam genutztem Speicher eine prüfbare Option für lokale Inferenz. Denkbar sind ein großes quantisiertes Modell auf einem Gerät, die Langkontext-Analyse großer Vertrags- oder Technikbestände, mehrere spezialisierte Modelle für Suche und Generierung in einem Speicherbudget sowie Büro- oder Zweigstellen ohne Serverraum. Die kompakte Bauform allein ist jedoch kein Betriebskonzept. Kapazität ist kein Durchsatz: Apple nennt 1,2 TB/s, NVIDIA für H100 SXM 3,35 TB/s. Rechenleistung, Kontextbedarf und Verhalten bei gleichzeitigen Anfragen müssen Sie mit Ihrem Modell und Ihrer tatsächlichen Last messen.
Mit MLX distributed oder EXO können Sie mehrere Macs zu einem kleinen Cluster verbinden und ein unterstütztes Modell auf die Geräte verteilen. Dadurch steht für dieses Modell mehr Speicher zur Verfügung; Antwortzeiten und Parallelität skalieren jedoch nicht automatisch linear. Ersatzkapazität und Wiederanlauf bleiben eigene Betriebsaufgaben. Das passt eher zu Entwicklung, Prototypen oder einem Dokumentenabruf mit begrenzter Parallelität. Für zwingend CUDA-gebundene Werkzeuge kommen Macs nicht infrage; bei vielen gleichzeitigen Nutzern oder engen Obergrenzen sollten Sie GPU-Server und EU-Cloud in denselben Vergleich einbeziehen.
4. Wie rechnen Sie?
On-Premise erfordert Investitionen und laufenden Betrieb, bei der Cloud wird häufig nach Verbrauch abgerechnet. Welche Variante günstiger ist, hängt unter anderem von Auslastung, Hardware und Betriebsaufwand ab. Beispielrechnungen gehören in Ihr konkretes Szenario, nicht in einen Blogbeitrag.
Wann On-Premise die bessere Wahl ist
- Die Daten dürfen das Haus nicht verlassen oder nur unter engen Bedingungen.
- Es gibt eine Systemlandschaft, an die die KI andocken muss (DMS, ERP, PLM).
- Latenz und Verfügbarkeit sollen nicht von einer Internetanbindung abhängen.
- Eine verantwortliche Person kümmert sich um Betrieb und Updates.
Wann die EU-Cloud die bessere Wahl ist
- Die Datenklassifizierung erlaubt externe Verarbeitung mit EU-Bezug.
- Das Vorhaben soll schnell starten und später skalieren.
- Sie können den Betrieb der GPU-Infrastruktur nicht dauerhaft sicherstellen.
- Die Anbindung ist unkritisch, etwa ein Website-Chatbot oder eine Auswertung ohne Systemzugriff.
Mischformen sind oft die pragmatische Antwort
In der Praxis sehen wir häufig zwei Varianten: ein lokaler Dokumentenabruf mit den vertraulichen Dokumenten und ein Cloud-Modell nur für Aufgaben ohne sensible Daten – oder umgekehrt eine EU-Cloud-Instanz mit dedizierter Datenhaltung, auf der auch das Modell läuft. Wichtig ist, die Grenze sauber zu ziehen: Welche Daten verlassen welches System, und wer prüft das?
Was das für Sie bedeutet
Die Entscheidung ist keine Glaubensfrage, sondern eine Folge aus Datenklassen, Prozessnähe, Betriebsfähigkeit und Kostenmodell. Wenn Sie diese vier Punkte für Ihr Vorhaben beantworten, steht die Architektur meist schon fest.
Wir unterstützen bei der Einordnung und beim Pilotbetrieb – on-premise oder in einer EU-Umgebung, ganz nach Ihren Anforderungen. Mehr dazu unter Cloud-Infrastruktur und Datenanalyse und Prognoseverfahren. Wenn Sie mögen, sprechen wir über Ihr Projekt.