17. März 2026
Ein RAG-Prototyp beantwortet ausgewählte Fragen auf Grundlage eines überschaubaren Dokumentenbestands. Der Betrieb stellt schwierigere Fragen: Ändern sich Quellen und Berechtigungen? Bleibt die Qualität bei unbekannten Formulierungen stabil? Sind Antworten und Aufwand kontrollierbar? Die [Grundlagen im Beitrag von 2025](/blog/rag-technologie-erklaert/) erklären das Grundprinzip. Hier geht es um den belastbaren Betrieb.1. Dokumentenabruf und Antworten getrennt bewerten
2025: Häufig genügten wenige Beispielfragen und eine fachliche Stichprobe. Eine falsche Antwort wurde schnell dem Modell zugeschrieben.
2026: Ein versionierter Testdatensatz enthält repräsentative Fragen, erwartete Quellen und Fälle, in denen das System keine Antwort geben soll. Die Bewertung des Dokumentenabrufs prüft zuerst, ob relevante Stellen gefunden werden. Erst danach wird bewertet, ob die Antwort diese Belege korrekt wiedergibt. Quellen- und Antworttreue lassen sich zusätzlich automatisiert prüfen; fachliche Stichproben bleiben notwendig, weil eine plausible Zusammenfassung Details auslassen oder falsch gewichten kann.
So wird eine Regression unterscheidbar: Liegt sie an Suche, Dokumentenbestand, Prompt oder Modell?
2. Hybride Suche und Nachsortierung (Reranking) als Standardrepertoire
2025: Viele Aufbauten nutzten ausschließlich Embeddings. Das erfasst Bedeutungsähnlichkeit, kann aber genaue Artikelnummern, Abkürzungen oder Normenbezeichnungen unzureichend gewichten.
2026: Hybride Suche kombiniert BM25 für lexikalische Treffer mit Embeddings für semantische Ähnlichkeit. Das Nachsortierungsmodell ordnet die gemeinsamen Kandidaten anschließend nach ihrer Passung zur konkreten Frage. Dieses Zusammenspiel gehört zum üblichen Repertoire, ist aber keine automatische Qualitätsgarantie. Gewichtung, Kandidatenzahl und Reranking müssen mit eigenen Fragen ausgewertet werden.
Für generative KI-Chatbots bedeutet das: Auch eine gute Antwortformulierung hilft wenig, wenn die entscheidende Quelle vorher verloren geht.
3. Zerlegung in Textabschnitte und Metadaten richten sich nach der Dokumentstruktur
2025: Feste Textblöcke waren ein verbreiteter Ausgangspunkt. Dabei konnten Überschriften, Tabellen oder zusammengehörige Erklärungen getrennt werden.
2026: Die Textabschnitte orientieren sich stärker an Kapiteln, Absätzen, Listen und Tabellen. Genügend Kontext bleibt erhalten, ohne ganze Dokumente unkritisch zu übergeben. Metadaten wie Quelle, Version, Gültigkeitsdatum, Fachbereich und Sprache unterstützen Filterung und spätere Prüfung. Ebenso wichtig sind Aktualisierung und Löschung: Ein veraltetes Dokument muss im Index nachvollziehbar ersetzt werden, nicht zusätzlich erneut auftauchen.
Legen Sie deshalb je Dokumentart fest, welche Struktur erhalten bleiben muss und welche Metadaten verpflichtend sind.
4. Berechtigungen gehören in den Suchprozess
2025: In Prototypen wurde die Zugriffskontrolle gelegentlich erst an der Oberfläche ergänzt. Das reicht nicht, wenn vertrauliche Inhalte bereits in Prompt, Protokoll oder Zwischenspeicher gelangen können.
2026: Der berechtigungsbasierte Dokumentenabruf wendet Zugriffsregeln während der Suche an. Identität und Gruppenzugehörigkeit kommen aus Ihrem bestehenden Verzeichnisdienst; nur freigegebene Dokumente werden als Kandidaten berücksichtigt. Änderungen an Berechtigungen müssen zeitnah im Index wirken. Auch Quellenlinks und Antwortzwischenspeicher benötigen dieselbe Zugriffslogik.
Testen Sie ausdrücklich, ob ein Anwender ohne Freigabe weder Textauszug noch Titel oder verräterische Metadaten erhält.
5. Agentenbasiertes RAG gezielt einsetzen
2025: Die übliche Kette war fest: Frage, Suche, Antwort. Das ist transparent und für viele Dokumentenfragen ausreichend.
2026: Agentenbasiertes RAG kann eine komplexe Frage zerlegen, Suchschritte wiederholen oder zusätzliche Werkzeuge aufrufen. Das hilft etwa bei Recherchen über mehrere Dokumentarten. Es erhöht jedoch Laufzeit, Steuerungsbedarf und die Zahl möglicher Fehlerwege. Grenzen Sie Suchrunden, Werkzeugrechte und Abbruchbedingungen ein.
Verzichten Sie auf Agenten, wenn eine direkte Suche genügt, Antworten besonders gleichförmig bleiben müssen oder eine enge Obergrenze für die Antwortzeit besteht. Auch für einfache Navigation und eindeutige Stichwortsuchen ist eine klassische Suche oft passender.
6. Kosten- und Zeitobergrenzen je Anfrage
2025: Bei der Vorführung wurde vor allem geprüft, ob eine Antwort fachlich überzeugte. Der Aufwand einzelner Zwischenschritte blieb häufig unsichtbar.
2026: Betriebsreife Systeme messen Suche, Reranking, Generierung und Werkzeugaufrufe getrennt. Obergrenzen gelten etwa für Kandidatenzahl, Kontextumfang, Generierung und agentische Wiederholungen. Überwachen Sie typische und langsame Anfragen sowie die Auslastung bei parallelen Nutzern. Zwischenspeicherung kann wiederholte Schritte reduzieren, darf aber weder Berechtigungen noch Aktualität umgehen.
Definieren Sie für den Fall einer Überschreitung ein kontrolliertes Verhalten: weniger Kandidaten, eine kürzere Antwort oder eine Rückfrage statt eines unbegrenzten Ablaufs.
7. On-Premise als Betriebsarchitektur planen
2025: Lokale Verarbeitung wurde häufig zuerst als Frage des Sprachmodells betrachtet.
2026: Der Blick umfasst die gesamte Kette: Dokumentenimport, Vektordatenbank, Embeddings, Reranking, Generierung, Überwachung und Sicherung. Dafür kommen je nach Lastprofil CPU-Systeme und aktuelle NVIDIA-GPUs wie L40S oder H100 infrage. Arbeitsspeicher, Grafikspeicher, gleichzeitige Anfragen und gewünschte Antwortzeit bestimmen die Auslegung mehr als die Dokumentenzahl allein.
Ergänzend kommen Mac mini und Mac Studio mit M5 Ultra und bis zu 512 GB gemeinsam genutztem Speicher für lokale Inferenz infrage. Gerade bei RAG können Sie damit ein großes quantisiertes Generierungsmodell auf einem Gerät betreiben, lange Vertrags-, Normen- oder Technikdokumentationen analysieren und Embedding-, Reranking- und Generierungsmodell in einem gemeinsamen Speicherbudget halten. Auch als Validierungsumgebung vor einem GPU-Server ist das prüfbar. Die Speichergröße belegt jedoch weder Antwortzeit noch Durchsatz: Apple nennt 1,2 TB/s, NVIDIA für H100 SXM 3,35 TB/s. Kontextspeicher und parallele Anfragen müssen Sie deshalb mit Ihren Dokumenten, Modellen und Ihrer tatsächlichen Last messen.
MLX distributed oder EXO verteilen ein unterstütztes Modell bei Bedarf auf mehrere Macs. Ein solcher kleiner Cluster bündelt Speicher und Rechenkapazität für diese Inferenz; er garantiert aber weder eine lineare Beschleunigung noch eine bestimmte Zahl paralleler Nutzer. Ersatzkapazität und Wiederanlauf planen Sie weiterhin separat. Für Entwicklung oder einen Dokumentenabruf mit überschaubarer Parallelität ist das eine prüfbare Architektur. Für zwingendes CUDA ist sie nicht passend; bei vielen gleichzeitigen Anfragen oder engen Obergrenzen sollten Sie einen GPU-Server unter denselben Bedingungen vergleichen.
Planen Sie Updates, Protokollrotation, Datensicherung, Wiederherstellung und Ersatzkapazität mit. Ob der Betrieb on-premise oder in der EU erfolgt – Sie entscheiden. Eine individuelle KI-Softwareentwicklung kann die Komponenten an Ihre vorhandene Infrastruktur anbinden.
Praxisbeispiel (anonymisiert)
Eine medizinische Einrichtung mit mehreren Standorten nutzt RAG für einen Bestand von 5.000+ Dokumenten. Die Suchzeit reduzierte sich um ca. 60 %. Die Übertragbarkeit hängt von Dokumentenqualität, Fragen und Arbeitsprozessen ab; der Wert ist kein allgemeiner Leistungsanspruch.
Woran Sie erkennen, dass Ihr RAG-System betriebsreif ist
- Ein versionierter, repräsentativer Testdatensatz prüft Dokumentenabruf und Antworten regelmäßig getrennt.
- Antworten nennen überprüfbare Quellen; unbelegte oder unsichere Aussagen werden erkannt und eskaliert.
- Hybride Suche, Zerlegung in Textabschnitte und Nachsortierung sind anhand eigener Fälle ausgewertet, nicht nur voreingestellt.
- Neue, geänderte und gelöschte Dokumente werden nachvollziehbar im Index verarbeitet.
- Berechtigungsfilterung gilt vor der Generierung sowie für Quellen und Zwischenspeicher und ist mit Negativtests abgesichert.
- Antwortzeit, Ressourcenverbrauch und die Einhaltung der Obergrenzen werden je Anfrage überwacht; Überschreitungen haben ein definiertes Verhalten.
- Modell-, Prompt- und Indexversionen lassen sich protokollieren und kontrolliert zurücksetzen.
- Verantwortung, Datensicherung, Wiederherstellung und fachliches Feedback sind für den laufenden Betrieb geregelt.
Wenn einzelne Punkte offen sind, priorisieren Sie sie vor einer Erweiterung des Funktionsumfangs. Über das Kontaktformular können Sie Ihren aktuellen RAG-Aufbau und die nächsten Prüfschritte einordnen lassen.