Klas­si­sche Lar­ge Lan­guage Models (LLMs) ant­wor­ten aus­schließ­lich auf Basis ihrer Trai­nings­da­ten. Das führt zu zwei bekann­ten Pro­ble­men: Ver­al­te­tes Wis­sen (das Modell kennt nur den Stand sei­nes Trai­nings) und Hal­lu­zi­na­tio­nen (das Modell erfin­det plau­si­bel klin­gen­de Ant­wor­ten, wenn es kei­ne fun­dier­te Ant­wort kennt).

RAG löst bei­de Pro­ble­me struk­tu­rell: Beim Ein­gang einer Fra­ge sucht das Sys­tem zunächst in einem defi­nier­ten Daten­be­stand — etwa inter­nen Doku­men­ten, Wikis, Daten­ban­ken — nach rele­van­ten Text­pas­sa­gen. Die­se Pas­sa­gen wer­den zusam­men mit der eigent­li­chen Fra­ge als Kon­text an das Sprach­mo­dell über­ge­ben. Das Modell ant­wor­tet dann aus­schließ­lich auf Basis die­ser abge­ru­fe­nen Inhal­te, nicht auf Basis sei­nes all­ge­mei­nen Trainingswissens.

Für Unter­neh­mens­ein­satz ist RAG aus zwei Grün­den ent­schei­dend: Ers­tens blei­ben die Quell­da­ten im Unter­neh­men — es wer­den kei­ne Unter­neh­mens­da­ten an exter­ne KI-Diens­te über­tra­gen. Zwei­tens kann das Sys­tem nur auf Inhal­te zugrei­fen, für die ein Nut­zer Lese­rech­te besitzt, wenn RAG mit einer Rech­te­ver­wal­tung (AD/LDAP) kom­bi­niert wird.

Silent AI basiert auf einer RAG-Archi­tek­tur über inter­ne Unter­neh­mens­da­ten. Kon­nek­to­ren für Micro­soft 365, Share­Point, Con­fluence, File­ser­ver und wei­te­re Quel­len spei­sen die inter­ne Wis­sens­da­ten­bank. Die LLM-Infe­renz läuft voll­stän­dig lokal auf dedi­zier­ter GPU-Hard­ware — kein Prompt, kein Token ver­lässt das Netzwerk.

Fragen und Antworten

RAG zwingt das Sprachmodell, Antworten ausschließlich auf Basis der abgerufenen Quelldokumente zu formulieren. Wenn keine relevante Passage gefunden wird, gibt das System zurück, dass keine Antwort vorhanden ist — anstatt eine zu erfinden. Halluzinationen entstehen, wenn ein Modell ohne Quellbindung antwortet; RAG schließt diesen Fall strukturell aus.
In einer RAG-Implementierung mit AD/LDAP-Integration werden beim Abruf von Quelldokumenten die Zugriffsrechte des anfragenden Nutzers geprüft. Dokumente, für die kein Lesezugriff besteht, werden nicht in den Kontext übergeben — und fließen damit nicht in die Antwort ein. Der Nutzer sieht keine Inhalte, auf die er regulär keinen Zugriff hätte.
Nein. RAG ergänzt ein bestehendes Sprachmodell um einen Abrufmechanismus — das Modell selbst bleibt unverändert. Das ist ein wesentlicher Vorteil gegenüber Fine-Tuning: Der Datenbestand kann jederzeit aktualisiert werden, ohne das Modell neu zu trainieren.