Wie KI mit deinen eigenen Unterlagen antwortet
Frag ChatGPT nach der Kündigungsfrist in deinem Rahmenvertrag, und du bekommst eine höfliche Antwort, die mit deinem Vertrag nichts zu tun hat. Das Modell kennt das Internet bis zu einem Stichtag. Deine Verträge, Handbücher und Angebote kennt es nicht.
Dafür gibt es RAG. Die Abkürzung steht für Retrieval-Augmented Generation. Bevor das Modell antwortet, sucht ein System die passenden Stellen aus deinen eigenen Unterlagen heraus und gibt sie dem Modell mit. Die Antwort stützt sich dann auf deine Dokumente, und sie kommt mit Quelle.
Was ist ein RAG-System?
Ein RAG-System besteht aus zwei Teilen. Eine Suche findet in deinen Dokumenten die relevanten Abschnitte, und ein Sprachmodell formuliert daraus eine Antwort. Das Modell selbst wird dabei nicht verändert. Es bekommt bei jeder Frage den passenden Kontext mitgeliefert, ähnlich wie ein neuer Mitarbeiter, dem man vor der Antwort die richtigen Seiten aus dem Handbuch hinlegt.
Deshalb sind neue Dokumente sofort verfügbar, ohne dass jemand ein Modell neu trainiert. Und jede Antwort lässt sich prüfen, weil die Quelle dabeisteht.
Wie ist ein RAG-System aufgebaut?
Hinter einer einfachen Chat-Oberfläche laufen fünf Schritte.
Dokumente einlesen. PDFs, Word-Dateien, Wiki-Seiten oder E-Mails werden aus ihren Quellen geholt und in Text umgewandelt. Tabellen und gescannte Dokumente brauchen dabei eigene Aufmerksamkeit.
In Abschnitte teilen. Der Text wird in kleinere Stücke zerlegt, das sogenannte Chunking. Ein guter Abschnitt bleibt auch allein verständlich, etwa ein ganzer Paragraf eines Vertrags mit seiner Überschrift.
Embeddings berechnen. Jeder Abschnitt wird in einen Zahlenvektor übersetzt, der seine Bedeutung abbildet. Diese Vektoren landen in einer Vektordatenbank.
Suchen. Kommt eine Frage, wird sie genauso übersetzt, und das System holt die Abschnitte mit der ähnlichsten Bedeutung. Gute Systeme kombinieren das mit einer klassischen Stichwortsuche, damit auch Artikelnummern und Namen gefunden werden.
Antworten. Das Sprachmodell bekommt die Frage und die gefundenen Abschnitte und formuliert daraus eine Antwort mit Verweis auf die Quelle. Findet es nichts Passendes, sollte es das auch sagen.
Dazu kommen Berechtigungen. Wer im Unternehmen keinen Zugriff auf die Gehaltsliste hat, darf sie auch über den Chat nicht bekommen. Das muss die Suche schon beim Abrufen berücksichtigen.
Wofür eignet sich RAG?
RAG passt überall, wo Menschen heute Antworten in Dokumenten suchen. In Unternehmen sind das meistens vier Bereiche.
Interne Wissensbasis. Fragen zu Prozessen, Richtlinien und Produkten, die heute immer bei denselben Kolleginnen und Kollegen landen.
Kundenservice. Antwortvorschläge für das Support-Team auf Basis von Handbüchern, FAQ und bisherigen Tickets.
Verträge und Angebote. Klauseln finden, Fristen nachschlagen und alte Angebote als Vorlage heranziehen.
Technische Dokumentation. Wartungsanleitungen, Normen und Datenblätter, die über Jahre gewachsen sind.
RAG, Fine-Tuning oder Agent?
Fine-Tuning verändert das Modell selbst, indem es mit eigenen Beispielen weitertrainiert wird. Das hilft bei Stil, Format oder einer sehr speziellen Aufgabe. Für Wissen, das sich laufend ändert, ist es unpraktisch, weil jede neue Version eines Dokuments ein neues Training bräuchte und die Antwort keine Quelle zeigt.
Ein Agent geht einen Schritt weiter. Er beantwortet eine Frage und erledigt danach selbst Schritte, legt etwa ein Ticket an oder trägt Daten in ein System ein. Viele Agents nutzen RAG als Werkzeug, um vorher das richtige Wissen zu finden. Für die meisten Unternehmen ist RAG deshalb der erste Schritt, auf dem KI-Agenten später aufbauen.
Worauf du bei der DSGVO achten musst
Sobald personenbezogene Daten in den Dokumenten stehen, gilt die DSGVO, und das ist in fast jedem Unternehmen der Fall. Drei Fragen solltest du vor dem Start klären.
Wo werden die Daten verarbeitet? Modell, Vektordatenbank und Logs sollten in der EU laufen, bei einem Anbieter mit Auftragsverarbeitungsvertrag.
Wer sieht was? Das System muss die Zugriffsrechte aus den Quellsystemen übernehmen.
Was wird gespeichert? Fragen und Antworten landen in Logs. Lege fest, wie lange sie bleiben und wer sie lesen darf.
Dazu kommt der EU AI Act. Seit August 2026 gelten Transparenzpflichten, ein Chat muss also erkennbar als KI auftreten. Unser DSGVO-konformer KI-Chat ist so ein RAG-System, in Europa gehostet und mit Zugriff auf euer Firmenwissen.
Typische Fehler beim Aufbau
Unordentliche Dokumente. Veraltete Versionen, Duplikate und gescannte PDFs ohne Texterkennung führen zu schlechten Antworten. Aufräumen gehört zum Projekt.
Keine Tests. Ohne eine Liste echter Fragen mit den richtigen Antworten weiß niemand, ob das System besser oder schlechter wird. Diese Evaluierung sollte vor dem Launch stehen.
Nur semantische Suche. Vektorsuche findet Bedeutungen gut, scheitert aber oft an Artikelnummern, Paragrafen und Namen. Eine zusätzliche Stichwortsuche löst das meistens.
Antworten ohne Quelle. Wenn Nutzer eine Antwort nicht prüfen können, vertrauen sie ihr nach dem ersten Fehler nicht mehr.
Niemand ist zuständig. Dokumente ändern sich. Jemand muss sich darum kümmern, dass neue Versionen eingelesen und alte entfernt werden.
So startest du
Fang mit einem klar abgegrenzten Bereich an, zum Beispiel dem Handbuch für den Kundenservice oder den internen Richtlinien. Sammle 30 bis 50 echte Fragen, die heute gestellt werden, und die richtigen Antworten dazu. Damit lässt sich ein erster Prototyp bauen und ehrlich messen.
Wenn du nicht sicher bist, welcher Bereich sich am meisten lohnt, finden wir das in einem KI-Workshop mit deinem Team heraus.
Du willst KI mit euren eigenen Unterlagen nutzen? Wir schauen uns mit dir an, welche Dokumente sich dafür eignen. Kostenloses Erstgespräch buchen →
Häufige Fragen
Was ist ein RAG-System?
Ein RAG-System verbindet eine Suche in den eigenen Dokumenten mit einem Sprachmodell. Vor jeder Antwort holt es die passenden Abschnitte aus den Unterlagen und gibt sie dem Modell mit. So antwortet die KI auf Basis der eigenen Daten und nennt die Quelle.
Wofür steht RAG?
RAG steht für Retrieval-Augmented Generation, also Textgenerierung, die durch das Abrufen von Informationen ergänzt wird. Das Modell bekommt vor der Antwort relevante Abschnitte aus einer Wissensquelle mitgeliefert.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Fine-Tuning trainiert das Modell mit eigenen Beispielen weiter und eignet sich für Stil und spezielle Aufgaben. RAG lässt das Modell unverändert und liefert bei jeder Frage aktuelles Wissen aus den eigenen Dokumenten mit. Für Unternehmenswissen, das sich laufend ändert, ist RAG meistens die bessere Wahl.
Ist ein RAG-System DSGVO-konform?
Es kann DSGVO-konform betrieben werden, wenn Modell, Vektordatenbank und Logs in der EU laufen, ein Auftragsverarbeitungsvertrag besteht und das System die Zugriffsrechte der Quellsysteme übernimmt. Dazu gehört eine klare Regel, wie lange Fragen und Antworten gespeichert werden.
Welche Dokumente eignen sich für RAG?
Alles, was als Text vorliegt oder sich in Text umwandeln lässt, also PDFs, Word-Dateien, Wiki-Seiten, Tickets und E-Mails. Gescannte Dokumente brauchen vorher eine Texterkennung, Tabellen eine eigene Aufbereitung.
Wie fange ich mit einem RAG-System an?
Mit einem klar abgegrenzten Bereich wie dem Handbuch für den Kundenservice. Dazu 30 bis 50 echte Fragen mit den richtigen Antworten sammeln, damit sich der erste Prototyp ehrlich messen lässt. Erst danach wird das System auf weitere Bereiche ausgerollt.
Das könnte dich auch interessieren
30. Oktober 2026
Apple lässt fremde KI-Agenten in Keynote, Pages und Numbers
Apple öffnet Keynote, Pages und Numbers per MCP für KI-Agenten. Dazu Genie 4, der Streit um ETH, der Infostealer Aokigahara und Xreal Aura.
29. Oktober 2026
KI-Förderung in Österreich
Welche Förderungen es Ende 2026 für KI-Projekte in Österreich noch gibt. Wien, FFG, Bundesländer und Schulungen, mit Förderhöhe und Frist.
28. Oktober 2026
Was dich deine alte Software wirklich kostet
Alte Software kostet vor allem durch das, was sie nicht kann. Wie du entgangene Chancen sichtbar machst und wann sich eine Modernisierung rechnet.
Ready to connect the dots?
Hi, ich bin Emir, CEO und Mitgründer von Dotbite.
Du hast eine interessante Idee für ein digitales Projekt und suchst einen Sparringspartner, der die Herausforderung gemeinsam mit dir angeht?
Dann bist du bei uns genau richtig.
