RAG-KI für KMU: Eigene Wissensdatenbank mit n8n & Ollama aufbauen

Stell dir vor, du könntest jedem Mitarbeitenden in deinem Unternehmen einen Assistenten zur Seite stellen, der alle internen Dokumente, Handbücher und Prozessbeschreibungen kennt und innerhalb von Sekunden präzise Antworten liefert. Genau das leistet RAG — Retrieval-Augmented Generation. Mit der Open-Source-Kombo aus n8n und Ollama baust du ein solches System selbst auf, ohne Abo-Gebühren und ohne deine Daten an Cloud-Anbieter im Ausland zu übermitteln. In diesem Guide zeigen wir dir Schritt für Schritt, wie das funktioniert und warum es besonders für Schweizer KMU eine attraktive Lösung ist.

Was ist RAG und warum braucht es mein KMU?

RAG steht für Retrieval-Augmented Generation und ist eine Technik, bei der ein Sprachmodell nicht aus seinem Trainingswissen antwortet, sondern zuerst relevante Dokumente aus deiner eigenen Wissensdatenbank abruft (Retrieval) und auf Basis dieser Quellen eine Antwort generiert (Generation). Das bedeutet: Die KI halluziniert nicht, sondern bezieht sich auf deine echten Unterlagen — Handbücher, Verträge, Produktspezifikationen, Support-Tickets oder Notizen aus dem Projektmanagement-Tool.

Für ein Schweizer KMU ist das besonders wertvoll. Wenn Mitarbeitende bei jeder Frage zu internen Prozessen erst Kollegen anfragen oder Dokumente wühlen müssen, kostet das nicht nur Zeit, sondern auch Nerven. Eine RAG-Wissensdatenbank beantwortet typische Fragen in Sekunden — und das 24/7, in der Sprache, in der die Frage gestellt wurde. Das reduziert Einarbeitungszeiten für neue Mitarbeitende drastisch und entlastet erfahrene Kollegen vom wiederkehrenden Beantworten derselben Fragen.

Der wichtigste Unterschied zu ChatGPT und ähnlichen Cloud-Diensten: Bei RAG mit Self-Hosting verlässt kein einziges Dokument deine Infrastruktur. Das Modell läuft auf deinem eigenen Server, die Vektordatenbank liegt nebenan, und n8n orchestriert alles als visuelle Workflow-Engine. Das ist nicht nur eine Frage des Datenschutzes, sondern auch der Kostenkontrolle — du zahlst keine pro-Anfrage-Gebühren.

Wie funktioniert RAG mit n8n und Ollama?

Die Architektur eines self-hosted RAG-Systems besteht aus vier Kernkomponenten, die nahtlos zusammenarbeiten:

Ollama fungiert als lokaler Model-Server. Es lädt Open-Source-Sprachmodelle wie Llama 3, Mistral oder Qwen und stellt sie über eine einfache API bereit. Du brauchst kein GPU-Cluster — ein moderater Server mit 16 GB RAM kann bereits brauchbare Modelle ausführen. Ollama übernimmt das Laden, Quantisieren und Bereitstellen der Modelle, ohne dass du dich um die tieferen Details von Machine-Learning-Infrastruktur kümmern musst.

Die Vektordatenbank — in der Praxis meist ChromaDB, Qdrant oder pgvector — speichert sogenannte Embeddings deiner Dokumente. Embeddings sind numerische Repräsentationen von Textabschnitten, die semantische Ähnlichkeit abbilden. Wenn jemand eine Frage stellt, wird diese ebenfalls in ein Embedding umgewandelt, und die Datenbank findet die ähnlichsten Textabschnitte aus deinem Wissensfundus. Das ist das eigentliche «Gedächtnis» deines Systems.

n8n ist das Bindeglied: Die visuelle Automatisierungs-Plattform verbindet Benutzereingaben (über Webhook, Telegram, Slack oder ein Web-Formular) mit der Vektordatenbank und Ollama. Der Workflow sieht vereinfacht so aus: Frage empfangen → Embedding generieren → ähnliche Dokumente abrufen → Kontext + Frage an Ollama senden → Antwort formatieren und zurückgeben. n8n macht diesen Prozess nachvollziehbar und anpassbar, ganz ohne Programmierkenntnisse.

• Kundensupport: Häufige Kundenfragen automatisch mit Verweis auf die richtige Dokumentstelle beantworten — erste Antwort in unter 5 Sekunden statt Stunden.
• Internes Wiki: Mitarbeitende fragen in natürlicher Sprache nach Urlaubsregelungen, Spesenrichtlinien oder IT-Prozeduren und erhalten sofort die korrekte Antwort inklusive Quellenangabe.
• Dokumentensuche: Verträge, Pflichtenhefte und Angebote semantisch durchsuchbar machen — nicht nur nach Stichworten, sondern nach Bedeutung.
• Onboarding: Neue Mitarbeitende finden sich schneller zurecht, weil die KI alle Onboarding-Dokumente kennt und kontextbezogen erklärt.
• Wissensmanagement: Implizites Wissen langjähriger Mitarbeitender dokumentieren und für alle zugänglich machen, bevor es das Unternehmen verlässt.

Möchtest du RAG in deinem KMU einführen? Wir helfen dir beim Aufbau einer self-hosted KI-Wissensdatenbank — massgeschneidert auf deine Prozesse. Jetzt Beratung vereinbaren →

Wie baue ich ein RAG-System auf?

Der Aufbau eines RAG-Systems ist überschaubarer, als viele denken. Mit n8n und Ollama kannst du in weniger als einem Arbeitstag einen funktionierenden Prototyp haben. Hier ist die Schritt-für-Schritt-Anleitung für die praktische Umsetzung auf einem eigenen Server (VPS oder lokaler Rechner mit mindestens 8 vCPU und 16 GB RAM):

1. Ollama installieren: Lade Ollama herunter (ollama.com), installiere es auf deinem Server und lade ein geeignetes Modell wie «ollama pull llama3:8b». Für reine Textaufgaben genügt das 8B-Modell; bei knappen Ressourcen funktioniert auch Qwen2.5:3b sehr gut.
2. Vektordatenbank aufsetzen: Installiere ChromaDB oder Qdrant per Docker-Container. ChromaDB ist besonders einsteigerfreundlich und lässt sich mit drei Zeilen Konfiguration starten. Die Datenbank speichert später deine Embeddings.
3. Embedding-Modell laden: Nutze Ollama oder die sentence-transformers Bibliothek, um ein Embedding-Modell wie «nomic-embed-text» bereitzustellen. Dieses Modell wandelt deine Dokumente in Vektoren um.
4. Dokumente importieren: Lade deine PDFs, Word-Dokumente oder Markdown-Dateien in n8n hoch. Der Workflow zerlegt sie in handliche Chunks (ca. 500–1000 Token pro Abschnitt), erzeugt Embeddings und speichert sie in der Vektordatenbank.
5. n8n-Workflow erstellen: Baue einen Workflow mit folgenden Nodes: Webhook-Trigger → Embedding generieren → Vektorsuche (top 5 ähnliche Chunks) → Ollama-LLM-Node (Frage + Kontext) → Antwort zurückgeben. n8n bietet dafür fertige Nodes für Ollama und Vektordatenbanken.
6. Testen und optimieren: Stelle Fragen an das System und prüfe, ob die Antworten korrekt und nachvollziehbar sind. Passe die Chunk-Grösse, die Anzahl abgerufener Dokumente und das Prompt-Template an, bis die Qualität stimmt.
7. Produktivbetrieb: Integriere den Workflow in deine bestehenden Tools — als Telegram-Bot, Slack-Integration, Web-Chat oder direkt in dein CRM über n8n's hunderte Connector.

Was kostet der Betrieb?

Die Software-Komponenten — n8n (Community Edition), Ollama, ChromaDB — sind Open Source und komplett kostenlos. Die einzigen laufenden Kosten sind die Serverinfrastruktur und optional ein Wartungsaufwand. Für ein Schweizer KMU mit moderatem Dokumentenbestand reicht ein VPS mit 8 vCPU und 16 GB RAM, der je nach Anbieter zwischen 30 und 80 CHF pro Monat kostet.

Im Vergleich: ChatGPT Enterprise kostet ab 25 USD pro Nutzender und Monat — bei 20 Mitarbeitenden sind das bereits 6'000 USD pro Jahr, ohne dass du die volle Kontrolle über deine Daten hast. Ein self-hosted RAG-System amortisiert sich also innerhalb weniger Monate, insbesondere wenn du die eingesparte Arbeitszeit durch schnellere Informationsfindung einrechnest. Erfahrungsgemäss sparen KMU pro Mitarbeitenden 1–3 Stunden pro Woche durch intelligente Wissenssuche.

Wenn du die Infrastruktur nicht selbst betreiben möchtest, übernimmt Synara den kompletten Setup- und Wartungsaufwand als Managed Service. So profitierst du von der vollen Kontrolle und den niedrigen Kosten des Self-Hostings, ohne dich um Updates, Backups und Performance-Tuning kümmern zu müssen.

Wie bleibt mein Wissen privat?

Datenschutz ist für Schweizer KMU nicht optional — der revDSG und die branchenspezifischen Anforderungen (insbesondere im Finanz- und Gesundheitswesen) machen eine sorgfältige Datenverarbeitung unerlässlich. Bei einem self-hosted RAG-System liegen alle Daten physisch auf deinem Server: die Originaldokumente, die Embeddings in der Vektordatenbank, das Sprachmodell selbst und sämtliche Anfrage-Logs. Es gibt keinen Datenabfluss in die Cloud, keine Telemetrie an US-Anbieter und keine versteckten API-Calls.

Für maximale Sicherheit empfehlen wir einen Server in einem Schweizer Rechenzentrum (z. B. bei Infomaniak, Exoscale oder einer lokalen Colocation). Verschlüssele die Festplatte mit LUKS, aktiviere eine Firewall, nutze starke SSH-Keys statt Passwörter und richte regelmässige automatisierte Backups ein. n8n selbst kann mit einer Rollen- und Rechtesteuerung abgesichert werden, sodass nur autorisierte Personen Zugriff auf den Workflow-Editor oder die Dokumentenverwaltung haben.

Ein weiterer Vorteil: Du kannst Zugriffsrechte granular steuern. Das HR-Team darf auf Personalhandbücher zugreifen, der Vertrieb auf Produktdatenblätter, und die KI antwortet jeweils nur im Rahmen der berechtigten Dokumente. Das ist mit Cloud-Diensten kaum in dieser Präzision umsetzbar.

Bereit, deine eigene KI-Wissensdatenbank aufzubauen? Synara implementiert RAG-Systeme für Schweizer KMU — von der Servereinrichtung bis zum produktiven Workflow. Unverbindliche Beratung anfragen →