Ressourcen Leitfaden
Enterprise RAG: Checkliste & Strategieleitfaden für AI Leads im Mittelstand
Die meisten RAG-Systeme liefern im Pilot gute Ergebnisse und scheitern im Produktivbetrieb an Dokumentenkomplexität, Sicherheitslücken und schwachem Retrieval. Dieser Leitfaden zeigt, wo typische Architekturen brechen, und gibt Ihnen 27 Kriterien an die Hand, mit denen Sie Ihr eigenes System oder einen Anbieter prüfen.
Von Marco Bürckel, Gründer der axio concept GmbH Stand: Als PDF
Kurz gefasst
- KI-Projekte scheitern häufig nicht am Modell, sondern am Engineering der RAG-Pipeline selbst. Das gilt für eingekaufte genauso wie für selbst geschaffene Lösungen.
- Naives RAG, also Rohtext aus Dokumenten plus Embedding-Suche, ist für Unternehmensdokumente zum Scheitern verurteilt.
- Die Checkliste prüft 27 Kriterien in fünf Bereichen. Ab 20 erfüllten Punkten ist die Basis solide, unter 13 sollte die Architektur grundlegend überprüft werden.
Für wen dieser Leitfaden ist
Der Leitfaden richtet sich an CIOs und CTOs, AI Leads und Tech-Teams. Er ist für drei Situationen geschrieben:
- AI-Teams, die RAG selbst entwickeln, also interne Prozesse mit RAG optimieren oder eigene Produkte mit KI anreichern möchten.
- AI Leads, die interne Implementierungen challengen und Probleme und Risiken identifizieren wollen.
- AI Leads, die Kriterien für den Einkauf eines RAG-Systems verstehen möchten.
Aus welcher Praxis dieser Leitfaden stammt
axio concept entwickelt seit 2017 robuste KI für Industrie und regulierte Branchen: als Anbieter einer Enterprise-KI-Plattform, mit individuellen Lösungen und mit Beratung. Das Team umfasst 20 Mitarbeiterinnen und Mitarbeiter.
Wir haben RAG-Systeme beraten und entwickelt für Pharma und Chemie, Med-Tech, Kanzleien, Fachverlage, Normung, Zertifizierer und Software-Hersteller. Die Beobachtungen in diesem Leitfaden stammen aus Projekten wie diesen, die wir selbst umgesetzt haben:
- Sales und Service: RAG für Datenblätter, Spezifikationen und ähnliche Dokumente im Anlagen- und Maschinenbau.
- Einkauf: Prüfung von Compliance-Nachweisen, Abgleich von Auftragsbestätigungen, RFQs und weiteren Belegen.
- Wartung und Instandhaltung: Unterstützung beim Troubleshooting an Anlagen.
- Kanzleien und Beratung: Recherche in Beratungsthemen.
- Regulatory Compliance: Automatische Gap-Analyse gegen Normen, Impact-Analyse bei Normenänderungen.
- Fachverlage: Durchsuchen großer Content-Bestände, Ausleitung neuer Formate, Prüfung auf interne Leitfäden und Richtlinien.
Warum RAG in der Praxis scheitert
Sechs Ursachen sehen wir immer wieder. Jede hat typische Symptome, an denen Sie sie im Betrieb erkennen.
Unterkomplexe RAG-Pipeline
Ingestion oder Retrieval sind zu primitiv für die Komplexität der Dokumente, und die ist in den meisten Unternehmen hoch. Unternehmen arbeiten mit sehr komplexen und verschiedenartigen Dokumenten, während die meisten RAG-Pipelines Spielzeug sind.
Symptome: Halluzinationen, fehlende Antworten, Themen werden durcheinandergeworfen.
RAG-System nicht an das Unternehmen angepasst
RAG muss ein Stück weit an Prozesswelt, Fragestellungen, fachliche Domäne, Fachbegriffe und Dokumentarten angepasst werden. Sonst werden die Ergebnisse immer Mittelmaß sein. Merkregel: „KI von der Stange“ ist eine Illusion.
Symptome: Ebenfalls Halluzinationen und schlechte Antworten.
Fehlende Fallback-Strategien
Das System hängt an der Verfügbarkeit einzelner Cloud-Modelle und RAG-Services.
Symptome: Provider-Ausfälle schlagen direkt auf produktive Prozesse durch. Updates von KI-Modellen und RAG-Services sorgen plötzlich für vermehrte Fehler.
Kostenexplosion
Die eigene RAG-Pipeline schluckt deutlich mehr Token als erwartet, die Kosten werden unkontrollierbar. Oder angemietete RAG-Systeme in der Cloud verschlingen hohe monatliche Gebühren.
Symptome: KI-Lösungen rechnen sich kaum noch.
Fehlende Sicherheitsarchitektur
Zugriffsrechte werden nicht konsequent abgebildet. Im Betrieb gibt es eine hohe Zahl an Angriffsvektoren, zum Beispiel Wartungszugänge, oder andere vermeidbare Fehler im Bereich IT-Sicherheit.
Symptome: Personen haben unberechtigt Zugriff. Der Klassiker: kein Zugriff auf SharePoint, aber Zugriff auf die Daten in SharePoint über den KI-Chatbot.
Fehlende Quality-Gates
Es gibt keine Benchmarks, keine Model Cards und keine versionierten Systeme.
Symptome: Keine Möglichkeit, Modell-Drift zu erkennen oder Optimierungen vorzunehmen, weil man im Blindflug ist.
Unsere Beobachtung: KI-Projekte scheitern häufig nicht am Modell, sondern am Engineering der RAG-Pipeline selbst, sei es bei eingekauften oder bei selbst geschaffenen Lösungen.
Naives RAG: Wie die meisten RAG-Implementierungen starten und enden
Die typische RAG-Implementierung besteht aus primitiver Ingestion und einem Retrieval auf Basis von Embeddings.
Inhalte werden auf Basis semantischer Ähnlichkeit in einem hochdimensionalen Vektorraum (Latent Space) abgebildet. Ähnliche Inhalte liegen nahe beieinander, Richtungen kodieren implizit Bedeutungen. Die Suche nach Kontext ist damit eine Umkreissuche.
Die Vektorsuche verfolgt zwei Ziele:
- Relevante Inhalte für eine Anfrage erkennen, unabhängig von der Formulierung.
- Ein schneller Suchalgorithmus.
Naive RAG-Systeme holen Rohtext aus Dokumenten und führen eine Embedding-Suche nach diesem Schema aus. Das ist zum Scheitern verurteilt.
Die typischen Schwächen im Einzelnen:
Inhaltlich ähnlich ist nicht gleich relevant
Beispiel: ähnliche Wartungsprotokolle für unterschiedliche Anlagen, mit gleichen Schritten und unterschiedlichen Grenzwerten. Die Vermischung ist gefährlich. Und vorprogrammiert.
Seltene Fachbegriffe und Abkürzungen haben keinen eindeutigen Bedeutungsvektor
Die Suche nach diesen Begriffen funktioniert nicht oder nicht gut.
Keine Adaption an verschiedene Fragestellungen
Zwei Fragen, die ein völlig unterschiedliches Retrieval brauchen:
„Wie ging der Rechtsstreit Meier ./. Müller aus?“
„Welche Rechtsfälle haben wir für Herrn Meier bearbeitet?“
Kein temporales Verständnis, kein Verständnis von Gültigkeit und Versionierung
„Was lief im letzten Meeting?“ liefert Punkte aus einem oder mehreren älteren Meetings.
„Wie ist die aktuelle Richtlinie zu …?“ liefert den Stand aus einer alten Richtlinie.
Schwache Ingestion: Alles wird Rohtext
Unternehmensdokumente sind selten Prosatext. Mehrspaltige Dokumente, Entscheidungstabellen, Formeln, Spezifikationen: Alles wird als Rohtext herausgezogen, der Kontext geht verloren. Im Layout kodierte Informationen gehen verloren. Relevante Metadaten werden nicht extrahiert.
Keine Berücksichtigung von Rollen und Rechten
Jeder sieht alles. Werden Rechte im Primärsystem (ERP, DMS und andere) entfernt, wird das nicht gespiegelt.
Keine Verknüpfungsfähigkeit
Fragen erfordern oft mehrere Retrieval-Schritte:
„Welche Kunden sind von der Preiserhöhung betroffen und haben zugleich Sonderkonditionen im Rahmenvertrag?“
Checkliste: Ist Ihr RAG-System enterprise-ready?
Die folgenden Kriterien leiten sich direkt aus den typischen Schwächen naiver RAG-Systeme ab. Sie helfen bei der Bewertung einer internen Implementierung oder eines externen Anbieters.
Ingestion & Dokumentenverarbeitung
Retrieval & Suchqualität
Sicherheit & Berechtigungen
Betrieb & Qualitätssicherung
Kosten & Skalierbarkeit
Scoring
Zählen Sie die Kriterien, die Ihr System erfüllt. Maximal sind 27 Punkte möglich.
- 20+ Punkte erfülltSolide Basis. Feintuning und Skalierung stehen im Fokus.
- 13–19 PunkteRelevante Lücken. Gezielte Optimierung ist nötig, bevor das System in Produktion geht.
- Unter 13 PunkteHohes Risiko. Die Architektur sollte grundlegend überprüft werden.
Nächste Schritte
RAG für Industrieunternehmen ist kein Standardprojekt. Die Komplexität liegt nicht in der Technik allein, sondern in der Verbindung von Technik, Fachprozessen und Unternehmensrealität. Wir unterstützen auf zwei Wegen.
Sie haben ein Dev-Team und wollen RAG selbst bauen?
RAG-Workshop & Architekturberatung: Wir challengen Ihre Architektur, identifizieren Schwachstellen und geben konkrete Empfehlungen für Ingestion, Retrieval und Betrieb.
Ergebnis: Klare Roadmap, technische Entscheidungsgrundlage, vermiedene Sackgassen.
Sie wollen eine fertige, erprobte Lösung?
KogniLink Enterprise-KI-Plattform: Unsere Plattform löst die in diesem Leitfaden beschriebenen Probleme out of the box: robuste Ingestion, intelligentes Retrieval, Rechtemanagement, Quality-Gates und Fallback-Strategien. Sie lässt sich auch in Softwaresysteme integrieren.
Ergebnis: Produktionsreifes RAG-System, angepasst an Ihre Prozesse und Dokumentenwelt.
