Chatbot für KMU: Mit eigenen Firmendaten kommunizieren

Sie wollen Ihre Daten besser nutzen. Ohne in Ordnern zu suchen unmittelbar auf sie zugreifen können? Sich vielleicht sogar mit ihnen austauschen. - Eine Möglichkeit ist RAG – Retrieval Augmented Generation.

Mit dem System verbinden Sie die Cleverness großer Sprachmodelle (LLM) mit der Expertise und der Zuverlässigkeit eigener Daten. Allerdings: Vorher sollten Sie in Ihren Dokumenten Ordnung schaffen.

Große Sprachmodelle (LLM) haben Ihre Grenzen

Große Sprachmodelle (LLM) werden mit großen Datensätze trainiert. Sie lernen Texte in menschlicher Sprache zu verstehen und zu erzeugen. Die Datensätze, mit denen sie trainiert werden, sind jedoch begrenzt. Beschränken sich auf öffentlich zugängliche Inhalte wie Internetartikel, Social-Media-Inhalte, Werke, die urheberrechtlich nicht mehr geschützt sind.

Spezifische Fragen können sie nicht beantworten. Zudem sind die Antworten nicht immer zuverlässig und faktenbasiert, Stichwort Halluzination.

Die Cleverness großer Sprachmodelle, in Darstellung und mit gezielten Ergebnissen, ist jedoch äußerst wünschenswert.

Mit eigenem Chatbot für KMU ins Gespräch kommen

Wie wäre es, wenn Sie die Vorteile eines großen Sprachmodells, eines Chatbots nutzen könnten und gleichzeitig zuverlässige, verwertbare Informationen erhalten? – Eben mit Retrieval Augmented Generation: RAG.

RAG ermöglicht LLM den Zugriff auf zusätzliche externe Wissensdatenbanken. Insbesondere auf eigene (interne) Dokumente und Daten. Das können Dokumente sein wie PDF, Worddateien, Power Point, die eigene Website. Das können Tabellen sein, die miteinander verknüpft sind (relationale DB).

Foto: Pixabay, Alexandra Koch

Wie sich Datenbanken anbinden lassen oder welches große Sprachmodell geeignet ist, erfahren Sie unter anderem hier. Dabei geht es auch um den Schutz sensibler Daten anhand des richtigen Systems. (Das ist eine Veröffentlichung des Fraunhofer-Instituts.)

Den Einsatz von RAG durchdacht vorbereiten

Der Einsatz von RAG, der Chatbot für KMU, muss gut vorbereitet, die Daten mit einem durchdachten Ansatz strukturiert werden. Die Aufgabe: Technische Strategien sollen sich mit den Bedürfnissen der Benutzer (User Case) verbinden. Denn die Nutzer - Ihre Mitarbeiter, Kunden und vor allem Sie selbst - erwarten präzise Informationen, die in Echtzeit abrufbar sind.

• Konsistenz ist wichtig. Die Informationen sollten nicht zu speziell, aber auch nicht zu allgemein sein. Dokumentationen sollten daraufhin geprüft werden. Vielleicht können sie aufgespalten werden, in bestimmte Problemfälle.

• Denken Sie dabei auch an Formate. Was sich für welche Antworten eignet. Für kurze Ausgaben, für einen Bericht oder einen Artikel.

• Fügen Sie Tags, quasi Etiketten, zu den Daten hinzu, Metadaten wie Titel, Datum, Kategorie, also zusätzliche Informationen. Damit unterstützen Sie das System, es wird schneller und genauer.

  Beispiel: Geht es um eine Wartungsanleitung, so sind Tags hilfreich, etwa „Schmieren“, „Nachziehen“, „Austausch“. Übertreiben Sie aber nicht! Sonst wird das System überfordert.

Über Einbettungen können Sie semantisch strukturieren, also von der Bedeutung der Daten her. Denn in der Regel fragen Nutzer unterschiedlich nach Informationen. Dazu mehr hier.

Die wichtigsten Schritte beim Vorbereiten Ihrer Datenbank

Es geht immer darum, die Daten übersichtlich, organisiert und für den Abruf optimiert zu halten. Hier noch einige Tipps dazu:

• Daten bereinigen: Je weniger irrelevante Antworten, umso besser ist das Ergebnis.

• Vereinheitlichen Sie Texte: Legen Sie Schreibweisen fest, wie Groß- und Kleinschreibung, Zeichensetzung, löschen Sie unnötige Symbole und überflüssige Leerzeichen.

• Entfernen Sie Dubletten: Doppelte Dateneinträge können den Abruf verfälschen.

• Zerlegen Sie die Daten: Teilen Sie Ihre Daten in Blöcke auf, mit dem richtigen Detaillierungsgrad.

• Bauen Sie eine Hierarchie auf: Wie Thema>Unterthema> Details. So kann das Modell die relevanteste Ebene abrufen.

Ermöglichen Sie ein Feedback: Mit einem Feedback-System können Nutzer irrelevante oder ergebnisferne Antworten kennzeichnen. Das verfeinert die Datenstruktur auf Dauer.

Sprechen Sie mit dem Systemanbieter über die technische Seite.

Sprechen Sie mit mir über die Vorbereitung, Die Klärung Ihrer Daten. Ich bin erfahren beim strukturierten Aufbau eines Redaktionssystems. Dem Anlegen von Hierarchien, Gestalten von definierten und vom Thema her einheitlichen Modulen. Dem Einbringen von Metadaten.